Huawei stod för den stora överraskningen. Kombinationen Ascend 950DT och CANN erbjöd full support i hela mjukvarustacken från dag ett – första gången en plattform utanför CUDA nådde samma lanseringsberedskap för en frontier-modell i den här storleksklassen . Oberoende tester av den levererade Ascend 950PR visade dessutom 2,87 gånger H20:s FP4-kapacitet och upp till 1,96 gånger högre hastighet vid MoE-inferens i RL-körningar .

Begränsningen ligger fortfarande i den absoluta topprestandan. Huaweis hårdvara påverkas av begränsningar i tillverkning och kan därför inte fullt ut matcha Nvidias bästa system.

AMD:s lansering var däremot mycket svag. MI355X kunde inledningsvis bara köra FP8; den inbyggda FP4+FP8-checkpointen gick inte att använda. På arbetslasten 8K/1K nådde kortet bara 20,4 token per sekund och GPU, med 2,4 token per sekund och användare . ROCm-stacken var ännu inte optimerad för modellen.

AMD:s vändning: 110,5 gånger högre genomströmning

Det som följde blev ett ovanligt tydligt exempel på mjukvarans betydelse för AI-infrastruktur.

Under 26 dagar skickade AMD:s SGLang-team, under teknisk ledning av HaiShaw, in 31 pull requests med prestandaoptimeringar till sidogrenen amd/deepseek_v4 . Ändringarna riktade sig mot flera delar av ROCm-stacken som i praktiken inte hade testats ordentligt med en MoE-modell av denna storlek.

Den 20 maj 2026, dag 26, nådde MI355X 2 256 token per sekund och GPU vid 9,4 token per sekund och användare på samma 8K/1K-arbetslast. Det motsvarade en förbättring på 110,5 gånger i genomströmning per GPU. Samtidigt ökade interaktiviteten 3,85 gånger .

Det är ett ovanligt resultat eftersom båda måtten förbättrades samtidigt: systemet blev både snabbare för den enskilda användaren och bättre på att hantera hög total belastning.

Vid jämförbara interaktivitetsnivåer i InferenceX nådde MI355X omkring 1 411 token per sekund och GPU och placerade sig därmed i samma konkurrensskikt som Nvidia B200 vid låg interaktivitet . MI355X ligger fortfarande efter GB300 NVL72, som under optimala förhållanden når upp till 11 474 token per sekund och GPU. Men utvecklingskurvan är central: AMD gick från en i praktiken obrukbar lansering till en fungerande inferensplattform på mindre än en månad .

Prestandan efter 43 dagar

Kostnaden per miljon token gör skillnaderna mer konkreta. Vid låg interaktivitet kostar GB300 NVL72 omkring 0,064 dollar per miljon token – cirka 4,5 gånger mindre än MI355X på 0,291 dollar .

Vid högre interaktivitet, där färre samtidiga användare prioriteras framför maximal total kapacitet, blir MI355X mer konkurrenskraftig mot B200. Där ligger de båda på ungefär 1,22–1,45 dollar per miljon token vid 23–24 samtidiga användare .

Den verkliga möjliggöraren finns i modellarkitekturen

GPU-resultaten är imponerande, men de hade inte varit ekonomiskt meningsfulla utan DeepSeeks förändringar av själva modellen.

Vanlig Transformer-uppmärksamhet växer kvadratiskt med kontextens längd. Vid en miljon tokens blir både beräkningskostnaden och minnesbehovet så höga att inferens blir svår att driftsätta kommersiellt. DeepSeek V4 ersätter därför inte uppmärksamhet helt, men kombinerar två mer komprimerade metoder:

Compressed Sparse Attention, CSA, arbetar på detaljnivå. Ungefär fyra tokens grupperas till en inlärd KV-post genom databeronde viktning och överlappande fönster. Därefter väljer modellen bara de mest relevanta komprimerade posterna för varje fråga. Denna selektering hanteras av en komponent kallad Lightning Indexer . En glidande uppmärksamhetsgren körs parallellt för att bevara precision i det lokala sammanhanget .

Heavily Compressed Attention, HCA, gör en mer aggressiv komprimering. Upp till 128 tokens sammanfattas i en enda KV-post, varefter modellen använder tät uppmärksamhet över den komprimerade strömmen . Metoden offrar viss precision i återhämtningen av enskilda detaljer men ger en billig global överblick. HCA används tidigt i modellen, medan det sista lagret behåller full uppmärksamhet för hög precision .

Vid en miljon tokens ger detta stora skillnader jämfört med DeepSeek V3.2:

• Inferens-FLOP per token: 27 procent av V3.2:s nivå, en minskning med 73 procent
• KV-cacheminne: cirka 10 procent av V3.2:s nivå, en minskning med ungefär 90 procent
• Jämfört med en GQA-baslinje i bfloat16: ungefär 2 procent av cacheminnet

För den mindre V4 Flash blir siffrorna ännu lägre: 10 procent av beräkningsarbetet och 7 procent av KV-cacheminnet .

Utan CSA och HCA hade V4 Pro – med 1,6 biljoner parametrar och en miljon tokens i kontext – varit mer av ett forskningsprojekt än en tjänst som gick att driftsätta i stor skala. Med arkitekturen blir modellen betydligt mer praktisk att köra.

Vad testet egentligen visar

De 43 dagarna pekar på tre parallella utvecklingar.

För det första är Nvidias ekosystemförsprång fortfarande stort. CUDA fungerar från dag ett, stöds brett av inferensramverk och kombineras här med hårdvara som fortfarande leder i rå genomströmning.

För det andra har Huawei minskat avståndet i fråga om mjukvaruberedskap. Att Ascend och CANN kunde erbjuda full support vid lanseringen är en historisk förändring för en plattform utanför Nvidia-ekosystemet. Den absoluta prestandan är fortfarande begränsad, men utvecklingen kan få betydelse för nästa generation av AI-infrastruktur .

För det tredje visar AMD:s vändning att hårdvaran hade betydligt större potential än de första resultaten antydde. Samtidigt blottlägger den ett problem: ROCm behövde en mycket omfattande och snabb insats för varje ny modell i frontlinjen. En förbättring på 110,5 gånger på 26 dagar är imponerande – men det borde helst inte krävas för att nå en fungerande utgångspunkt.

Den största nyheten handlar därför kanske inte om vilken GPU som vann. DeepSeeks CSA- och HCA-arkitektur förändrar vad som över huvud taget går att köra ekonomiskt. När en modell på 1,6 biljoner parametrar kan hantera en miljon tokens och köras för några cent per miljon token på rätt hårdvara flyttas frågan från ”går det?” till ”vad kan vi bygga med det?”

Huawei stod för den stora överraskningen. Kombinationen Ascend 950DT och CANN erbjöd full support i hela mjukvarustacken från dag ett – första gången en plattform utanför CUDA nådde samma lanseringsberedskap för en frontier-modell i den här storleksklassen . Oberoende tester av den levererade Ascend 950PR visade dessutom 2,87 gånger H20:s FP4-kapacitet och upp till 1,96 gånger högre hastighet vid MoE-inferens i RL-körningar .

Begränsningen ligger fortfarande i den absoluta topprestandan. Huaweis hårdvara påverkas av begränsningar i tillverkning och kan därför inte fullt ut matcha Nvidias bästa system.

AMD:s lansering var däremot mycket svag. MI355X kunde inledningsvis bara köra FP8; den inbyggda FP4+FP8-checkpointen gick inte att använda. På arbetslasten 8K/1K nådde kortet bara 20,4 token per sekund och GPU, med 2,4 token per sekund och användare . ROCm-stacken var ännu inte optimerad för modellen.

AMD:s vändning: 110,5 gånger högre genomströmning

Det som följde blev ett ovanligt tydligt exempel på mjukvarans betydelse för AI-infrastruktur.

Under 26 dagar skickade AMD:s SGLang-team, under teknisk ledning av HaiShaw, in 31 pull requests med prestandaoptimeringar till sidogrenen amd/deepseek_v4 . Ändringarna riktade sig mot flera delar av ROCm-stacken som i praktiken inte hade testats ordentligt med en MoE-modell av denna storlek.

Den 20 maj 2026, dag 26, nådde MI355X 2 256 token per sekund och GPU vid 9,4 token per sekund och användare på samma 8K/1K-arbetslast. Det motsvarade en förbättring på 110,5 gånger i genomströmning per GPU. Samtidigt ökade interaktiviteten 3,85 gånger .

Det är ett ovanligt resultat eftersom båda måtten förbättrades samtidigt: systemet blev både snabbare för den enskilda användaren och bättre på att hantera hög total belastning.

Vid jämförbara interaktivitetsnivåer i InferenceX nådde MI355X omkring 1 411 token per sekund och GPU och placerade sig därmed i samma konkurrensskikt som Nvidia B200 vid låg interaktivitet . MI355X ligger fortfarande efter GB300 NVL72, som under optimala förhållanden når upp till 11 474 token per sekund och GPU. Men utvecklingskurvan är central: AMD gick från en i praktiken obrukbar lansering till en fungerande inferensplattform på mindre än en månad .

Prestandan efter 43 dagar

Kostnaden per miljon token gör skillnaderna mer konkreta. Vid låg interaktivitet kostar GB300 NVL72 omkring 0,064 dollar per miljon token – cirka 4,5 gånger mindre än MI355X på 0,291 dollar .

Vid högre interaktivitet, där färre samtidiga användare prioriteras framför maximal total kapacitet, blir MI355X mer konkurrenskraftig mot B200. Där ligger de båda på ungefär 1,22–1,45 dollar per miljon token vid 23–24 samtidiga användare .

Den verkliga möjliggöraren finns i modellarkitekturen

GPU-resultaten är imponerande, men de hade inte varit ekonomiskt meningsfulla utan DeepSeeks förändringar av själva modellen.

Vanlig Transformer-uppmärksamhet växer kvadratiskt med kontextens längd. Vid en miljon tokens blir både beräkningskostnaden och minnesbehovet så höga att inferens blir svår att driftsätta kommersiellt. DeepSeek V4 ersätter därför inte uppmärksamhet helt, men kombinerar två mer komprimerade metoder:

Compressed Sparse Attention, CSA, arbetar på detaljnivå. Ungefär fyra tokens grupperas till en inlärd KV-post genom databeronde viktning och överlappande fönster. Därefter väljer modellen bara de mest relevanta komprimerade posterna för varje fråga. Denna selektering hanteras av en komponent kallad Lightning Indexer . En glidande uppmärksamhetsgren körs parallellt för att bevara precision i det lokala sammanhanget .

Heavily Compressed Attention, HCA, gör en mer aggressiv komprimering. Upp till 128 tokens sammanfattas i en enda KV-post, varefter modellen använder tät uppmärksamhet över den komprimerade strömmen . Metoden offrar viss precision i återhämtningen av enskilda detaljer men ger en billig global överblick. HCA används tidigt i modellen, medan det sista lagret behåller full uppmärksamhet för hög precision .

Vid en miljon tokens ger detta stora skillnader jämfört med DeepSeek V3.2:

• Inferens-FLOP per token: 27 procent av V3.2:s nivå, en minskning med 73 procent
• KV-cacheminne: cirka 10 procent av V3.2:s nivå, en minskning med ungefär 90 procent
• Jämfört med en GQA-baslinje i bfloat16: ungefär 2 procent av cacheminnet

För den mindre V4 Flash blir siffrorna ännu lägre: 10 procent av beräkningsarbetet och 7 procent av KV-cacheminnet .

Utan CSA och HCA hade V4 Pro – med 1,6 biljoner parametrar och en miljon tokens i kontext – varit mer av ett forskningsprojekt än en tjänst som gick att driftsätta i stor skala. Med arkitekturen blir modellen betydligt mer praktisk att köra.

Vad testet egentligen visar

De 43 dagarna pekar på tre parallella utvecklingar.

För det första är Nvidias ekosystemförsprång fortfarande stort. CUDA fungerar från dag ett, stöds brett av inferensramverk och kombineras här med hårdvara som fortfarande leder i rå genomströmning.

För det andra har Huawei minskat avståndet i fråga om mjukvaruberedskap. Att Ascend och CANN kunde erbjuda full support vid lanseringen är en historisk förändring för en plattform utanför Nvidia-ekosystemet. Den absoluta prestandan är fortfarande begränsad, men utvecklingen kan få betydelse för nästa generation av AI-infrastruktur .

För det tredje visar AMD:s vändning att hårdvaran hade betydligt större potential än de första resultaten antydde. Samtidigt blottlägger den ett problem: ROCm behövde en mycket omfattande och snabb insats för varje ny modell i frontlinjen. En förbättring på 110,5 gånger på 26 dagar är imponerande – men det borde helst inte krävas för att nå en fungerande utgångspunkt.

Den största nyheten handlar därför kanske inte om vilken GPU som vann. DeepSeeks CSA- och HCA-arkitektur förändrar vad som över huvud taget går att köra ekonomiskt. När en modell på 1,6 biljoner parametrar kan hantera en miljon tokens och köras för några cent per miljon token på rätt hårdvara flyttas frågan från ”går det?” till ”vad kan vi bygga med det?”