Huawei sto for den største overraskelsen. Ascend 950DT sammen med CANN-rammeverket hadde full støtte på lanseringsdagen – på samme nivå som Nvidia når det gjelder såkalt «Day 0»-beredskap. Det er første gang en plattform uten CUDA har matchet Nvidia på lanseringsstøtte for en modell i denne størrelsesklassen . Uavhengige tester av Ascend 950PR viste dessuten 2,87 ganger H20s FP4-ytelse og opptil 1,96 ganger høyere MoE-ytelse i såkalte RL-rollouts .

AMD fikk en langt vanskeligere start. MI355X kunne i praksis bare kjøre FP8 på dag null. Det opprinnelige FP4+FP8-sjekkpunktet var ikke brukbart, og ytelsen var bare 20,4 token per sekund per GPU – med 2,4 token per sekund per bruker i 8K/1K-testen . ROCm-programvaren var ikke ferdig optimalisert for en MoE-modell i denne skalaen.

AMDs oppsiktsvekkende snuoperasjon

Det som skjedde deretter, er et sjeldent eksempel på hvor mye programvare kan bety i AI-infrastruktur.

I løpet av 26 dager slo AMDs SGLang-team, under teknisk ledelse av HaiShaw, sammen 31 ytelsesforbedrende pull requests i sidegrenen amd/deepseek_v4 . Endringene tok for seg flere deler av ROCm-stakken som i praksis ikke hadde vært testet med en MoE-modell av denne størrelsen.

Den 20. mai 2026 nådde MI355X 2 256 token per sekund per GPU ved 9,4 token per sekund per bruker i den samme 8K/1K-testen. Det tilsvarer en forbedring på 110,5 ganger i gjennomstrømming per GPU, samtidig som interaktiviteten ble forbedret 3,85 ganger .

Det spesielle er at begge målene gikk opp samtidig: systemet håndterte flere token totalt, og hver enkelt bruker fikk raskere svar. Vanligvis må man ofre noe på den ene aksen for å forbedre den andre.

Ved sammenlignbare nivåer for interaktivitet leverte MI355X rundt 1 411 token per sekund per GPU i InferenceX. Det plasserte kortet i samme konkurranseklasse som Nvidia B200 ved lav interaktivitet . MI355X ligger fortsatt bak GB300 NVL72, som under optimale forhold når opptil 11 474 token per sekund per GPU, men utviklingen viser at AMD gikk fra en nærmest ubrukelig lansering til et reelt alternativ for inferens .

Ytelse og kostnad etter 43 dager

Kostnaden per million token gjør forskjellene tydelige. Ved lav interaktivitet leverer GB300 NVL72 token for 0,064 dollar per million – rundt 4,5 ganger billigere enn MI355X på 0,291 dollar .

Ved høyere interaktivitet, altså færre samtidige brukere og høyere hastighet per bruker, blir MI355X mer konkurransedyktig mot B200. I en sammenligning med 23–24 samtidige brukere lå de to rundt 1,22–1,45 dollar per million token .

Arkitekturen som gjør én million token mulig

Maskinvare- og programvaretallene ville imidlertid vært langt mindre interessante uten en viktig endring i selve modellen.

Vanlig Transformer-oppmerksomhet blir stadig dyrere når konteksten vokser. Ved én million token blir både beregningene og minnebehovet så stort at inferens – altså å kjøre modellen for å generere svar – i praksis blir vanskelig å tilby kommersielt.

DeepSeek V4 bruker derfor en hybrid oppmerksomhetsarkitektur med to mekanismer:

Compressed Sparse Attention (CSA) arbeider detaljert. Omtrent fire token samles i én lært nøkkel-verdi-post ved hjelp av datatilpasset vekting og overlappende vinduer. Deretter velges bare de mest relevante komprimerte postene for hvert spørsmål. En komponent kalt Lightning Indexer brukes til dette utvalget . Et glidende oppmerksomhetsvindu kjører parallelt for å bevare lokal presisjon .

Heavily Compressed Attention (HCA) tar et grovere, men langt billigere perspektiv. Her komprimeres opptil 128 token til én nøkkel-verdi-post, og modellen bruker tett oppmerksomhet over den komprimerte strømmen . Resultatet blir et overordnet bilde av hele konteksten, med lav marginalkostnad. HCA brukes tidlig i modellen, mens det siste laget beholder full oppmerksomhet for høy presisjon .

Sammenlignet med DeepSeek V3.2 ved én million token gir dette følgende utslag:

• Inferensberegninger per token: 27 prosent av V3.2-nivået, en reduksjon på 73 prosent
• Minne til KV-hurtigbuffer: rundt 10 prosent av V3.2-nivået, en reduksjon på omtrent 90 prosent
• Sammenlignet med en vanlig GQA-basert bfloat16-modell: rundt 2 prosent av hurtigbufferets størrelse

For den mindre V4 Flash er besparelsene enda større: 10 prosent av beregningene og 7 prosent av KV-hurtigbufferet .

Uten CSA og HCA ville V4 Pro med 1,6 billioner parametere og én million token vært et interessant forskningsprosjekt, men neppe en modell som kunne driftes lønnsomt. Med arkitekturen blir den langt mer praktisk å tilby.

Hva testen egentlig forteller

De 43 dagene med målinger forteller tre historier samtidig.

For det første er Nvidias forsprang på programvaresiden fortsatt stort. CUDA fungerer fra dag én, og Blackwell-maskinvaren leder også på rå ytelse og kostnad per token.

For det andre har Huawei lukket gapet når det gjelder lanseringsberedskap. Ascend og CANN klarte full støtte fra dag null, noe som markerer et viktig skifte for AI-maskinvare utenfor Nvidia. Det betyr likevel ikke at Huawei har tatt igjen Nvidia på absolutt ytelse. Produksjonsbegrensninger holder fortsatt toppkapasiteten nede .

For det tredje viser AMD at maskinvaren kan ha betydelig ubrukt potensial. En forbedring på 110,5 ganger på 26 dager er imponerende, men den illustrerer også svakheten ved en programvarestakk som må finjusteres på nytt for hver store modell.

Den viktigste historien handler likevel om modellarkitektur. CSA og HCA endrer hva som er mulig å drifte økonomisk. Når en modell med 1,6 billioner parametere kan håndtere kontekst på én million token til en kostnad på bare noen få cent per million token på riktig maskinvare, flyttes spørsmålet fra «kan dette gjøres?» til «hva skal vi bygge med det?»

Huawei sto for den største overraskelsen. Ascend 950DT sammen med CANN-rammeverket hadde full støtte på lanseringsdagen – på samme nivå som Nvidia når det gjelder såkalt «Day 0»-beredskap. Det er første gang en plattform uten CUDA har matchet Nvidia på lanseringsstøtte for en modell i denne størrelsesklassen . Uavhengige tester av Ascend 950PR viste dessuten 2,87 ganger H20s FP4-ytelse og opptil 1,96 ganger høyere MoE-ytelse i såkalte RL-rollouts .

AMD fikk en langt vanskeligere start. MI355X kunne i praksis bare kjøre FP8 på dag null. Det opprinnelige FP4+FP8-sjekkpunktet var ikke brukbart, og ytelsen var bare 20,4 token per sekund per GPU – med 2,4 token per sekund per bruker i 8K/1K-testen . ROCm-programvaren var ikke ferdig optimalisert for en MoE-modell i denne skalaen.

AMDs oppsiktsvekkende snuoperasjon

Det som skjedde deretter, er et sjeldent eksempel på hvor mye programvare kan bety i AI-infrastruktur.

I løpet av 26 dager slo AMDs SGLang-team, under teknisk ledelse av HaiShaw, sammen 31 ytelsesforbedrende pull requests i sidegrenen amd/deepseek_v4 . Endringene tok for seg flere deler av ROCm-stakken som i praksis ikke hadde vært testet med en MoE-modell av denne størrelsen.

Den 20. mai 2026 nådde MI355X 2 256 token per sekund per GPU ved 9,4 token per sekund per bruker i den samme 8K/1K-testen. Det tilsvarer en forbedring på 110,5 ganger i gjennomstrømming per GPU, samtidig som interaktiviteten ble forbedret 3,85 ganger .

Det spesielle er at begge målene gikk opp samtidig: systemet håndterte flere token totalt, og hver enkelt bruker fikk raskere svar. Vanligvis må man ofre noe på den ene aksen for å forbedre den andre.

Ved sammenlignbare nivåer for interaktivitet leverte MI355X rundt 1 411 token per sekund per GPU i InferenceX. Det plasserte kortet i samme konkurranseklasse som Nvidia B200 ved lav interaktivitet . MI355X ligger fortsatt bak GB300 NVL72, som under optimale forhold når opptil 11 474 token per sekund per GPU, men utviklingen viser at AMD gikk fra en nærmest ubrukelig lansering til et reelt alternativ for inferens .

Ytelse og kostnad etter 43 dager

Kostnaden per million token gjør forskjellene tydelige. Ved lav interaktivitet leverer GB300 NVL72 token for 0,064 dollar per million – rundt 4,5 ganger billigere enn MI355X på 0,291 dollar .

Ved høyere interaktivitet, altså færre samtidige brukere og høyere hastighet per bruker, blir MI355X mer konkurransedyktig mot B200. I en sammenligning med 23–24 samtidige brukere lå de to rundt 1,22–1,45 dollar per million token .

Arkitekturen som gjør én million token mulig

Maskinvare- og programvaretallene ville imidlertid vært langt mindre interessante uten en viktig endring i selve modellen.

Vanlig Transformer-oppmerksomhet blir stadig dyrere når konteksten vokser. Ved én million token blir både beregningene og minnebehovet så stort at inferens – altså å kjøre modellen for å generere svar – i praksis blir vanskelig å tilby kommersielt.

DeepSeek V4 bruker derfor en hybrid oppmerksomhetsarkitektur med to mekanismer:

Compressed Sparse Attention (CSA) arbeider detaljert. Omtrent fire token samles i én lært nøkkel-verdi-post ved hjelp av datatilpasset vekting og overlappende vinduer. Deretter velges bare de mest relevante komprimerte postene for hvert spørsmål. En komponent kalt Lightning Indexer brukes til dette utvalget . Et glidende oppmerksomhetsvindu kjører parallelt for å bevare lokal presisjon .

Heavily Compressed Attention (HCA) tar et grovere, men langt billigere perspektiv. Her komprimeres opptil 128 token til én nøkkel-verdi-post, og modellen bruker tett oppmerksomhet over den komprimerte strømmen . Resultatet blir et overordnet bilde av hele konteksten, med lav marginalkostnad. HCA brukes tidlig i modellen, mens det siste laget beholder full oppmerksomhet for høy presisjon .

Sammenlignet med DeepSeek V3.2 ved én million token gir dette følgende utslag:

• Inferensberegninger per token: 27 prosent av V3.2-nivået, en reduksjon på 73 prosent
• Minne til KV-hurtigbuffer: rundt 10 prosent av V3.2-nivået, en reduksjon på omtrent 90 prosent
• Sammenlignet med en vanlig GQA-basert bfloat16-modell: rundt 2 prosent av hurtigbufferets størrelse

For den mindre V4 Flash er besparelsene enda større: 10 prosent av beregningene og 7 prosent av KV-hurtigbufferet .

Uten CSA og HCA ville V4 Pro med 1,6 billioner parametere og én million token vært et interessant forskningsprosjekt, men neppe en modell som kunne driftes lønnsomt. Med arkitekturen blir den langt mer praktisk å tilby.

Hva testen egentlig forteller

De 43 dagene med målinger forteller tre historier samtidig.

For det første er Nvidias forsprang på programvaresiden fortsatt stort. CUDA fungerer fra dag én, og Blackwell-maskinvaren leder også på rå ytelse og kostnad per token.

For det andre har Huawei lukket gapet når det gjelder lanseringsberedskap. Ascend og CANN klarte full støtte fra dag null, noe som markerer et viktig skifte for AI-maskinvare utenfor Nvidia. Det betyr likevel ikke at Huawei har tatt igjen Nvidia på absolutt ytelse. Produksjonsbegrensninger holder fortsatt toppkapasiteten nede .

For det tredje viser AMD at maskinvaren kan ha betydelig ubrukt potensial. En forbedring på 110,5 ganger på 26 dager er imponerende, men den illustrerer også svakheten ved en programvarestakk som må finjusteres på nytt for hver store modell.

Den viktigste historien handler likevel om modellarkitektur. CSA og HCA endrer hva som er mulig å drifte økonomisk. Når en modell med 1,6 billioner parametere kan håndtere kontekst på én million token til en kostnad på bare noen få cent per million token på riktig maskinvare, flyttes spørsmålet fra «kan dette gjøres?» til «hva skal vi bygge med det?»