Huawei leverede samtidig et bemærkelsesværdigt resultat. Kombinationen af Ascend 950DT og CANN-frameworket havde fuld understøttelse af DeepSeek V4 Pro på lanceringsdagen – første gang en ikke-CUDA-platform ifølge analysen matchede Nvidia på lanceringsparathed for en frontier-model i denne størrelsesorden .

Uafhængige målinger på den leverede Ascend 950PR viste desuden FP4-beregninger med 2,87 gange H20’s hastighed og op til 1,96 gange højere hastighed i MoE-inferens under reinforcement learning-kørsler . Huawei er dog fortsat begrænset af produktionstekniske forhold, så den absolutte gennemstrømning ligger under Nvidias bedste løsninger.

AMD’s lancering var derimod langt fra klar. MI355X kunne på dag ét kun køre FP8, mens modellens native FP4+FP8-checkpoint ikke kunne anvendes. På 8K/1K-testen nåede kortet blot 20,4 tokens i sekundet pr. GPU ved 2,4 tokens i sekundet pr. bruger . ROCm-stakken var endnu ikke optimeret til en MoE-model i denne skala.

AMD’s opsigtsvækkende comeback

Det, der fulgte, var en af de mest markante softwaredrevne forbedringer i nyere AI-infrastruktur.

I løbet af 26 dage fusionerede AMD’s SGLang-team under den tekniske ledelse af HaiShaw 31 pull requests med performanceoptimeringer i sidegrenen amd/deepseek_v4 . Optimeringerne ramte flere dele af ROCm-stakken, som reelt ikke var blevet afprøvet med en MoE-model af denne størrelse.

Den 20. maj 2026, på dag 26, nåede MI355X 2.256 tokens i sekundet pr. GPU ved 9,4 tokens i sekundet pr. bruger på den samme 8K/1K-test. Det svarer til en forbedring på 110,5 gange i gennemstrømning pr. GPU. Samtidig blev interaktiviteten forbedret 3,85 gange .

Det er en sjælden kombination: Den samlede kapacitet stiger, mens hver enkelt bruger også får hurtigere svar. Normalt må man vælge mellem højere gennemstrømning og lavere latenstid.

Ved sammenlignelige interaktivitetsniveauer i InferenceX nåede MI355X omkring 1.411 tokens i sekundet pr. GPU og placerede sig dermed i samme konkurrencefelt som Nvidia B200 ved lav interaktivitet . AMD ligger fortsat tydeligt efter GB300 NVL72, der under optimale forhold når op på 11.474 tokens i sekundet pr. GPU, men MI355X gik fra en næsten ubrugelig lancering til en realistisk inferensplatform .

Resultaterne efter 43 dage

Prisen pr. million tokens viser forskellen i driftsøkonomi. Ved lav interaktivitet leverer GB300 NVL72 tokens til 0,064 dollar pr. million – cirka 4,5 gange billigere end MI355X til 0,291 dollar .

Ved højere interaktivitet, hvor der er færre samtidige brugere og større fokus på hastigheden for den enkelte, bliver MI355X mere konkurrencedygtig over for B200. Her ligger platformene omkring 1,22–1,45 dollar pr. million tokens ved 23–24 samtidige brugere .

Den egentlige nøgle ligger i modellen

Chipbenchmarksene er imponerende, men de ville ikke være økonomisk interessante uden en tilsvarende arkitektonisk forbedring i DeepSeek V4.

Traditionel Transformer-opmærksomhed skalerer kvadratisk med kontekstlængden. Ved én million tokens vokser beregnings- og hukommelseskravene så voldsomt, at inferens bliver vanskelig at drive kommercielt på selv meget kraftig hardware.

DeepSeek V4 erstatter den traditionelle tilgang med en hybrid af to mekanismer:

Compressed Sparse Attention (CSA) arbejder detaljeret. Omkring fire tokens samles i én lært KV-post ved hjælp af dataafhængig vægtning og overlappende vinduer. Derefter udvælges kun de mest relevante komprimerede poster for hver forespørgsel via en komponent kaldet Lightning Indexer . En glidende lokal opmærksomhedsgren kører parallelt for at bevare præcision i nærliggende tekst .

Heavily Compressed Attention (HCA) tager et mere grovkornet valg. Op til 128 tokens komprimeres til én KV-post, hvorefter modellen udfører tæt opmærksomhed på den komprimerede strøm . Det giver et billigt, globalt overblik, men med lavere præcision i den enkelte hentning. HCA anvendes tidligt i modellen, mens det sidste lag bevarer fuld opmærksomhed for maksimal præcision .

Ved én million tokens giver arkitekturen følgende resultat sammenlignet med DeepSeek V3.2:

• Inferens-FLOPs pr. token: 27 procent af V3.2-niveauet – en reduktion på 73 procent
• Hukommelse til KV-cache: cirka 10 procent af V3.2-niveauet – en reduktion på omkring 90 procent
• Sammenlignet med en GQA-baseline i bfloat16: cirka 2 procent af cacheforbruget

For den mindre V4 Flash er reduktionen endnu større: 10 procent af FLOP-forbruget og 7 procent af KV-cachen .

Uden CSA og HCA ville en model med 1,6 billioner parametre og en kontekst på én million tokens mest ligne et forskningsprojekt: interessant, men for dyr og besværlig til almindelig drift. Med arkitekturen bliver den i stedet mulig at levere som et produkt.

Hvad testen fortæller om AI-markedet

De 43 dage peger på tre udviklinger.

For det første er Nvidias økosystemfordel stadig strukturel. CUDA fungerer fra lanceringsdagen, værktøjerne er modne, og Blackwell-hardware leverer samtidig den højeste rå ydelse.

For det andet har Huawei lukket afstanden til Nvidia på softwaremæssig lanceringsparathed. Ascend og CANN kunne understøtte V4 Pro fra dag ét, hvilket markerer et vigtigt skifte for den kinesiske AI-chipplatform. Det betyder dog ikke, at Huawei har indhentet Nvidia på den samlede hardwareydelse.

For det tredje viser AMD, at MI355X-hardware kan levere langt mere, end de første målinger antydede. Men forbedringen krævede en koncentreret udviklingsindsats med 31 optimeringer på 26 dage. En fremgang på 110,5 gange er imponerende – men den illustrerer også, at ROCm stadig kan være en flaskehals, når en ny frontier-model rammer markedet.

Den største ændring kommer dog fra modelarkitekturen. CSA og HCA gør ikke bare DeepSeek V4 lidt mere effektiv. De flytter grænsen for, hvad der overhovedet kan betale sig at køre. Når en model på 1,6 billioner parametre kan håndtere en million-token-kontekst til få cent pr. million tokens på den rigtige hardware, ændrer spørgsmålet sig fra »Kan vi gøre det?« til »Hvad skal vi bygge med det?«

Huawei leverede samtidig et bemærkelsesværdigt resultat. Kombinationen af Ascend 950DT og CANN-frameworket havde fuld understøttelse af DeepSeek V4 Pro på lanceringsdagen – første gang en ikke-CUDA-platform ifølge analysen matchede Nvidia på lanceringsparathed for en frontier-model i denne størrelsesorden .

Uafhængige målinger på den leverede Ascend 950PR viste desuden FP4-beregninger med 2,87 gange H20’s hastighed og op til 1,96 gange højere hastighed i MoE-inferens under reinforcement learning-kørsler . Huawei er dog fortsat begrænset af produktionstekniske forhold, så den absolutte gennemstrømning ligger under Nvidias bedste løsninger.

AMD’s lancering var derimod langt fra klar. MI355X kunne på dag ét kun køre FP8, mens modellens native FP4+FP8-checkpoint ikke kunne anvendes. På 8K/1K-testen nåede kortet blot 20,4 tokens i sekundet pr. GPU ved 2,4 tokens i sekundet pr. bruger . ROCm-stakken var endnu ikke optimeret til en MoE-model i denne skala.

AMD’s opsigtsvækkende comeback

Det, der fulgte, var en af de mest markante softwaredrevne forbedringer i nyere AI-infrastruktur.

I løbet af 26 dage fusionerede AMD’s SGLang-team under den tekniske ledelse af HaiShaw 31 pull requests med performanceoptimeringer i sidegrenen amd/deepseek_v4 . Optimeringerne ramte flere dele af ROCm-stakken, som reelt ikke var blevet afprøvet med en MoE-model af denne størrelse.

Den 20. maj 2026, på dag 26, nåede MI355X 2.256 tokens i sekundet pr. GPU ved 9,4 tokens i sekundet pr. bruger på den samme 8K/1K-test. Det svarer til en forbedring på 110,5 gange i gennemstrømning pr. GPU. Samtidig blev interaktiviteten forbedret 3,85 gange .

Det er en sjælden kombination: Den samlede kapacitet stiger, mens hver enkelt bruger også får hurtigere svar. Normalt må man vælge mellem højere gennemstrømning og lavere latenstid.

Ved sammenlignelige interaktivitetsniveauer i InferenceX nåede MI355X omkring 1.411 tokens i sekundet pr. GPU og placerede sig dermed i samme konkurrencefelt som Nvidia B200 ved lav interaktivitet . AMD ligger fortsat tydeligt efter GB300 NVL72, der under optimale forhold når op på 11.474 tokens i sekundet pr. GPU, men MI355X gik fra en næsten ubrugelig lancering til en realistisk inferensplatform .

Resultaterne efter 43 dage

Prisen pr. million tokens viser forskellen i driftsøkonomi. Ved lav interaktivitet leverer GB300 NVL72 tokens til 0,064 dollar pr. million – cirka 4,5 gange billigere end MI355X til 0,291 dollar .

Ved højere interaktivitet, hvor der er færre samtidige brugere og større fokus på hastigheden for den enkelte, bliver MI355X mere konkurrencedygtig over for B200. Her ligger platformene omkring 1,22–1,45 dollar pr. million tokens ved 23–24 samtidige brugere .

Den egentlige nøgle ligger i modellen

Chipbenchmarksene er imponerende, men de ville ikke være økonomisk interessante uden en tilsvarende arkitektonisk forbedring i DeepSeek V4.

Traditionel Transformer-opmærksomhed skalerer kvadratisk med kontekstlængden. Ved én million tokens vokser beregnings- og hukommelseskravene så voldsomt, at inferens bliver vanskelig at drive kommercielt på selv meget kraftig hardware.

DeepSeek V4 erstatter den traditionelle tilgang med en hybrid af to mekanismer:

Compressed Sparse Attention (CSA) arbejder detaljeret. Omkring fire tokens samles i én lært KV-post ved hjælp af dataafhængig vægtning og overlappende vinduer. Derefter udvælges kun de mest relevante komprimerede poster for hver forespørgsel via en komponent kaldet Lightning Indexer . En glidende lokal opmærksomhedsgren kører parallelt for at bevare præcision i nærliggende tekst .

Heavily Compressed Attention (HCA) tager et mere grovkornet valg. Op til 128 tokens komprimeres til én KV-post, hvorefter modellen udfører tæt opmærksomhed på den komprimerede strøm . Det giver et billigt, globalt overblik, men med lavere præcision i den enkelte hentning. HCA anvendes tidligt i modellen, mens det sidste lag bevarer fuld opmærksomhed for maksimal præcision .

Ved én million tokens giver arkitekturen følgende resultat sammenlignet med DeepSeek V3.2:

• Inferens-FLOPs pr. token: 27 procent af V3.2-niveauet – en reduktion på 73 procent
• Hukommelse til KV-cache: cirka 10 procent af V3.2-niveauet – en reduktion på omkring 90 procent
• Sammenlignet med en GQA-baseline i bfloat16: cirka 2 procent af cacheforbruget

For den mindre V4 Flash er reduktionen endnu større: 10 procent af FLOP-forbruget og 7 procent af KV-cachen .

Uden CSA og HCA ville en model med 1,6 billioner parametre og en kontekst på én million tokens mest ligne et forskningsprojekt: interessant, men for dyr og besværlig til almindelig drift. Med arkitekturen bliver den i stedet mulig at levere som et produkt.

Hvad testen fortæller om AI-markedet

De 43 dage peger på tre udviklinger.

For det første er Nvidias økosystemfordel stadig strukturel. CUDA fungerer fra lanceringsdagen, værktøjerne er modne, og Blackwell-hardware leverer samtidig den højeste rå ydelse.

For det andet har Huawei lukket afstanden til Nvidia på softwaremæssig lanceringsparathed. Ascend og CANN kunne understøtte V4 Pro fra dag ét, hvilket markerer et vigtigt skifte for den kinesiske AI-chipplatform. Det betyder dog ikke, at Huawei har indhentet Nvidia på den samlede hardwareydelse.

For det tredje viser AMD, at MI355X-hardware kan levere langt mere, end de første målinger antydede. Men forbedringen krævede en koncentreret udviklingsindsats med 31 optimeringer på 26 dage. En fremgang på 110,5 gange er imponerende – men den illustrerer også, at ROCm stadig kan være en flaskehals, når en ny frontier-model rammer markedet.

Den største ændring kommer dog fra modelarkitekturen. CSA og HCA gør ikke bare DeepSeek V4 lidt mere effektiv. De flytter grænsen for, hvad der overhovedet kan betale sig at køre. Når en model på 1,6 billioner parametre kan håndtere en million-token-kontekst til få cent pr. million tokens på den rigtige hardware, ændrer spørgsmålet sig fra »Kan vi gøre det?« til »Hvad skal vi bygge med det?«