Huawei gelang etwas historisch Einmaliges: Das Ascend 950DT + CANN-Framework erreichte die gleiche Tag-0-Vollunterstützung wie Nvidia – das erste Mal, dass eine Nicht-CUDA-Plattform bei einem Frontier-Modell auf diesem Niveau mithielt . Unabhängige Benchmarks auf der ausgelieferten Ascend 950PR zeigten FP4-Rechenleistung mit 2,87-fachem Tempo im Vergleich zur H20 und MoE-Inference bis zu 1,96-mal schneller in RL-Rollouts . Der Haken: Die Hardware-Leistungsobergrenze in China bleibt durch Fertigungsbeschränkungen gedeckelt, sodass der absolute Durchsatz weiterhin hinter Nvidias Bestem zurückbleibt.

AMDs Start war – schonungslos gesagt – eine Katastrophe. Die MI355X konnte am Tag 0 nur FP8 ausführen – der native FP4+FP8-Checkpoint war unbrauchbar – und lieferte bei der 8K/1K-Arbeitslast gerade einmal 20,4 tok/s/GPU bei 2,4 tok/s/Nutzer . Der ROCm-Stack war nicht optimiert; er war ein Platzhalter.

AMDs 110,5-fache Erholung: Der Software-Sprint

Was folgte, ist die dramatischste softwaregetriebene Leistungserholung, die die KI-Infrastruktur seit Langem gesehen hat. Das AMD-SGLang-Engineering-Team unter HaiShaw integrierte innerhalb von 26 Tagen 31 Performance-Optimierungs-Pull-Requests im amd/deepseek_v4-Side-Branch . Jeder PR adressierte eine Schicht des ROCm-Stacks, die mit einem MoE-Modell dieses Maßstabs praktisch ungetestet war.

Bis zum 26. Tag (20. Mai 2026) erreichte die MI355X 2.256 tok/s/GPU bei 9,4 tok/s/Nutzer auf der 8K/1K-Arbeitslast – eine 110,5-fache Steigerung des GPU-Durchsatzes bei gleichzeitig 3,85-fach verbesserter Interaktivität . Dies ist das seltene Optimierungsergebnis, bei dem beide Achsen gemeinsam steigen: Man bekommt normalerweise nicht schnellere Antwortzeiten pro Nutzer und höheren Gesamtdurchsatz von derselben Hardware.

Bei vergleichbaren Interaktivitätspunkten auf InferenceX erreicht die MI355X am 26. Tag etwa 1.411 tok/s/GPU und platziert sich damit in der gleichen Wettbewerbsklasse wie Nvidias B200 bei niedrigen Interaktivitätseinstellungen . Es bleibt hinter Nvidias GB300 NVL72 zurück (der unter optimalen Bedingungen bis zu 11.474 tok/s/GPU erreicht), aber die Entwicklung ist entscheidend: Die MI355X ging von einem nicht funktionsfähigen Start zu einer tragfähigen Inference-SKU über .

Das vollständige Ranking nach 43 Tagen

Die Kosten pro Million Tokens erzählen die ökonomische Geschichte. Bei niedriger Interaktivität liefert der GB300 NVL72 Tokens für $0,064/M Tok – etwa 4,5-mal günstiger als die MI355X mit $0,291/M Tok . Bei höherer Interaktivität (geringere Parallelität, höhere Geschwindigkeit pro Nutzer) wird die MI355X gegenüber dem B200 kosteneffizient, beide liegen bei etwa $1,22–$1,45/M Tok bei 23–24 gleichzeitigen Nutzern .

Der wahre Enabler: DeepSeek V4s hybride Attention-Architektur

Die Benchmark-Zahlen sind beeindruckend, aber sie wären wirtschaftlich bedeutungslos ohne DeepSeeks architektonischen Durchbruch auf der Modellseite. Standard-Transformer-Attention skaliert quadratisch mit der Kontextlänge. Bei 1 Million Token machen Rechen- und Speicherkosten den Betrieb auf jeder Hardware wirtschaftlich unmöglich. DeepSeek V4 ersetzt die Standard-Attention durch eine Hybridkonstruktion aus zwei komplementären Mechanismen:

Compressed Sparse Attention (CSA) arbeitet auf der feinkörnigen Ebene. Sie fasst etwa 4 Token in einen einzigen gelernten KV-Eintrag zusammen, verwendet datenabhängige Gewichtung mit überlappenden Fenstern und wendet dann eine dünnbesetzte Auswahl an – jeder Query beachtet nur die Top-k relevantesten komprimierten Einträge, indexiert durch eine Komponente namens Lightning Indexer . Ein Sliding-Window-Attention-Zweig läuft parallel, um die lokale Präzision zu bewahren .

Heavily Compressed Attention (HCA) setzt gröber an. Sie komprimiert bis zu 128 Token in einen einzigen KV-Eintrag und wendet dichte Attention über den stark komprimierten Strom an . Dies tauscht Abrufpräzision gegen umfassende globale Abdeckung zu nahezu vernachlässigbaren Grenzkosten. HCA läuft in frühen Schichten, um eine günstige kontextuelle Panoramaansicht zu liefern; die letzte Schicht behält die volle Attention für maximale Präzision .

Die kombinierten Effizienzgewinne im Vergleich zu DeepSeek V3.2 bei 1 M Token sind frappierend:

• Inference-FLOPs pro Token: 27 % von V3.2 (73 % Reduktion)
• KV-Cache-Speicher: ~10 % von V3.2 (ca. 90 % Reduktion)
• Im Vergleich zu einer GQA-bfloat16-Baseline: etwa 2 % des Cache-Fußabdrucks

Für das kleinere V4-Flash-Modell sinken diese Werte noch weiter: 10 % der FLOPs und 7 % des KV-Cache .

Ohne CSA und HCA wäre das Pro-Modell mit 1,6 Billionen Parametern und 1M Kontext ein wissenschaftliches Experiment – interessant, aber kommerziell nicht bedienbar. Mit ihnen ist es ein Produkt.

Was das bedeutet

Die 43-tägigen SemiAnalysis-Daten erzählen drei Geschichten parallel. Erstens: Nvidias Ökosystemvorteil bleibt strukturell enorm – CUDA funktioniert, Tag 0, jedes Mal, und die Hardware ist tatsächlich führend. Zweitens: Huawei hat die Softwarebereitschaftslücke vollständig geschlossen – eine historische Verschiebung mit geopolitischen Implikationen, die sich in der nächsten Hardware-Generation entfalten wird. Drittens: AMDs Hardware ist leistungsfähig, aber der ROCm-Software-Stack bleibt ein Engpass, der für jedes neue Frontier-Modell heldenhafte Ingenieursarbeit erfordert – eine 110,5-fache Verbesserung in 26 Tagen ist beeindruckend, aber sie sollte nicht nötig sein.

Das große Bild gehört den Architekten. DeepSeek CSA + HCA Hybrid-Attention verbessert nicht nur die Effizienz – sie verändert grundlegend, was kommerziell betrieben werden kann. Wenn ein Modell mit 1,6 Billionen Parametern bei Millionen-Token-Kontext auf der richtigen Hardware nur noch einstellige Cent pro Million Tokens kostet, verschiebt sich die Diskussion von „Können wir das?“ zu „Was bauen wir damit?“

Huawei gelang etwas historisch Einmaliges: Das Ascend 950DT + CANN-Framework erreichte die gleiche Tag-0-Vollunterstützung wie Nvidia – das erste Mal, dass eine Nicht-CUDA-Plattform bei einem Frontier-Modell auf diesem Niveau mithielt . Unabhängige Benchmarks auf der ausgelieferten Ascend 950PR zeigten FP4-Rechenleistung mit 2,87-fachem Tempo im Vergleich zur H20 und MoE-Inference bis zu 1,96-mal schneller in RL-Rollouts . Der Haken: Die Hardware-Leistungsobergrenze in China bleibt durch Fertigungsbeschränkungen gedeckelt, sodass der absolute Durchsatz weiterhin hinter Nvidias Bestem zurückbleibt.

AMDs Start war – schonungslos gesagt – eine Katastrophe. Die MI355X konnte am Tag 0 nur FP8 ausführen – der native FP4+FP8-Checkpoint war unbrauchbar – und lieferte bei der 8K/1K-Arbeitslast gerade einmal 20,4 tok/s/GPU bei 2,4 tok/s/Nutzer . Der ROCm-Stack war nicht optimiert; er war ein Platzhalter.

AMDs 110,5-fache Erholung: Der Software-Sprint

Was folgte, ist die dramatischste softwaregetriebene Leistungserholung, die die KI-Infrastruktur seit Langem gesehen hat. Das AMD-SGLang-Engineering-Team unter HaiShaw integrierte innerhalb von 26 Tagen 31 Performance-Optimierungs-Pull-Requests im amd/deepseek_v4-Side-Branch . Jeder PR adressierte eine Schicht des ROCm-Stacks, die mit einem MoE-Modell dieses Maßstabs praktisch ungetestet war.

Bis zum 26. Tag (20. Mai 2026) erreichte die MI355X 2.256 tok/s/GPU bei 9,4 tok/s/Nutzer auf der 8K/1K-Arbeitslast – eine 110,5-fache Steigerung des GPU-Durchsatzes bei gleichzeitig 3,85-fach verbesserter Interaktivität . Dies ist das seltene Optimierungsergebnis, bei dem beide Achsen gemeinsam steigen: Man bekommt normalerweise nicht schnellere Antwortzeiten pro Nutzer und höheren Gesamtdurchsatz von derselben Hardware.

Bei vergleichbaren Interaktivitätspunkten auf InferenceX erreicht die MI355X am 26. Tag etwa 1.411 tok/s/GPU und platziert sich damit in der gleichen Wettbewerbsklasse wie Nvidias B200 bei niedrigen Interaktivitätseinstellungen . Es bleibt hinter Nvidias GB300 NVL72 zurück (der unter optimalen Bedingungen bis zu 11.474 tok/s/GPU erreicht), aber die Entwicklung ist entscheidend: Die MI355X ging von einem nicht funktionsfähigen Start zu einer tragfähigen Inference-SKU über .

Das vollständige Ranking nach 43 Tagen

Die Kosten pro Million Tokens erzählen die ökonomische Geschichte. Bei niedriger Interaktivität liefert der GB300 NVL72 Tokens für $0,064/M Tok – etwa 4,5-mal günstiger als die MI355X mit $0,291/M Tok . Bei höherer Interaktivität (geringere Parallelität, höhere Geschwindigkeit pro Nutzer) wird die MI355X gegenüber dem B200 kosteneffizient, beide liegen bei etwa $1,22–$1,45/M Tok bei 23–24 gleichzeitigen Nutzern .

Der wahre Enabler: DeepSeek V4s hybride Attention-Architektur

Die Benchmark-Zahlen sind beeindruckend, aber sie wären wirtschaftlich bedeutungslos ohne DeepSeeks architektonischen Durchbruch auf der Modellseite. Standard-Transformer-Attention skaliert quadratisch mit der Kontextlänge. Bei 1 Million Token machen Rechen- und Speicherkosten den Betrieb auf jeder Hardware wirtschaftlich unmöglich. DeepSeek V4 ersetzt die Standard-Attention durch eine Hybridkonstruktion aus zwei komplementären Mechanismen:

Compressed Sparse Attention (CSA) arbeitet auf der feinkörnigen Ebene. Sie fasst etwa 4 Token in einen einzigen gelernten KV-Eintrag zusammen, verwendet datenabhängige Gewichtung mit überlappenden Fenstern und wendet dann eine dünnbesetzte Auswahl an – jeder Query beachtet nur die Top-k relevantesten komprimierten Einträge, indexiert durch eine Komponente namens Lightning Indexer . Ein Sliding-Window-Attention-Zweig läuft parallel, um die lokale Präzision zu bewahren .

Heavily Compressed Attention (HCA) setzt gröber an. Sie komprimiert bis zu 128 Token in einen einzigen KV-Eintrag und wendet dichte Attention über den stark komprimierten Strom an . Dies tauscht Abrufpräzision gegen umfassende globale Abdeckung zu nahezu vernachlässigbaren Grenzkosten. HCA läuft in frühen Schichten, um eine günstige kontextuelle Panoramaansicht zu liefern; die letzte Schicht behält die volle Attention für maximale Präzision .

Die kombinierten Effizienzgewinne im Vergleich zu DeepSeek V3.2 bei 1 M Token sind frappierend:

• Inference-FLOPs pro Token: 27 % von V3.2 (73 % Reduktion)
• KV-Cache-Speicher: ~10 % von V3.2 (ca. 90 % Reduktion)
• Im Vergleich zu einer GQA-bfloat16-Baseline: etwa 2 % des Cache-Fußabdrucks

Für das kleinere V4-Flash-Modell sinken diese Werte noch weiter: 10 % der FLOPs und 7 % des KV-Cache .

Ohne CSA und HCA wäre das Pro-Modell mit 1,6 Billionen Parametern und 1M Kontext ein wissenschaftliches Experiment – interessant, aber kommerziell nicht bedienbar. Mit ihnen ist es ein Produkt.

Was das bedeutet

Die 43-tägigen SemiAnalysis-Daten erzählen drei Geschichten parallel. Erstens: Nvidias Ökosystemvorteil bleibt strukturell enorm – CUDA funktioniert, Tag 0, jedes Mal, und die Hardware ist tatsächlich führend. Zweitens: Huawei hat die Softwarebereitschaftslücke vollständig geschlossen – eine historische Verschiebung mit geopolitischen Implikationen, die sich in der nächsten Hardware-Generation entfalten wird. Drittens: AMDs Hardware ist leistungsfähig, aber der ROCm-Software-Stack bleibt ein Engpass, der für jedes neue Frontier-Modell heldenhafte Ingenieursarbeit erfordert – eine 110,5-fache Verbesserung in 26 Tagen ist beeindruckend, aber sie sollte nicht nötig sein.

Das große Bild gehört den Architekten. DeepSeek CSA + HCA Hybrid-Attention verbessert nicht nur die Effizienz – sie verändert grundlegend, was kommerziell betrieben werden kann. Wenn ein Modell mit 1,6 Billionen Parametern bei Millionen-Token-Kontext auf der richtigen Hardware nur noch einstellige Cent pro Million Tokens kostet, verschiebt sich die Diskussion von „Können wir das?“ zu „Was bauen wir damit?“