NVIDIA Blackwell dominiert MLPerf Training 6.0: Neuer Rekord mit DeepSeek-V3 in 2 Minuten

MLCommons hat zwei neue Benchmarks auf Basis dieser Technologie eingeführt:

DeepSeek-V3 (671B):
Das Schwergewicht unter den neuen Modellen. Mit 671 Milliarden Gesamtparametern, von denen pro Token nur 37 Milliarden aktiviert werden, ist es eine echte Herausforderung für jede Infrastruktur. Das Modell nutzt hochentwickelte Techniken wie Multi-head Latent Attention (MLA) und eine ausgeklügelte Experten-Aufteilung mit 160 gerouteten Experten, um die Last effizient zu verteilen .

GPT-OSS-20B:
Das kleinere, aber dennoch anspruchsvolle Pendant für flexiblere Testumgebungen .

NVIDIA war auch hier der einzige Hardware-Anbieter, der Ergebnisse für beide neuen Benchmarks einreichte. Zum Einsatz kam das GB300 NVL72 System, das mit einem optimierten Software-Stack und fortschrittlichem MoE-Routing die Messlatte für diese Workloads setzte .

CoreWeave pulverisiert Rekorde: DeepSeek-V3 in 2 Minuten

Für eine echte Schlagzeile sorgte der Cloud-Spezialist CoreWeave. Das Unternehmen trainierte das DeepSeek-V3 671B-Modell auf seiner produktiven Cloud-Infrastruktur in schier unglaublichen 2,02 Minuten .

Der dafür genutzte Cluster bestand aus 8.192 NVIDIA GB300 NVL72 GPUs, verteilt auf 2.048 Knoten – das größte je in einem MLPerf eingereichte GB300-System . Dieser Rekord wurde nicht in einer isolierten Laborumgebung aufgestellt, sondern auf derselben CoreWeave-Cloud-Infrastruktur, die auch für Kunden verfügbar ist. Möglich wurde dies durch tiefgreifende Optimierungen über den gesamten Stack hinweg, von der Netzwerkebene über die Orchestrierung bis hin zur Speicherarchitektur .

Zum Vergleich: CoreWeave lieferte auch Ergebnisse für kleinere Konfigurationen und trainierte DeepSeek-V3 auf 4.096 GPUs in 3,09 Minuten und auf 2.048 GPUs in 5,54 Minuten .

Von GB200 zu GB300: Ein massiver Leistungssprung

Der Sprung von der GB200 NVL72 (Blackwell) zur neuen GB300 NVL72 (Blackwell Ultra) Generation ist frappierend. Die neue Architektur profitiert von größeren Speicher- und Energiebudgets, was eine bessere Modelllokalität und einen höheren Durchsatz ermöglicht .

Die Fakten auf einen Blick:

• Bei gleicher Skalierung liefert die GB300 NVL72 eine bis zu 1,6-mal schnellere Trainingszeit als der Vorgänger GB200 NVL72 .
• In einem separaten Inferenz-Benchmark wurden sogar bis zu 2,77-fache Token-pro-Sekunde-Beschleunigungen gemessen .

NVIDIA betont jedoch, dass dies kein reiner Hardware-Sieg ist. Die Software-Abteilung leistete Schwerstarbeit: Allein durch Optimierungen wie vollständige CUDA-Graphen und tiefe Kernel-Fusionen mit CuTe DSL konnte der Trainingsdurchsatz für DeepSeek-V3 auf identischer Hardware innerhalb von drei Monaten um den Faktor 1,3 gesteigert werden . Das zeigt, wie viel Potenzial noch im Software-Stack steckt.

Netzwerk als heimlicher Held

Bei derart massiven Clustern ist das Netzwerk oft der Flaschenhals – besonders bei MoE-Modellen, die durch ihre All-to-All-Kommunikationsmuster zu burst-artigem Datenverkehr neigen. NVIDIA-Partner setzten hier auf Spectrum-X Ethernet mit adaptivem Routing und Congestion Control, um die nahezu theoretisch maximale Bandbreite des Netzwerk-Fabric zu halten. Erst diese Kombination aus NVLink-Switch-Domänen und dem Scale-out-Fabric machte die neuen Rekorde in dieser Größenordnung möglich .

Rekordbeteiligung und technische Vielfalt

Trotz der NVIDIA-Dominanz war das Teilnehmerfeld so breit wie nie. 24 Organisationen reichten Ergebnisse ein, darunter AMD, Azure, Google, Dell, HPE und viele weitere. Insgesamt wurden 95 verschiedene Systeme mit 13 unterschiedlichen KI-Beschleunigern getestet .

Besonders hervorzuheben ist AMDs Vorstoß mit dem Instinct MI355X Beschleuniger und dem neuen MXFP4-Datenformat. In den Benchmarks Llama 2-70B Fine-Tuning und Llama 3.1-8B Pre-Training zeigte AMD eine starke Leistung und kam bis auf 5% an die Performance des NVIDIA B200 mit NVFP4 heran . Das ist ein Achtungserfolg und zeigt, dass der Wettbewerb im High-Performance-Computing-Segment nicht schläft. David Kanter von MLCommons betonte die wachsende Vielfalt bei FP4-Präzisionsverfahren und Software-Frameworks als Zeichen eines gesunden Ökosystems .

Alle NVIDIA-Rekorde im Überblick

NVIDIA führte die Ergebnisse nicht nur für die neuen MoE-Workloads an, sondern stellte auch in den klassischen Kategorien neue Bestmarken auf. Hier die stolzen Trainingszeiten der NVIDIA-Plattform :

Diese Ergebnisse summieren sich zu einer klaren Botschaft: Die Kombination aus Blackwell-Hardware und einem bis ins letzte Detail optimierten Software-Stack definiert derzeit den State of the Art für KI-Training. Mit kumuliert 291 MLPerf-Siegen seit 2018 – neunmal mehr als alle anderen Teilnehmer zusammen – hat NVIDIA seine Position als Benchmark-Platzhirsch eindrucksvoll untermauert .