Nvidia fejer alt af banen i MLPerf Training 6.0: Blackwell-æraens totale dominans

CoreWeaves rekord på DeepSeek-V3

• CoreWeave trænede DeepSeek-V3 671B på 2,02 minutter på 8.192 Nvidia GB300 NVL72 GPU'er – den største GB300-klynge i denne runde – kørende på produktionsklar cloud-infrastruktur .
• Dette var det hurtigste DeepSeek-V3 træningsresultat i benchmarken, opnået via optimeringer i hele systemstakken: netværk, orkestrering og storage .

Nvidia GB300 NVL72 vs. GB200 NVL72

• GB300 NVL72 (Blackwell Ultra) leverer op til 2,77x hurtigere token-per-sekund i inferens i forhold til GB200 NVL72 og demonstrerede betydeligt højere træningsgennemløb i denne runde .
• Blackwell Ultra nyder godt af større hukommelse og strømbudgetter, hvilket muliggør højere modellokalitet og gennemstrømning sammenlignet med GB200 .
• Softwareoptimeringer gav yderligere gevinster: Træningsgennemløbet for DeepSeek-V3 blev forbedret med 1,3x på bare tre måneder på identisk hardware via softwareinnovationer som fuld-iterations CUDA-grafer og CuTe DSL-fusioner .

Rekorddeltagelse & teknisk diversitet

• 24 organisationer indsendte resultater på tværs af 95 forskellige systemer med 13 forskellige hardwareacceleratorer .
• Runden bød på voksende teknisk mangfoldighed, herunder flere FP4-præcisionsopskrifter (bl.a. MXFP4 fra AMD) og varierede software-frameworks, som bemærket af MLPerf Trainings medformand Shriya Rishab .
• AMDs Instinct MI355X med MXFP4 leverede konkurrencedygtig ydelse mod Nvidia B200 på Llama 2-70B finetuning og Llama 3.1-8B prætræning .

Netværk i hyperskala & systemgevinster

• Nvidias partnere skalerede til 8.192 Blackwell GPU'er i hyperscale-klynger ved at udnytte Spectrum-X Ethernet med Adaptive Routing og Congestion Control for at opretholde næsten teoretisk stoffets båndbredde til MoE's burst-prægede all-to-all kommunikationsmønstre .
• Kombinationen af NVLink-switch-domæner og skaleringsnetværk leverede rekordtider over hele linjen, herunder Llama 3.1 8B prætræning (5,2 minutter), Llama 2 70B finetuning (0,40 minutter), FLUX.1 billedgenerering (12,5 minutter), DLRM-DCNv2 (0,71 minutter) og RetinaNet (1,4 minutter) .