Nvidia sopar banan med alla sju benchmark i MLPerf Training v6.0 – här är detaljerna

CoreWeaves rekord på DeepSeek-V3

En av rundans största snackisar stod CoreWeave för. Molnleverantören tränade DeepSeek-V3 671B på 2,02 minuter – ja, du läste rätt – med hjälp av 8 192 stycken Nvidia GB300 NVL72-GPU:er. Det var den största GB300-klustret i den här omgången, och allt kördes på CoreWeaves ordinarie produktionsmoln .

Resultatet var det snabbaste DeepSeek-V3-resultatet i hela benchmarken, vilket uppnåddes genom optimeringar i flera lager: allt från nätverk och orkestrering till lagring .

GB300 NVL72 vs. GB200 NVL72 – ett rejält kliv framåt

Nvidias nya GB300 NVL72 (Blackwell Ultra) visar tydligt vad nästa generations hårdvara går för:

• Systemet levererar upp till 2,77 gånger högre tokens per sekund jämfört med GB200 NVL72 vid inferens. I träningstesterna såg vi också en väsentligt högre genomströmning .
• Blackwell Ultra har både större minne och högre effektbudget, vilket gör att modeller kan hållas mer lokalt på GPU:n och ge högre kapacitet jämfört med GB200 .
• Mjukvaran spelar också en stor roll. DeepSeek-V3:s träningsgenomströmning förbättrades med 1,3 gånger på bara tre månader på identisk hårdvara. Detta tack vare optimeringar som fullständiga CUDA-grafer och sammanslagningar med CuTe DSL .

Rekordmånga deltagare och teknisk bredd

Intresset för MLPerf fortsätter att växa. I den här rundan deltog:

• 24 organisationer
• 95 olika system
• Med 13 olika hårdvaruacceleratorer .

Den tekniska mångfalden ökar också. Vi ser nu flera olika recept för FP4-precision (inklusive MXFP4 från AMD) och olika mjukvaruramverk, vilket MLPerf Training-medordföranden Shriya Rishab lyfte fram .

AMD:s Instinct MI355X med MXFP4-precision visade konkurrenskraftiga resultat mot Nvidia B200 på finjustering av Llama 2-70B och förträning av Llama 3.1-8B .

Nätverk och systemvinster på stor skala

För att hantera den enorma skalan krävs mer än bara snabba GPU:er. Nvidias partners skalade upp till 8 192 Blackwell-GPU:er i hyperskala-kluster och drog nytta av Spectrum-X Ethernet med adaptiv routing och överbelastningskontroll. Detta säkerställde att nätverkskapaciteten hölls nära teoretiskt maximum även för MoE-modellers ”burstiga” all-till-all-kommunikation .

Kombinationen av NVLink-switchdomäner och skalbart nätverk gav rekordtider över hela linjen, inklusive:

• Llama 3.1 8B förträning: 5,2 minuter
• Llama 2 70B finjustering: 0,40 minuter
• FLUX.1 bildgenerering: 12,5 minuter
• DLRM-DCNv2 rekommendationsmodell: 0,71 minuter
• RetinaNet objektdetektering: 1,4 minuter