NVIDIA stravince l'MLPerf Training v6.0: Blackwell Ultra detta legge e CoreWeave polverizza DeepSeek-V3

Il record di CoreWeave: DeepSeek-V3 addestrato in un battito di ciglia

Il risultato più eclatante porta la firma di CoreWeave, che ha dimostrato come la potenza di calcolo su scala cloud possa comprimere tempi di addestramento un tempo impensabili.

• CoreWeave ha addestrato DeepSeek-V3 671B in soli 2,02 minuti, utilizzando un cluster di 8.192 GPU NVIDIA GB300 NVL72 – il più grande schieramento di GB300 in questa tornata – in esecuzione sulla sua infrastruttura cloud di produzione .
• Questo risultato, il più veloce in assoluto per il benchmark, è stato raggiunto grazie a ottimizzazioni a tutto campo che hanno riguardato rete, orchestrazione e strati di storage .

NVIDIA GB300 NVL72 vs. GB200 NVL72: il salto generazionale di Blackwell Ultra

Il confronto tra le due generazioni di sistemi NVIDIA Blackwell mostra un progresso notevole, non solo in termini di hardware ma anche di software.

• Il sistema GB300 NVL72 (Blackwell Ultra) ha dimostrato di fornire fino a 2,77x di velocità in token al secondo rispetto al GB200 NVL72 in fase di inferenza, e ha registrato un throughput di addestramento sostanzialmente superiore in questa tornata di benchmark .
• Blackwell Ultra beneficia di budget di memoria e potenza maggiori, che consentono una maggiore località dei dati del modello e un throughput più elevato rispetto al GB200 .
• Anche lo stack software di NVIDIA ha fatto la differenza: il throughput di addestramento di DeepSeek-V3 è migliorato di 1,3x in soli tre mesi su hardware identico, grazie a innovazioni come i grafi CUDA a iterazione completa e le fusioni CuTe DSL .

Partecipazione da record e diversità tecnica

La competizione si è fatta più agguerrita e variegata, segno di un ecosistema in grande fermento.

• 24 organizzazioni hanno presentato risultati, utilizzando 95 sistemi diversi e 13 acceleratori hardware differenti .
• Come notato da Shriya Rishab, co-presidente di MLPerf Training, questa edizione ha mostrato una crescente diversità tecnica, con molteplici ricette di precisione FP4 (incluso MXFP4 di AMD) e vari framework software .
• In questo contesto, le GPU AMD Instinct MI355X con MXFP4 hanno mostrato prestazioni competitive contro le NVIDIA B200 nei test di fine-tuning di Llama 2-70B e pre-addestramento di Llama 3.1-8B .

Rete e scalabilità su scala industriale: la vittoria di sistema

La potenza bruta delle singole GPU è solo una parte della storia. La capacità di farle lavorare insieme in modo efficiente è ciò che ha permesso di stabilire questi record.

• I partner di NVIDIA hanno scalato fino a 8.192 GPU Blackwell in cluster iperscalabili, sfruttando la rete Spectrum-X Ethernet con Adaptive Routing e Controllo della Congestione. Questo ha permesso di sostenere una larghezza di banda quasi teorica per i pattern di comunicazione "a raffica" (all-to-all) tipici dei modelli MoE .
• La combinazione di domini NVLink-switch e fabric di scale-out ha permesso di ottenere tempi record su tutta la linea, inclusi il pre-addestramento di Llama 3.1 8B in 5,2 minuti, il fine-tuning di Llama 2 70B in 0,40 minuti, la generazione di immagini FLUX.1 in 12,5 minuti, il recommender DLRM-DCNv2 in 0,71 minuti e il rilevamento oggetti con RetinaNet in 1,4 minuti .