NVIDIA domine MLPerf Training v6.0 : records sur DeepSeek-V3 et les nouveaux modèles MoE

CoreWeave et le record sur DeepSeek-V3

• CoreWeave a entraîné DeepSeek-V3 671B en 2,02 minutes sur 8 192 GPU NVIDIA GB300 NVL72 — le plus grand cluster GB300 de cette édition — directement sur son infrastructure cloud de production .
• Il s'agit du temps d'entraînement le plus rapide jamais enregistré pour ce benchmark. Cette performance a été obtenue grâce à des optimisations complètes couvrant la couche réseau, l'orchestration et le stockage .

NVIDIA GB300 NVL72 (Blackwell Ultra) vs GB200 NVL72

• Le système GB300 NVL72 (Blackwell Ultra) offre jusqu'à 2,77x plus de tokens par seconde par rapport au GB200 NVL72 en inférence, et a démontré un débit d'entraînement nettement supérieur lors de ce round .
• La puce Blackwell Ultra bénéficie d'enveloppes mémoire et puissance plus larges, améliorant la localité des données et le débit par rapport à la génération GB200 .
• La pile logicielle NVIDIA a apporté des gains supplémentaires : un gain de performance de 1,3x en seulement trois mois sur un matériel identique pour DeepSeek-V3, grâce à des innovations logicielles comme les CUDA graphs itératifs complets et les fusions CuTe DSL .

Participation record et diversité technique

• 24 organisations ont soumis 95 systèmes distincts utilisant 13 accélérateurs matériels différents .
• Ce round se caractérise par une diversité technique croissante avec plusieurs formules de précision FP4 (dont MXFP4 pour AMD) et des frameworks logiciels variés, comme l'a souligné Shriya Rishab, co-présidente de MLPerf Training .
• L'AMD Instinct MI355X avec MXFP4 a affiché des performances compétitives face au NVIDIA B200 sur le fine-tuning de Llama 2-70B et le pré-entraînement de Llama 3.1-8B .

Réseau scale-out et performances système

• Les partenaires de NVIDIA ont fait évoluer l'infrastructure jusqu'à 8 192 GPU Blackwell dans des clusters hyperscale, en utilisant Spectrum-X Ethernet avec routage adaptatif et contrôle de congestion pour maintenir une bande passante quasi théorique sur les communications « all-to-all » des architectures MoE .
• La combinaison des domaines NVLink-switch et de la connectique scale-out a permis d'atteindre des records sur tous les benchmarks, notamment :
  • Pré-entraînement Llama 3.1 8B : 5,2 minutes .
  • Fine-tuning Llama 2 70B : 0,40 minute .
  • Génération d'image FLUX.1 : 12,5 minutes .
  • DLRM-DCNv2 : 0,71 minute .
  • RetinaNet : 1,4 minute .

Les résultats de MLPerf Training v6.0 confirment l'écart de performance de la plateforme Blackwell Ultra, notamment face à la montée en puissance des modèles MoE de type DeepSeek. Avec une infrastructure cloud de production opérée par CoreWeave, ces benchmarks illustrent les gains concrets apportés par la co-optimisation matérielle et logicielle.