NVIDIA 如何以 Blackwell 平台橫掃 MLPerf Training v6.0？關鍵數據與技術一次看

GPT-OSS-20B

• 較小規模的 MoE 基準，同樣用於衡量硬體與軟體堆疊在稀疏模型上的訓練效率。

NVIDIA 是唯一同時提交這兩項新基準的平台，並以 GB300 NVL72 系統搭配客製化軟體堆疊、CUDA graphs 及進階 MoE 路由技術，建立初期性能標竿 。

CoreWeave 的 DeepSeek-V3 紀錄：2.02 分鐘的雲端預訓練

在本輪 MLPerf 中，CoreWeave 使用了高達 8,192 顆 NVIDIA GB300 NVL72 GPU，這是該輪提交中規模最大的 GB300 叢集，運行在與客戶相同的生產雲端基礎架構上 。

• 2.02 分鐘達成 DeepSeek-V3 671B 的目標品質，創下本輪最快紀錄 。
• 同套架構在 4,096 顆 GPU 上訓練時間為 3.09 分鐘，2,048 顆 GPU 上為 5.54 分鐘，展現良好的擴展性 。
• 這項成績來自網路、編排層、儲存層的「全堆疊」優化，而非僅靠單一硬體規格 。

GB300 NVL72 vs. GB200 NVL72：Blackwell Ultra 的世代躍進

硬體規格紅利

• GB300 NVL72 (Blackwell Ultra) 擁有更大的記憶體與供電預算，使模型能在單一 NVLink 交換域內獲得更高的局部性與吞吐量 。
• 在推論任務上，GB300 NVL72 相較前代 GB200 NVL72 的 token 吞吐量提升可達 2.77 倍 。
• 在相同規模下，GB300 NVL72 的訓練速度也比 GB200 NVL72 快上 1.6 倍 。

軟體疊代加速

• 在相同硬體上，透過全迭代 CUDA graphs 與 CuTe DSL 融合等軟體創新，DeepSeek-V3 的訓練吞吐量在短短三個月內進一步提升 1.3 倍 。
• 這顯示 NVIDIA 的軟硬體協同設計 (co-design) 能持續在已部署系統上榨出額外效能。

擴展網路與系統級勝利

NVIDIA 的合作夥伴將 Blackwell GPU 規模推至 8,192 顆，並導入 Spectrum-X 乙太網路，透過自適應路由與壅塞控制來應對 MoE 模型突發的 all-to-all 通訊模式 。

結合 NVLink 交換域與橫向擴展網路，NVIDIA 在所有基準皆創下紀錄級時間 ：

競爭風貌：AMD 的 MXFP4 與多元生態

本輪亦展現了持續擴大的技術多樣性。值得關注的是：

• AMD Instinct MI355X 使用 MXFP4 精度，在 Llama 2-70B 微調與 Llama 3.1-8B 預訓練兩項任務上，與 NVIDIA B200 平台的效能差距縮小到 5%–6% 。
• 24 個提交組織中包含多家雲端服務商與系統廠，涵蓋從 H200 SXM 到 Blackwell Ultra 的多代硬體 。

總結：Blackwell 時代的訓練新標準

MLPerf Training v6.0 不僅見證了 NVIDIA Blackwell 平台在規模與單加速器效能上的雙重統治，更透過 DeepSeek-V3 等 MoE 基準，將產業關注焦點推向大規模稀疏模型的實際訓練效率。

從硬體的記憶體容量躍升，到軟體堆疊在數月內帶來的 1.3 倍吞吐增益，再到 Spectrum-X 乙太網路對 MoE 通訊模式的適配，這一系列成果反映出 AI 訓練已進入一個由系統級設計驅動、持續快速疊代的新階段。