DeepSeek-V3は、マルチヘッド潜在アテンション（MLA）、160のルーテッドエキスパートによるファイングレインな専門家分割、マルチトークン予測、補助損失なしの負荷分散といった最先端技術を採用しており、そのアーキテクチャはベンチマークの難易度を大きく引き上げました 。

NVIDIAは、72基のBlackwell Ultra GPUを接続する「GB300 NVL72」システムを投入し、カスタムソフトウェアスタック、CUDAグラフ、高度なMoEルーティングによる最適化を施すことで、これら2つの新ベンチマークの両方に結果を提出した唯一のプラットフォームとなりました 。

CoreWeaveがDeepSeek-V3で樹立した驚異のレコード

クラウドインフラストラクチャ企業のCoreWeaveは、8,192基のNVIDIA GB300 NVL72 GPU（2,048ノード）という、本ラウンドで最大のGB300クラスタを用いて、DeepSeek-V3 671Bの学習をわずか2.02分で完了しました 。これは、実際に顧客が利用可能な本番クラウドインフラ上で達成されたものであり、ネットワーキング、オーケストレーション、ストレージレイヤーにわたるフルスタックの最適化の賜物です 。

この記録は、大規模MoEモデルの学習効率における新たな基準点となりました。

GB300 NVL72 vs. GB200 NVL72：Blackwell Ultraの真価

NVIDIAの最新プラットフォームである GB300 NVL72（Blackwell Ultra） は、前世代のGB200 NVL72と比較して、その性能向上が際立っています。

• 推論性能：最大で2.77倍のトークン/秒の高速化を達成 。
• 学習性能：同一規模での比較において、GB300 NVL72はGB200 NVL72よりも最大1.6倍高速なトレーニングを実現しました 。

この性能向上は、より大容量のメモリと電力バジェットによって、モデルの局所性とスループットが向上したことによるものです 。さらに、NVIDIAのソフトウェアスタックの進化も大きな役割を果たしています。DeepSeek-V3のトレーニングスループットは、同一ハードウェア上で、わずか3カ月のソフトウェア革新（完全反復CUDAグラフやCuTe DSLフュージョンなど）によって1.3倍も向上しました 。

記録的な参加数と技術的多様性

MLPerf Training v6.0には、24の組織が参加し、13種類の異なるハードウェアアクセラレータを使用した95もの異なるシステムで結果が提出されました 。

MLPerf Training共同議長のShriya Rishab氏が指摘するように、今回のラウンドでは、AMDのMXFP4を含む複数のFP4精度レシピや多様なソフトウェアフレームワークが用いられ、技術的な多様性が大きく広がりました 。

中でも注目されたのは、AMDのInstinct MI355Xです。MXFP4データタイプを使用し、Llama 2-70BのファインチューニングとLlama 3.1-8Bの事前学習において、NVIDIA B200プラットフォームと競合しうる性能を示しました（Llama 2-70Bで5%差、Llama 3.1-8Bで6%差に迫る） 。

スケールアウト・ネットワーキングとシステム全体での勝利

NVIDIAのパートナー各社は、ハイパースケールクラスタにおいて最大8,192基のBlackwell GPUまでスケールし、その性能を遺憾なく発揮しました。この大規模分散学習を支えたのが、Spectrum-X Ethernetです。MoEモデルの通信パターンに特有のバースト性の高いAll-to-All通信に対しても、アダプティブルーティングと輻輳制御によって、理論値に近いファブリック帯域幅を維持しました 。

NVLinkスイッチドメインとスケールアウトファブリックの組み合わせにより、すべてのベンチマークで記録的なタイムが達成されました。具体的な数値は以下の通りです 。

• LLM事前学習 (Llama 3.1 8B)： 5.2分
• LLMファインチューニング (Llama 2 70B LoRA)： 0.40分
• 画像生成 (FLUX.1)： 12.5分
• レコメンダー (DLRM-DCNv2)： 0.71分
• 物体検出 (RetinaNet)： 1.4分

DeepSeek-V3は、マルチヘッド潜在アテンション（MLA）、160のルーテッドエキスパートによるファイングレインな専門家分割、マルチトークン予測、補助損失なしの負荷分散といった最先端技術を採用しており、そのアーキテクチャはベンチマークの難易度を大きく引き上げました 。

NVIDIAは、72基のBlackwell Ultra GPUを接続する「GB300 NVL72」システムを投入し、カスタムソフトウェアスタック、CUDAグラフ、高度なMoEルーティングによる最適化を施すことで、これら2つの新ベンチマークの両方に結果を提出した唯一のプラットフォームとなりました 。

CoreWeaveがDeepSeek-V3で樹立した驚異のレコード

クラウドインフラストラクチャ企業のCoreWeaveは、8,192基のNVIDIA GB300 NVL72 GPU（2,048ノード）という、本ラウンドで最大のGB300クラスタを用いて、DeepSeek-V3 671Bの学習をわずか2.02分で完了しました 。これは、実際に顧客が利用可能な本番クラウドインフラ上で達成されたものであり、ネットワーキング、オーケストレーション、ストレージレイヤーにわたるフルスタックの最適化の賜物です 。

この記録は、大規模MoEモデルの学習効率における新たな基準点となりました。

GB300 NVL72 vs. GB200 NVL72：Blackwell Ultraの真価

NVIDIAの最新プラットフォームである GB300 NVL72（Blackwell Ultra） は、前世代のGB200 NVL72と比較して、その性能向上が際立っています。

• 推論性能：最大で2.77倍のトークン/秒の高速化を達成 。
• 学習性能：同一規模での比較において、GB300 NVL72はGB200 NVL72よりも最大1.6倍高速なトレーニングを実現しました 。

この性能向上は、より大容量のメモリと電力バジェットによって、モデルの局所性とスループットが向上したことによるものです 。さらに、NVIDIAのソフトウェアスタックの進化も大きな役割を果たしています。DeepSeek-V3のトレーニングスループットは、同一ハードウェア上で、わずか3カ月のソフトウェア革新（完全反復CUDAグラフやCuTe DSLフュージョンなど）によって1.3倍も向上しました 。

記録的な参加数と技術的多様性

MLPerf Training v6.0には、24の組織が参加し、13種類の異なるハードウェアアクセラレータを使用した95もの異なるシステムで結果が提出されました 。

MLPerf Training共同議長のShriya Rishab氏が指摘するように、今回のラウンドでは、AMDのMXFP4を含む複数のFP4精度レシピや多様なソフトウェアフレームワークが用いられ、技術的な多様性が大きく広がりました 。

中でも注目されたのは、AMDのInstinct MI355Xです。MXFP4データタイプを使用し、Llama 2-70BのファインチューニングとLlama 3.1-8Bの事前学習において、NVIDIA B200プラットフォームと競合しうる性能を示しました（Llama 2-70Bで5%差、Llama 3.1-8Bで6%差に迫る） 。

スケールアウト・ネットワーキングとシステム全体での勝利

NVIDIAのパートナー各社は、ハイパースケールクラスタにおいて最大8,192基のBlackwell GPUまでスケールし、その性能を遺憾なく発揮しました。この大規模分散学習を支えたのが、Spectrum-X Ethernetです。MoEモデルの通信パターンに特有のバースト性の高いAll-to-All通信に対しても、アダプティブルーティングと輻輳制御によって、理論値に近いファブリック帯域幅を維持しました 。

NVLinkスイッチドメインとスケールアウトファブリックの組み合わせにより、すべてのベンチマークで記録的なタイムが達成されました。具体的な数値は以下の通りです 。

• LLM事前学習 (Llama 3.1 8B)： 5.2分
• LLMファインチューニング (Llama 2 70B LoRA)： 0.40分
• 画像生成 (FLUX.1)： 12.5分
• レコメンダー (DLRM-DCNv2)： 0.71分
• 物体検出 (RetinaNet)： 1.4分