華為(Huawei)は歴史的な偉業を達成した。Ascend 950DT + CANNフレームワークがNvidiaと同じくDay0のフルスタックサポートを提供したのだ。フロンティア級モデルにおいて、非CUDAプラットフォームがNvidiaに並んだのはこれが初めてである。 独立したベンチマークでは、出荷版のAscend 950PRがFP4演算でH20比2.87倍、MoE推論で最大1.96倍の性能を示した。 ただし、中国のハードウェアは製造上の制約により絶対的なピーク性能では依然としてNvidiaに劣る。
AMDのローンチは率直に言って惨憺たるものだった。MI355Xは初日、ネイティブのFP4+FP8チェックポイントが使用できず、FP8のみで動作。スループットはわずかGPUあたり20.4トークン/秒、ユーザーあたり2.4トークン/秒(8K/1Kワークロード)だった。 ROCmスタックは最適化どころか、仮置きの状態に等しかった。
その後に起きたのは、近年のAIインフラ史上、最も劇的なソフトウェア主導の性能回復劇である。AMD SGLangエンジニアリングチーム(HaiShawが技術リーダー)は、amd/deepseek_v4サイドブランチに31件の性能最適化プルリクエストを26日間でマージした。 各PRは、この規模のMoEモデルでは実質的に未テストだったROCmスタックの各層に対処するものだった。
Day26(2026年5月20日)までに、MI355Xは8K/1KワークロードでGPUあたり2,256トークン/秒(ユーザーあたり9.4トークン/秒) を達成。これは初日比でスループット110.5倍、インタラクティブ性3.85倍の同時改善という、稀な結果である。
InferenceX上の同等のインタラクティブ性のポイントで比較すると、Day26のMI355Xは約1,411トークン/秒/GPUを達成し、低インタラクティブ性設定ではNvidia B200と競合する水準にある。 それでもNvidia GB300 NVL72(最適条件下で最大11,474トークン/秒/GPU)には及ばないが、その軌跡は重要だ。MI355Xは事実上動作しない状態から、実用的な推論SKUへと変貌を遂げた。
| プラットフォーム | スループット (tok/s/GPU) | コスト ($/M tok) | Day0サポート | 主な制約 |
|---|---|---|---|---|
| Nvidia GB300 NVL72 | 8,075–11,474 | $0.064–$0.166 | 完全 (CUDA, vLLM, SGLang) | 供給不足 |
| AMD MI355X (Day26以降) | 1,411–2,256 | $0.291–$0.585 | 不完全 (FP8のみ、後に修正) | ROCmの成熟度 |
| Nvidia B200 | 1,411 | $0.387 | 完全 (CUDA via Dynamo TRT) | ミッドレンジの位置づけ |
| 華為 Ascend 950DT | 公開データなし | N/A | 完全 (CANN, Day0) | 製造制約によるピーク性能限界 |
| Nvidia H200 | 186 | N/A | 完全 (CUDA) | 前世代Hopper |
100万トークンあたりのコストで経済性を比較する。低インタラクティブ性では、GB300 NVL72が**$0.064/100万トークンと、MI355X($0.291/100万トークン)の約4.5倍安い。 高いインタラクティブ性(低並列性、高ユーザー応答速度)では、MI355XはB200とコスト競争力を発揮し、ともに23–24同時ユーザー時で約$1.22–$1.45/100万トークン**となる。
ベンチマークの数値は劇的だが、モデル側のアーキテクチャ的ブレークスルーがなければ経済的に無意味だった。標準的なTransformerアテンションはコンテキスト長に対して二次関数的にスケールする。100万トークンでは、計算コストとメモリコストが商用化を不可能にする。
DeepSeek V4はこれを補完的な2つのメカニズムで置き換える。
Compressed Sparse Attention(CSA) は、きめ細かいレベルで動作する。約4トークンを1つの学習されたKVエントリにグループ化し(データ依存の重み付けとオーバーラップウィンドウを使用)、その上でスパース選択を適用する。各クエリは、Lightning Indexerと呼ばれるコンポーネントによってインデックス付けされた、最も関連性の高い圧縮エントリのみに注目する。 スライディングウィンドウアテンションブランチが並行して動作し、局所的な精度を維持する。
Heavily Compressed Attention(HCA) は、より粗いアプローチを取る。最大128トークンを単一のKVエントリに圧縮し、その高圧縮ストリームに対して密なアテンションを適用する。 これは検索精度よりも包括的なグローバルカバレッジを、ほぼゼロの限界コストで優先する。HCAは初期層で動作し、コストのかからないコンテキストパノラマを提供。最終層は完全なアテンションを保持し、最大の精度を確保する。
100万トークンでのDeepSeek V3.2との効率性比較の結果は驚異的である。
より小型のV4 Flashモデルでは、これらの数値はさらに低下する。FLOPsは10%、KVキャッシュは7%である。
CSAとHCAがなければ、100万トークンコンテキストの1.6兆パラメータモデルはサイエンスプロジェクトで終わっていただろう。興味深いが、商用化は不可能だった。それが今やプロダクトとして成立する。
SemiAnalysisの43日間のデータは、3つの並行するストーリーを語っている。第一に、Nvidiaのエコシステム優位は依然として構造的に大きい。CUDAは初日から常に動作し、ハードウェアも真に先行している。第二に、華為はソフトウェア面でのギャップを完全に埋めた。これは地政学的な含意を持つ歴史的な変化であり、次世代ハードウェアでその影響が現れるだろう。第三に、AMDのハードウェアは能力を秘めているが、ROCmソフトウェアスタックは依然としてボトルネックであり、新しいフロンティアモデルごとに英雄的なエンジニアリング努力を必要とする。26日間で110.5倍の改善は印象的だが、本来必要なものであってはならない。
より大きな絵を描くのはアーキテクトたちだ。DeepSeekのCSA + HCAハイブリッドアテンションは効率を改善するだけでなく、何が商用として viable かの基準を根本的に変える。100万トークンコンテキストの1.6兆パラメータモデルが、適切なハードウェア上で100万トークンあたり数セントで運用できるようになれば、会話は「これができるか?」から「これで何を作るか?」へとシフトする。
華為(Huawei)は歴史的な偉業を達成した。Ascend 950DT + CANNフレームワークがNvidiaと同じくDay0のフルスタックサポートを提供したのだ。フロンティア級モデルにおいて、非CUDAプラットフォームがNvidiaに並んだのはこれが初めてである。 独立したベンチマークでは、出荷版のAscend 950PRがFP4演算でH20比2.87倍、MoE推論で最大1.96倍の性能を示した。 ただし、中国のハードウェアは製造上の制約により絶対的なピーク性能では依然としてNvidiaに劣る。
AMDのローンチは率直に言って惨憺たるものだった。MI355Xは初日、ネイティブのFP4+FP8チェックポイントが使用できず、FP8のみで動作。スループットはわずかGPUあたり20.4トークン/秒、ユーザーあたり2.4トークン/秒(8K/1Kワークロード)だった。 ROCmスタックは最適化どころか、仮置きの状態に等しかった。
その後に起きたのは、近年のAIインフラ史上、最も劇的なソフトウェア主導の性能回復劇である。AMD SGLangエンジニアリングチーム(HaiShawが技術リーダー)は、amd/deepseek_v4サイドブランチに31件の性能最適化プルリクエストを26日間でマージした。 各PRは、この規模のMoEモデルでは実質的に未テストだったROCmスタックの各層に対処するものだった。
Day26(2026年5月20日)までに、MI355Xは8K/1KワークロードでGPUあたり2,256トークン/秒(ユーザーあたり9.4トークン/秒) を達成。これは初日比でスループット110.5倍、インタラクティブ性3.85倍の同時改善という、稀な結果である。
InferenceX上の同等のインタラクティブ性のポイントで比較すると、Day26のMI355Xは約1,411トークン/秒/GPUを達成し、低インタラクティブ性設定ではNvidia B200と競合する水準にある。 それでもNvidia GB300 NVL72(最適条件下で最大11,474トークン/秒/GPU)には及ばないが、その軌跡は重要だ。MI355Xは事実上動作しない状態から、実用的な推論SKUへと変貌を遂げた。
| プラットフォーム | スループット (tok/s/GPU) | コスト ($/M tok) | Day0サポート | 主な制約 |
|---|---|---|---|---|
| Nvidia GB300 NVL72 | 8,075–11,474 | $0.064–$0.166 | 完全 (CUDA, vLLM, SGLang) | 供給不足 |
| AMD MI355X (Day26以降) | 1,411–2,256 | $0.291–$0.585 | 不完全 (FP8のみ、後に修正) | ROCmの成熟度 |
| Nvidia B200 | 1,411 | $0.387 | 完全 (CUDA via Dynamo TRT) | ミッドレンジの位置づけ |
| 華為 Ascend 950DT | 公開データなし | N/A | 完全 (CANN, Day0) | 製造制約によるピーク性能限界 |
| Nvidia H200 | 186 | N/A | 完全 (CUDA) | 前世代Hopper |
100万トークンあたりのコストで経済性を比較する。低インタラクティブ性では、GB300 NVL72が**$0.064/100万トークンと、MI355X($0.291/100万トークン)の約4.5倍安い。 高いインタラクティブ性(低並列性、高ユーザー応答速度)では、MI355XはB200とコスト競争力を発揮し、ともに23–24同時ユーザー時で約$1.22–$1.45/100万トークン**となる。
ベンチマークの数値は劇的だが、モデル側のアーキテクチャ的ブレークスルーがなければ経済的に無意味だった。標準的なTransformerアテンションはコンテキスト長に対して二次関数的にスケールする。100万トークンでは、計算コストとメモリコストが商用化を不可能にする。
DeepSeek V4はこれを補完的な2つのメカニズムで置き換える。
Compressed Sparse Attention(CSA) は、きめ細かいレベルで動作する。約4トークンを1つの学習されたKVエントリにグループ化し(データ依存の重み付けとオーバーラップウィンドウを使用)、その上でスパース選択を適用する。各クエリは、Lightning Indexerと呼ばれるコンポーネントによってインデックス付けされた、最も関連性の高い圧縮エントリのみに注目する。 スライディングウィンドウアテンションブランチが並行して動作し、局所的な精度を維持する。
Heavily Compressed Attention(HCA) は、より粗いアプローチを取る。最大128トークンを単一のKVエントリに圧縮し、その高圧縮ストリームに対して密なアテンションを適用する。 これは検索精度よりも包括的なグローバルカバレッジを、ほぼゼロの限界コストで優先する。HCAは初期層で動作し、コストのかからないコンテキストパノラマを提供。最終層は完全なアテンションを保持し、最大の精度を確保する。
100万トークンでのDeepSeek V3.2との効率性比較の結果は驚異的である。
より小型のV4 Flashモデルでは、これらの数値はさらに低下する。FLOPsは10%、KVキャッシュは7%である。
CSAとHCAがなければ、100万トークンコンテキストの1.6兆パラメータモデルはサイエンスプロジェクトで終わっていただろう。興味深いが、商用化は不可能だった。それが今やプロダクトとして成立する。
SemiAnalysisの43日間のデータは、3つの並行するストーリーを語っている。第一に、Nvidiaのエコシステム優位は依然として構造的に大きい。CUDAは初日から常に動作し、ハードウェアも真に先行している。第二に、華為はソフトウェア面でのギャップを完全に埋めた。これは地政学的な含意を持つ歴史的な変化であり、次世代ハードウェアでその影響が現れるだろう。第三に、AMDのハードウェアは能力を秘めているが、ROCmソフトウェアスタックは依然としてボトルネックであり、新しいフロンティアモデルごとに英雄的なエンジニアリング努力を必要とする。26日間で110.5倍の改善は印象的だが、本来必要なものであってはならない。
より大きな絵を描くのはアーキテクトたちだ。DeepSeekのCSA + HCAハイブリッドアテンションは効率を改善するだけでなく、何が商用として viable かの基準を根本的に変える。100万トークンコンテキストの1.6兆パラメータモデルが、適切なハードウェア上で100万トークンあたり数セントで運用できるようになれば、会話は「これができるか?」から「これで何を作るか?」へとシフトする。