AMD 的開局則堪稱災難。MI355X 在 Day 0 只能跑 FP8──原生 FP4+FP8 檢查點完全無法使用──在 8K/1K 負載下僅交出 20.4 tok/s/GPU、每位使用者 2.4 tok/s 的慘澹成績。ROCm 軟體堆疊不只是未最佳化，根本是暫存代碼。

AMD 的 110.5 倍逆襲：26 天的軟體衝刺

這是近期 AI 基礎設施史上最戲劇性的軟體驅動效能回升。由 HaiShaw 技術領導的 AMD SGLang 團隊，在 26 天內於 amd/deepseek_v4 分支合併了 31 項效能最佳化 Pull Request。每一項 PR 都在處理 ROCm 堆疊中未曾以如此規模的 MoE 模型測試過的環節。

到了第 26 天（2026年5月20日），MI355X 在 8K/1K 負載下達到 2,256 tok/s/GPU、每位使用者 9.4 tok/s──每張 GPU 吞吐量提升 110.5 倍，同時互動性還提升了 3.85 倍。這是最罕見的最佳化成果：兩個軸線同時向上攀升──一般情況下，你很難在同一硬體上既加快單一使用者的回應速度又提高總吞吐量。

在 InferenceX 相近互動性設定下，第 26 天的 MI355X 約可達 1,411 tok/s/GPU，與 Nvidia B200 在低互動性設定下的表現處於同一競爭等級。雖然仍落後 GB300 NVL72（最佳條件下可達 11,474 tok/s/GPU），但趨勢才是重點：MI355X 從一個無法運作的發布品蛻變為可用的推論級產品。

第 43 天完整排行榜

每百萬 Token 成本則說明了經濟面。低互動性下，GB300 NVL72 的 Token 成本為 $0.064/M tok──約為 MI355X ($0.291/M tok) 的 4.5 倍便宜。在高互動性（較低併發、較高單人速度）下，MI355X 則與 B200 成本相當，兩者在 23–24 位併發使用者時均落在 $1.22–$1.45/M tok 左右。

真正的關鍵：DeepSeek V4 的混合注意力架構

這些基準數字固然驚人，但若沒有 DeepSeek 在模型架構上的突破，它們在經濟上毫無意義。標準 Transformer 注意力的計算量隨上下文長度呈二次方增長。在百萬 Token 時，運算與記憶體成本讓任何硬體都難以經濟地提供服務。DeepSeek V4 以兩種互補機制取代標準注意力：

壓縮稀疏注意力（CSA） 運作在細粒度層級。它將約 4 個 Token 透過資料相依加權與重疊窗口，合併成一個學習後的 KV 條目，再進行稀疏選擇──每個查詢僅關注由 Lightning Indexer 索引的 top-k 最相關壓縮條目。同時並行滑動窗口注意力分支以保留局部精確度。

高度壓縮注意力（HCA） 則採取更粗略的策略：將最多 128 個 Token 壓縮成一個 KV 條目，並對高度壓縮後的串流執行密集注意力。這項設計以檢索精確度換取幾乎零邊際成本的全面全局覆蓋。HCA 在較早的層級運作，提供廉價的上下文全景；最後一層則保留完整注意力以求最高精確度。

與 DeepSeek V3.2 在 1M Token 下相比，整體效率提升驚人：

• 單 Token 推論 FLOPs：V3.2 的 27%（減少 73%）
• KV Cache 記憶體：V3.2 的約 10%（減少約 90%）
• 與 GQA bfloat16 基線相比：約 2% 的 Cache 用量

對於較小的 V4 Flash 模型，這些數字更低：僅 10% 的 FLOPs 與 7% 的 KV Cache。

沒有 CSA 和 HCA，1.6 兆參數的 Pro 模型在百萬 Token 情境下只會是個科學實驗──有趣但無法商業化服務。有了它們，它就是個產品。

這代表什麼

SemiAnalysis 這 43 天的數據同時訴說著三個故事。第一，Nvidia 的生態系優勢仍極度巨大：CUDA 永遠 Day 0 就緒，硬體也確實領先。第二，華為已完全追平了「軟體即戰力」的差距──這是一個歷史性的轉變，其地緣政治影響將在下一代硬體中逐漸發酵。第三，AMD 的硬體有實力，但 ROCm 軟體堆疊仍是瓶頸，每次面對新的 Frontier 模型都需要英雄式的工程努力才能克服──26 天內 110.5 倍的改進令人印象深刻，但這不該是常態。

更大的畫面屬於架構師。DeepSeek 的 CSA + HCA 混合注意力不只是提升效率──它從根本上改變了什麼在商業上值得提供服務。當一個 1.6 兆參數模型在百萬 Token 情境下，於正確的硬體上每百萬 Token 成本僅需個位數美分時，討論將從「我們做得到嗎？」轉變為「我們要用它來做什麼？」

AMD 的開局則堪稱災難。MI355X 在 Day 0 只能跑 FP8──原生 FP4+FP8 檢查點完全無法使用──在 8K/1K 負載下僅交出 20.4 tok/s/GPU、每位使用者 2.4 tok/s 的慘澹成績。ROCm 軟體堆疊不只是未最佳化，根本是暫存代碼。

AMD 的 110.5 倍逆襲：26 天的軟體衝刺

這是近期 AI 基礎設施史上最戲劇性的軟體驅動效能回升。由 HaiShaw 技術領導的 AMD SGLang 團隊，在 26 天內於 amd/deepseek_v4 分支合併了 31 項效能最佳化 Pull Request。每一項 PR 都在處理 ROCm 堆疊中未曾以如此規模的 MoE 模型測試過的環節。

到了第 26 天（2026年5月20日），MI355X 在 8K/1K 負載下達到 2,256 tok/s/GPU、每位使用者 9.4 tok/s──每張 GPU 吞吐量提升 110.5 倍，同時互動性還提升了 3.85 倍。這是最罕見的最佳化成果：兩個軸線同時向上攀升──一般情況下，你很難在同一硬體上既加快單一使用者的回應速度又提高總吞吐量。

在 InferenceX 相近互動性設定下，第 26 天的 MI355X 約可達 1,411 tok/s/GPU，與 Nvidia B200 在低互動性設定下的表現處於同一競爭等級。雖然仍落後 GB300 NVL72（最佳條件下可達 11,474 tok/s/GPU），但趨勢才是重點：MI355X 從一個無法運作的發布品蛻變為可用的推論級產品。

第 43 天完整排行榜

每百萬 Token 成本則說明了經濟面。低互動性下，GB300 NVL72 的 Token 成本為 $0.064/M tok──約為 MI355X ($0.291/M tok) 的 4.5 倍便宜。在高互動性（較低併發、較高單人速度）下，MI355X 則與 B200 成本相當，兩者在 23–24 位併發使用者時均落在 $1.22–$1.45/M tok 左右。

真正的關鍵：DeepSeek V4 的混合注意力架構

這些基準數字固然驚人，但若沒有 DeepSeek 在模型架構上的突破，它們在經濟上毫無意義。標準 Transformer 注意力的計算量隨上下文長度呈二次方增長。在百萬 Token 時，運算與記憶體成本讓任何硬體都難以經濟地提供服務。DeepSeek V4 以兩種互補機制取代標準注意力：

壓縮稀疏注意力（CSA） 運作在細粒度層級。它將約 4 個 Token 透過資料相依加權與重疊窗口，合併成一個學習後的 KV 條目，再進行稀疏選擇──每個查詢僅關注由 Lightning Indexer 索引的 top-k 最相關壓縮條目。同時並行滑動窗口注意力分支以保留局部精確度。

高度壓縮注意力（HCA） 則採取更粗略的策略：將最多 128 個 Token 壓縮成一個 KV 條目，並對高度壓縮後的串流執行密集注意力。這項設計以檢索精確度換取幾乎零邊際成本的全面全局覆蓋。HCA 在較早的層級運作，提供廉價的上下文全景；最後一層則保留完整注意力以求最高精確度。

與 DeepSeek V3.2 在 1M Token 下相比，整體效率提升驚人：

• 單 Token 推論 FLOPs：V3.2 的 27%（減少 73%）
• KV Cache 記憶體：V3.2 的約 10%（減少約 90%）
• 與 GQA bfloat16 基線相比：約 2% 的 Cache 用量

對於較小的 V4 Flash 模型，這些數字更低：僅 10% 的 FLOPs 與 7% 的 KV Cache。

沒有 CSA 和 HCA，1.6 兆參數的 Pro 模型在百萬 Token 情境下只會是個科學實驗──有趣但無法商業化服務。有了它們，它就是個產品。

這代表什麼

SemiAnalysis 這 43 天的數據同時訴說著三個故事。第一，Nvidia 的生態系優勢仍極度巨大：CUDA 永遠 Day 0 就緒，硬體也確實領先。第二，華為已完全追平了「軟體即戰力」的差距──這是一個歷史性的轉變，其地緣政治影響將在下一代硬體中逐漸發酵。第三，AMD 的硬體有實力，但 ROCm 軟體堆疊仍是瓶頸，每次面對新的 Frontier 模型都需要英雄式的工程努力才能克服──26 天內 110.5 倍的改進令人印象深刻，但這不該是常態。

更大的畫面屬於架構師。DeepSeek 的 CSA + HCA 混合注意力不只是提升效率──它從根本上改變了什麼在商業上值得提供服務。當一個 1.6 兆參數模型在百萬 Token 情境下，於正確的硬體上每百萬 Token 成本僅需個位數美分時，討論將從「我們做得到嗎？」轉變為「我們要用它來做什麼？」