AMD 就出事喇。MI355X 喺 Day-0 只能用 FP8，原生嘅 FP4+FP8 checkpoint 完全 run 唔到，結果得 20.4 tok/s/GPU，每個用户得 2.4 tok/s。ROCm 堆棧根本未 optimize 好，只係一個 placeholder。

AMD 嘅 110.5x 逆轉：軟件極速追落後

跟住落嚟嘅 26 日係近年 AI 基建記憶中最誇張嘅軟件效能提升。AMD SGLang 工程團隊喺 HaiShaw 帶領下，喺 amd/deepseek_v4 分支合併咗 31 個效能優化嘅 Pull Request。每個 PR 都針對一層 ROCm 堆棧，呢啲層次之前根本冇喺咁大規模嘅 MoE 模型上測試過。

去到 Day 26（即係 2026年5月20日），MI355X 喺 8K/1K workload 下做到 2,256 tok/s/GPU，每個用户有 9.4 tok/s。相比首日嘅 20.4 tok/s/GPU，即係 110.5 倍嘅吞吐量提升，同時用户互動速度仲快咗 3.85 倍。呢個結果好難得，因為通常吞吐量同用戶體驗好難一齊升。

喺 InferenceX 嘅可比互動性點上，Day-26 嘅 MI355X 大約做到 1,411 tok/s/GPU，同 Nvidia B200 喺低互動設定下差唔多。當然仲有好大距離俾 Nvidia GB300 NVL72（最高 11,474 tok/s/GPU），但個趨勢好重要：MI355X 由一個「啟動唔到」嘅產品變成一個 viable 嘅推理 SKU。

43 日完整排行榜

每百萬 token 嘅成本直接講出商業故事。喺低互動性下，GB300 NVL72 做到 $0.064/M tok，大約比 MI355X 平 4.5 倍（$0.291/M tok）。到高互動性（低並發、高用户速度）時，MI355X 就同 B200 差唔多，兩者喺 23–24 個 concurrent users 下大約係 $1.22–$1.45/M tok。

真正關鍵：DeepSeek V4 嘅混合注意力架構

benchmark 數字好靚，但如果冇 DeepSeek 喺模型架構上嘅突破，呢啲經濟效益根本唔可能出現。標準 Transformer Attention 嘅計算量隨 context 長度二次方咁升。去到 100 萬 token，任何硬件都 serve 唔起。DeepSeek V4 用兩種互補機制取代標準 attention：

壓縮稀疏注意力 (CSA) 做細粒度壓縮。每大約 4 個 token 用 data-dependent weighting 組合成一個 learned KV entry，然後做稀疏選擇——每個 query 淨係去睇最相關嘅 top-k 個壓縮 entries，由 Lightning Indexer 負責揀。旁邊仲有一條 sliding window attention 分支保持局部精準度。

高度壓縮注意力 (HCA) 就更加 aggressive。每 128 個 token 壓縮成一個 KV entry，然後喺呢條高度壓縮嘅 stream 上做 dense attention。咁做係用 retrieval 精準度換全面嘅 global coverage，邊際成本接近零。HCA 喺早期 layers 行，畀個平價嘅全景 context；最後一層就 keep 返 full attention 保證精準度。

合埋一齊，同 DeepSeek V3.2 喺 1M tokens 下比較：

• 每個 token 嘅推理 FLOPs：V3.2 嘅 27%（減咗 73%）
• KV cache 記憶體：V3.2 嘅 ~10%（減咗大約 90%）
• 同 GQA bfloat16 baseline 比：大約 2% 嘅 cache 用量

細啲嘅 V4 Flash 模型仲誇張：FLOPs 降到 10%，KV cache 得返 7%。

如果冇 CSA 同 HCA，呢個 1.6 萬億參數、100 萬 token context 嘅 Pro 模型只係一個科學實驗——有趣但商業上 serve 唔到。而家，佢係一個 product。

點樣解讀？

SemiAnalysis 嘅 43 日數據講咗三個故事。第一，Nvidia 嘅生態優勢依然結構性強大：CUDA 一開波就 work，每次都得，硬件仲真係領先。第二，華為已經完全追平咗 軟件 readiness 嘅差距——呢個係歷史性轉變，地緣政治影響會喺下一代硬件上浮現。第三，AMD 硬件有能力，但 ROCm 軟件堆棧仍然係瓶頸，每次出新 frontier 模型都要英雄式嘅工程努力先搞得掂——26 日提升 110.5 倍係好勁，但其實唔應該需要咁。

最大嘅畫面要歸功於架構師。DeepSeek 嘅 CSA + HCA 混合注意力唔單止提升效率，仲根本改變咗乜嘢模型係商業上可行。當一個 1.6 萬億參數、100 萬 token context 嘅模型，喺合適硬件上每百萬 token 成本只係單位數美金，個問題就由「做唔做到」變咗「我哋用嚟起乜嘢？」

AMD 就出事喇。MI355X 喺 Day-0 只能用 FP8，原生嘅 FP4+FP8 checkpoint 完全 run 唔到，結果得 20.4 tok/s/GPU，每個用户得 2.4 tok/s。ROCm 堆棧根本未 optimize 好，只係一個 placeholder。

AMD 嘅 110.5x 逆轉：軟件極速追落後

跟住落嚟嘅 26 日係近年 AI 基建記憶中最誇張嘅軟件效能提升。AMD SGLang 工程團隊喺 HaiShaw 帶領下，喺 amd/deepseek_v4 分支合併咗 31 個效能優化嘅 Pull Request。每個 PR 都針對一層 ROCm 堆棧，呢啲層次之前根本冇喺咁大規模嘅 MoE 模型上測試過。

去到 Day 26（即係 2026年5月20日），MI355X 喺 8K/1K workload 下做到 2,256 tok/s/GPU，每個用户有 9.4 tok/s。相比首日嘅 20.4 tok/s/GPU，即係 110.5 倍嘅吞吐量提升，同時用户互動速度仲快咗 3.85 倍。呢個結果好難得，因為通常吞吐量同用戶體驗好難一齊升。

喺 InferenceX 嘅可比互動性點上，Day-26 嘅 MI355X 大約做到 1,411 tok/s/GPU，同 Nvidia B200 喺低互動設定下差唔多。當然仲有好大距離俾 Nvidia GB300 NVL72（最高 11,474 tok/s/GPU），但個趨勢好重要：MI355X 由一個「啟動唔到」嘅產品變成一個 viable 嘅推理 SKU。

43 日完整排行榜

每百萬 token 嘅成本直接講出商業故事。喺低互動性下，GB300 NVL72 做到 $0.064/M tok，大約比 MI355X 平 4.5 倍（$0.291/M tok）。到高互動性（低並發、高用户速度）時，MI355X 就同 B200 差唔多，兩者喺 23–24 個 concurrent users 下大約係 $1.22–$1.45/M tok。

真正關鍵：DeepSeek V4 嘅混合注意力架構

benchmark 數字好靚，但如果冇 DeepSeek 喺模型架構上嘅突破，呢啲經濟效益根本唔可能出現。標準 Transformer Attention 嘅計算量隨 context 長度二次方咁升。去到 100 萬 token，任何硬件都 serve 唔起。DeepSeek V4 用兩種互補機制取代標準 attention：

壓縮稀疏注意力 (CSA) 做細粒度壓縮。每大約 4 個 token 用 data-dependent weighting 組合成一個 learned KV entry，然後做稀疏選擇——每個 query 淨係去睇最相關嘅 top-k 個壓縮 entries，由 Lightning Indexer 負責揀。旁邊仲有一條 sliding window attention 分支保持局部精準度。

高度壓縮注意力 (HCA) 就更加 aggressive。每 128 個 token 壓縮成一個 KV entry，然後喺呢條高度壓縮嘅 stream 上做 dense attention。咁做係用 retrieval 精準度換全面嘅 global coverage，邊際成本接近零。HCA 喺早期 layers 行，畀個平價嘅全景 context；最後一層就 keep 返 full attention 保證精準度。

合埋一齊，同 DeepSeek V3.2 喺 1M tokens 下比較：

• 每個 token 嘅推理 FLOPs：V3.2 嘅 27%（減咗 73%）
• KV cache 記憶體：V3.2 嘅 ~10%（減咗大約 90%）
• 同 GQA bfloat16 baseline 比：大約 2% 嘅 cache 用量

細啲嘅 V4 Flash 模型仲誇張：FLOPs 降到 10%，KV cache 得返 7%。

如果冇 CSA 同 HCA，呢個 1.6 萬億參數、100 萬 token context 嘅 Pro 模型只係一個科學實驗——有趣但商業上 serve 唔到。而家，佢係一個 product。

點樣解讀？

SemiAnalysis 嘅 43 日數據講咗三個故事。第一，Nvidia 嘅生態優勢依然結構性強大：CUDA 一開波就 work，每次都得，硬件仲真係領先。第二，華為已經完全追平咗 軟件 readiness 嘅差距——呢個係歷史性轉變，地緣政治影響會喺下一代硬件上浮現。第三，AMD 硬件有能力，但 ROCm 軟件堆棧仍然係瓶頸，每次出新 frontier 模型都要英雄式嘅工程努力先搞得掂——26 日提升 110.5 倍係好勁，但其實唔應該需要咁。

最大嘅畫面要歸功於架構師。DeepSeek 嘅 CSA + HCA 混合注意力唔單止提升效率，仲根本改變咗乜嘢模型係商業上可行。當一個 1.6 萬億參數、100 萬 token context 嘅模型，喺合適硬件上每百萬 token 成本只係單位數美金，個問題就由「做唔做到」變咗「我哋用嚟起乜嘢？」