MLPerf Inference v6.1 的重點，已不再是「邊粒 GPU 最快」的一張榜單。這一輪結果反映 AI 推理服務的評估方式正在轉變：AMD 展示超大規模叢集能力，NVIDIA 拿出下一代 Vera Rubin 的首批預覽數據，Intel 擴闊 CPU 與工作站級 GPU 的參與範圍，而 MLCommons 則加入檢索增強生成（RAG）與代理式 AI（agentic AI）測試。

換句話說，真正值得比較的單位，愈來愈不是一張 GPU，而是一套已可取得、能在指定延遲限制下跑相關工作負載的完整推理系統。

AMD 的 512 張 MI355X：突顯「總規模」

AMD 最搶眼的成績，來自 Crusoe 以 512 張 Instinct MI355X 組成的配置，錄得 v6.1 本輪最高的總 token 吞吐量。5 這不單是加速器性能測試，亦考驗大規模分散式推理、網絡及整體系統整合能力。

不過，這不等於 MI355X 在所有情境下都必然領先。512 張 GPU 的總吞吐量，不能直接拿去跟單一機櫃或較小型叢集相比；至少要按 GPU 數量、模型、基準測試情境及服務水平要求作標準化比較。對大型推理艦隊而言，總吞吐量很重要；但對個別部署，單卡效能、機櫃密度、耗電、供貨情況和營運複雜度，可能同樣甚至更關鍵。

ROCm 軟件進步，可能比換卡更有價值

AMD 的訊息亦是一個軟件故事。公司指出，同一批 MI355X 硬件在上一輪 MLPerf 後，因 ROCm 優化而有更高表現。這代表編譯器、核心運算程式、模型 runtime 及分散式服務軟件，均有機會令既有 GPU 叢集提升可用容量，而毋須立即更換硬件。

AMD 又承諾 ROCm 採用 6 星期發布節奏。若這個節奏能持續帶來可部署的改善，軟件更新便會成為用家計算每 token 成本的一部分。不過，MLPerf 的增幅不會自動一比一複製到實際服務：模型組合、量化方式、框架、流量模式和延遲目標不同，結果都可以大有分別。

NVIDIA 用 Vera Rubin 預覽下一代平台，但「預覽」是關鍵字

NVIDIA 的 Vera Rubin NVL72 今次首次出現在 MLPerf Inference，提交類別為預覽。NVIDIA 表示，該系統在 Qwen3-VL 工作負載的吞吐量最高可達 GB300 NVL72 的 3.7 倍；另有一項橫跨 4 個 GB300 NVL72 機櫃、共 288 張 GPU 的提交，錄得 99% 擴展效率。2

但要留意，預覽成績主要說明架構方向和軟件成熟度，未必等同可即時採購系統的同級比較。加上本輪預覽提交使用的叢集規模並不一致，單 GPU 成績或其他已標準化指標，通常比單看系統總吞吐量更有參考價值。8

短期內，Blackwell 與 Blackwell Ultra 仍是實際部署的重心。例如 CoreWeave 表示，其多個 Blackwell 和 Blackwell Ultra 配置，在 Qwen3-VL、DeepSeek-R1 及 GPT-OSS-120B 等工作負載錄得領先的雲端服務供應商成績。4 實際意義不是選出單一「總冠軍」，而是不同場景有不同取捨：超大型叢集總容量、機櫃級服務、多模態推理和互動式低延遲，未必由同一配置最適合。

Intel 擴闊了可比較的推理選項

Intel 的提交令 CPU 及工作站級 GPU 推理更受注目。其四 GPU Arc Pro B70 節點合共提供 128GB VRAM，提交了 Llama、GPT-OSS-120B、Whisper，以及新端到端 RAG 工作負載的結果；Intel 亦報告，同一 Arc Pro B70 配置較上一輪有軟件帶動的提升。3

這並非表示 Arc Pro 可直接取代超大規模數據中心加速器叢集，但令 MLPerf 更能反映另一類需求：預算較有限、需要彈性部署、偏向本地推理，或受既有伺服器基建及記憶體容量限制的機構。

RAG 與 Agentic AI 測試，令基準更靠近真實應用

MLCommons 表示，v6.1 有破紀錄的 30 個提交機構，合共 486 項數據中心與邊緣端結果；套件同時新增數據中心端到端 RAG 基準，以及 Edge Agentic Inference 基準。9

這個改動十分重要。傳統離線 token 吞吐量測試，未必反映代理式工作負載的瓶頸：多輪互動、工具調用、編排開銷，以及每一步之間的回應速度，都會影響最終體驗。MLCommons 指出，邊緣端測試旨在反映代理式編程等複雜多輪任務。9

它們仍然是受控基準，並非生產環境的完整複製；但比起只量度一次提示後生成 token 的速度，已更接近許多團隊正在落地的 AI 應用。

MLPerf Endpoints：未來或更着重「持續運行」表現

MLCommons 亦預覽了 MLPerf Endpoints 作為可能的下一步。重點分別在於：現時是定期提交一次基準成績；endpoint 導向的做法，則可能更著重持續運行的服務端點，在負載下的表現、延遲穩定性、可用性及營運可重複性，而不只是某次固定測試跑出的峰值。

現階段，這仍屬發展方向，未是既有提交制度的定案替代品。但 v6.1 已經說明，部署質素遠不止每秒最高 token 數字。

採購啟示：比較整個 stack，不要只看頭條數字

MLPerf v6.1 顯示，AI 推理競爭由三個互相扣連的因素主導：加速器能力、軟件進步，以及系統整合。AMD 的 MI355X 大型提交凸顯規模；NVIDIA 的 Vera Rubin 預覽展示下一代潛力，而 Blackwell 則服務當前部署；Intel Arc Pro B70 則擴闊了可比較硬件範圍；新增測試亦承認 RAG 和代理式 AI 有不同效能要求。

評估平台時，應先定義自己的工作負載和營運目標：所用模型、context length、併發量、延遲 SLO、功耗預算、部署規模，以及每個有效輸出的成本。之後才在相若規模、相若可用性下比較系統。這比把任何一項 MLPerf 頭條成績當成通用答案更實際。

MLPerf Inference v6.1 的重點，已不再是「邊粒 GPU 最快」的一張榜單。這一輪結果反映 AI 推理服務的評估方式正在轉變：AMD 展示超大規模叢集能力，NVIDIA 拿出下一代 Vera Rubin 的首批預覽數據，Intel 擴闊 CPU 與工作站級 GPU 的參與範圍，而 MLCommons 則加入檢索增強生成（RAG）與代理式 AI（agentic AI）測試。

換句話說，真正值得比較的單位，愈來愈不是一張 GPU，而是一套已可取得、能在指定延遲限制下跑相關工作負載的完整推理系統。

AMD 的 512 張 MI355X：突顯「總規模」

AMD 最搶眼的成績，來自 Crusoe 以 512 張 Instinct MI355X 組成的配置，錄得 v6.1 本輪最高的總 token 吞吐量。5 這不單是加速器性能測試，亦考驗大規模分散式推理、網絡及整體系統整合能力。

不過，這不等於 MI355X 在所有情境下都必然領先。512 張 GPU 的總吞吐量，不能直接拿去跟單一機櫃或較小型叢集相比；至少要按 GPU 數量、模型、基準測試情境及服務水平要求作標準化比較。對大型推理艦隊而言，總吞吐量很重要；但對個別部署，單卡效能、機櫃密度、耗電、供貨情況和營運複雜度，可能同樣甚至更關鍵。

ROCm 軟件進步，可能比換卡更有價值

AMD 的訊息亦是一個軟件故事。公司指出，同一批 MI355X 硬件在上一輪 MLPerf 後，因 ROCm 優化而有更高表現。這代表編譯器、核心運算程式、模型 runtime 及分散式服務軟件，均有機會令既有 GPU 叢集提升可用容量，而毋須立即更換硬件。

AMD 又承諾 ROCm 採用 6 星期發布節奏。若這個節奏能持續帶來可部署的改善，軟件更新便會成為用家計算每 token 成本的一部分。不過，MLPerf 的增幅不會自動一比一複製到實際服務：模型組合、量化方式、框架、流量模式和延遲目標不同，結果都可以大有分別。

NVIDIA 用 Vera Rubin 預覽下一代平台，但「預覽」是關鍵字

NVIDIA 的 Vera Rubin NVL72 今次首次出現在 MLPerf Inference，提交類別為預覽。NVIDIA 表示，該系統在 Qwen3-VL 工作負載的吞吐量最高可達 GB300 NVL72 的 3.7 倍；另有一項橫跨 4 個 GB300 NVL72 機櫃、共 288 張 GPU 的提交，錄得 99% 擴展效率。2

但要留意，預覽成績主要說明架構方向和軟件成熟度，未必等同可即時採購系統的同級比較。加上本輪預覽提交使用的叢集規模並不一致，單 GPU 成績或其他已標準化指標，通常比單看系統總吞吐量更有參考價值。8

短期內，Blackwell 與 Blackwell Ultra 仍是實際部署的重心。例如 CoreWeave 表示，其多個 Blackwell 和 Blackwell Ultra 配置，在 Qwen3-VL、DeepSeek-R1 及 GPT-OSS-120B 等工作負載錄得領先的雲端服務供應商成績。4 實際意義不是選出單一「總冠軍」，而是不同場景有不同取捨：超大型叢集總容量、機櫃級服務、多模態推理和互動式低延遲，未必由同一配置最適合。

Intel 擴闊了可比較的推理選項

Intel 的提交令 CPU 及工作站級 GPU 推理更受注目。其四 GPU Arc Pro B70 節點合共提供 128GB VRAM，提交了 Llama、GPT-OSS-120B、Whisper，以及新端到端 RAG 工作負載的結果；Intel 亦報告，同一 Arc Pro B70 配置較上一輪有軟件帶動的提升。3

這並非表示 Arc Pro 可直接取代超大規模數據中心加速器叢集，但令 MLPerf 更能反映另一類需求：預算較有限、需要彈性部署、偏向本地推理，或受既有伺服器基建及記憶體容量限制的機構。

RAG 與 Agentic AI 測試，令基準更靠近真實應用

MLCommons 表示，v6.1 有破紀錄的 30 個提交機構，合共 486 項數據中心與邊緣端結果；套件同時新增數據中心端到端 RAG 基準，以及 Edge Agentic Inference 基準。9

這個改動十分重要。傳統離線 token 吞吐量測試，未必反映代理式工作負載的瓶頸：多輪互動、工具調用、編排開銷，以及每一步之間的回應速度，都會影響最終體驗。MLCommons 指出，邊緣端測試旨在反映代理式編程等複雜多輪任務。9

它們仍然是受控基準，並非生產環境的完整複製；但比起只量度一次提示後生成 token 的速度，已更接近許多團隊正在落地的 AI 應用。

MLPerf Endpoints：未來或更着重「持續運行」表現

MLCommons 亦預覽了 MLPerf Endpoints 作為可能的下一步。重點分別在於：現時是定期提交一次基準成績；endpoint 導向的做法，則可能更著重持續運行的服務端點，在負載下的表現、延遲穩定性、可用性及營運可重複性，而不只是某次固定測試跑出的峰值。

現階段，這仍屬發展方向，未是既有提交制度的定案替代品。但 v6.1 已經說明，部署質素遠不止每秒最高 token 數字。

採購啟示：比較整個 stack，不要只看頭條數字

MLPerf v6.1 顯示，AI 推理競爭由三個互相扣連的因素主導：加速器能力、軟件進步，以及系統整合。AMD 的 MI355X 大型提交凸顯規模；NVIDIA 的 Vera Rubin 預覽展示下一代潛力，而 Blackwell 則服務當前部署；Intel Arc Pro B70 則擴闊了可比較硬件範圍；新增測試亦承認 RAG 和代理式 AI 有不同效能要求。

評估平台時，應先定義自己的工作負載和營運目標：所用模型、context length、併發量、延遲 SLO、功耗預算、部署規模，以及每個有效輸出的成本。之後才在相若規模、相若可用性下比較系統。這比把任何一項 MLPerf 頭條成績當成通用答案更實際。