MLPerf Inference v6.1 與其說是一張「哪顆晶片最快」的排行榜，不如說是 AI 服務型態正在改變的縮影。本輪最受矚目的訊號包括：AMD 以 MI355X 做出極大規模的提交、NVIDIA 首次公布 Vera Rubin 的預覽成績、Intel 擴大 CPU 與工作站級 GPU 推論的涵蓋範圍，以及新增檢索增強生成（RAG）和邊緣代理式 AI 測試。

這些結果共同指向一件事：比較 AI 推論能力時，單看 GPU 已經不夠；更有意義的單位，是一套可取得、可部署的完整服務系統，能否在指定延遲條件下執行與自身業務相關的工作負載。

AMD 的 MI355X 成績：焦點在總體規模

AMD 的指標性成績來自 Crusoe 的 512-GPU Instinct MI355X 組態，交出 v6.1 本輪所公布最高的整體 token 吞吐量。5 這不只是加速器本身的測試，也檢驗了超大規模部署所需的分散式推論、網路互連與系統整合能力。

不過，這不代表 AMD 在所有情境下都取得平台領先。512 顆 GPU 的整體成績，不能直接拿來和單一機櫃或較小叢集相比；至少必須對齊 GPU 數量、模型、測試情境及服務等級要求。對大型推論機群來說，整體吞吐量很重要；但對特定部署而言，每顆加速器效能、機櫃密度、耗電、供貨狀態與維運複雜度，可能更有決定性。

ROCm 的進步，讓軟體成為 AMD 的戰略籌碼

AMD 的訊息也不只關於硬體。該公司指出，在相同 MI355X 硬體上，相較前一輪 MLPerf 的效能有所提升，歸因於 ROCm 的最佳化。這說明編譯器、核心函式庫、模型執行環境與分散式服務軟體，都可能在無須更換硬體的情況下，提高既有機群的有效產能。

AMD 也承諾 ROCm 採六週一次的發布節奏。若這個節奏能持續帶來可在生產環境落地的改善，軟體更新速度就可能實際影響買方的每 token 成本計算。不過，MLPerf 的進步仍應以自身的模型組合、量化設定、框架、流量型態及延遲目標驗證；單一基準測試的提升，未必會等比例複製到正式服務。

NVIDIA 用 Vera Rubin 預覽下一代平台的潛力

NVIDIA Vera Rubin NVL72 在 MLPerf Inference 首次亮相時屬於預覽提交。NVIDIA 表示，系統在 Qwen3-VL 的吞吐量最高可達 GB300 NVL72 的 3.7 倍；另有一套跨四個 GB300 NVL72 機櫃、共 288 顆 GPU 的提交，達到 99% 擴展效率。2

關鍵但容易被忽略的限定是：可用性。預覽成績可用來觀察架構方向與軟體成熟度，但不能自動與已普遍供應的系統做等價採購比較。此外，本輪預覽提交的叢集大小不一，因此每 GPU 效能或其他經正規化的比較，通常比總系統吞吐量更有參考價值。8

就近期可部署的平台而言，Blackwell 與 Blackwell Ultra 仍是重心。例如，CoreWeave 在多種 Blackwell 與 Blackwell Ultra 組態下，於 Qwen3-VL、DeepSeek-R1 與 GPT-OSS-120B 等工作負載公布雲端服務商領先成績。4 實務上的結論不是「只有一個贏家」，而是不同需求會偏向不同配置：超大叢集的總體容量、機櫃級服務、多模態推論及互動式低延遲，各自需要不同取捨。

Intel 擴大推論系統的可見範圍

Intel 的提交讓 CPU 與工作站級 GPU 推論有更多代表性。其四 GPU 的 Arc Pro B70 節點合計具備 128GB VRAM，提交了 Llama、GPT-OSS-120B、Whisper 及新端到端 RAG 工作負載的結果；Intel 也表示，同一 Arc Pro B70 組態相較上一輪透過軟體取得效能提升。3

這並不意味 Arc Pro 可直接取代超大規模資料中心加速器叢集，但確實使基準測試更能反映另一類需求：規模較小、預算較有限或需保有部署彈性的組織。當記憶體容量、本地端推論或既有伺服器基礎設施是決策重點時，這類系統尤其值得納入評估。

新增 RAG 與代理式測試，讓基準更貼近部署現場

MLCommons 表示，v6.1 創下 30 家提交組織、486 項資料中心與邊緣結果的紀錄；測試套件並新增資料中心端到端 RAG 基準，以及 Edge Agentic Inference（邊緣代理式推論）基準。9

這項擴展很重要，因為代理式工作負載的瓶頸，不一定會出現在傳統的離線 token 吞吐量測試中。多輪互動、工具呼叫、流程協調開銷，以及每個步驟之間的反應速度，都會影響使用體驗。MLCommons 指出，邊緣代理式基準用以反映代理編程等複雜多輪任務。9

當然，這些仍是受控的基準，而非對線上生產服務的完整重現；但它們確實讓評測更接近許多團隊正準備部署的 AI 應用型態。

MLPerf Endpoints 若成形，可能改變評測重點

MLCommons 也預覽了 MLPerf Endpoints 作為可能的下一步方向。其核心差異在於：定期提交基準成績，與持續觀察實際運行服務端點的表現，並不是同一件事。

若端點導向的計畫走向成熟，評估可能更重視系統在負載下的行為、延遲穩定性、可用性與營運可重現性，而不只是固定測試跑出的峰值。現階段，買方應把它視為正在發展的測量方向，而非已定案、用以取代既有提交流程的方案。

採購重點：比整個堆疊，不要只看醒目數字

MLPerf v6.1 顯示，AI 推論競爭正由三項彼此相連的因素塑造：加速器能力、軟體改善速度，以及系統整合能力。

AMD 的大型 MI355X 提交凸顯規模的重要；NVIDIA 的 Vera Rubin 預覽展示下一個效能台階，同時 Blackwell 持續支撐近期部署；Intel Arc Pro B70 則擴大了硬體選項的範圍；而 MLCommons 的新測試承認，RAG 與代理式 AI 對效能提出了不同要求。

評估平台時，應先定義自身工作負載與營運目標：使用哪個模型、上下文長度、併發量、延遲服務等級目標（SLO）、功耗限制、部署規模，以及每單位有效輸出的成本。接著，再於相同規模與相近供貨狀態下比較系統。這樣的做法，遠比把任何一則 MLPerf 頭條當成通用答案更有用。

MLPerf Inference v6.1 與其說是一張「哪顆晶片最快」的排行榜，不如說是 AI 服務型態正在改變的縮影。本輪最受矚目的訊號包括：AMD 以 MI355X 做出極大規模的提交、NVIDIA 首次公布 Vera Rubin 的預覽成績、Intel 擴大 CPU 與工作站級 GPU 推論的涵蓋範圍，以及新增檢索增強生成（RAG）和邊緣代理式 AI 測試。

這些結果共同指向一件事：比較 AI 推論能力時，單看 GPU 已經不夠；更有意義的單位，是一套可取得、可部署的完整服務系統，能否在指定延遲條件下執行與自身業務相關的工作負載。

AMD 的 MI355X 成績：焦點在總體規模

AMD 的指標性成績來自 Crusoe 的 512-GPU Instinct MI355X 組態，交出 v6.1 本輪所公布最高的整體 token 吞吐量。5 這不只是加速器本身的測試，也檢驗了超大規模部署所需的分散式推論、網路互連與系統整合能力。

不過，這不代表 AMD 在所有情境下都取得平台領先。512 顆 GPU 的整體成績，不能直接拿來和單一機櫃或較小叢集相比；至少必須對齊 GPU 數量、模型、測試情境及服務等級要求。對大型推論機群來說，整體吞吐量很重要；但對特定部署而言，每顆加速器效能、機櫃密度、耗電、供貨狀態與維運複雜度，可能更有決定性。

ROCm 的進步，讓軟體成為 AMD 的戰略籌碼

AMD 的訊息也不只關於硬體。該公司指出，在相同 MI355X 硬體上，相較前一輪 MLPerf 的效能有所提升，歸因於 ROCm 的最佳化。這說明編譯器、核心函式庫、模型執行環境與分散式服務軟體，都可能在無須更換硬體的情況下，提高既有機群的有效產能。

AMD 也承諾 ROCm 採六週一次的發布節奏。若這個節奏能持續帶來可在生產環境落地的改善，軟體更新速度就可能實際影響買方的每 token 成本計算。不過，MLPerf 的進步仍應以自身的模型組合、量化設定、框架、流量型態及延遲目標驗證；單一基準測試的提升，未必會等比例複製到正式服務。

NVIDIA 用 Vera Rubin 預覽下一代平台的潛力

NVIDIA Vera Rubin NVL72 在 MLPerf Inference 首次亮相時屬於預覽提交。NVIDIA 表示，系統在 Qwen3-VL 的吞吐量最高可達 GB300 NVL72 的 3.7 倍；另有一套跨四個 GB300 NVL72 機櫃、共 288 顆 GPU 的提交，達到 99% 擴展效率。2

關鍵但容易被忽略的限定是：可用性。預覽成績可用來觀察架構方向與軟體成熟度，但不能自動與已普遍供應的系統做等價採購比較。此外，本輪預覽提交的叢集大小不一，因此每 GPU 效能或其他經正規化的比較，通常比總系統吞吐量更有參考價值。8

就近期可部署的平台而言，Blackwell 與 Blackwell Ultra 仍是重心。例如，CoreWeave 在多種 Blackwell 與 Blackwell Ultra 組態下，於 Qwen3-VL、DeepSeek-R1 與 GPT-OSS-120B 等工作負載公布雲端服務商領先成績。4 實務上的結論不是「只有一個贏家」，而是不同需求會偏向不同配置：超大叢集的總體容量、機櫃級服務、多模態推論及互動式低延遲，各自需要不同取捨。

Intel 擴大推論系統的可見範圍

Intel 的提交讓 CPU 與工作站級 GPU 推論有更多代表性。其四 GPU 的 Arc Pro B70 節點合計具備 128GB VRAM，提交了 Llama、GPT-OSS-120B、Whisper 及新端到端 RAG 工作負載的結果；Intel 也表示，同一 Arc Pro B70 組態相較上一輪透過軟體取得效能提升。3

這並不意味 Arc Pro 可直接取代超大規模資料中心加速器叢集，但確實使基準測試更能反映另一類需求：規模較小、預算較有限或需保有部署彈性的組織。當記憶體容量、本地端推論或既有伺服器基礎設施是決策重點時，這類系統尤其值得納入評估。

新增 RAG 與代理式測試，讓基準更貼近部署現場

MLCommons 表示，v6.1 創下 30 家提交組織、486 項資料中心與邊緣結果的紀錄；測試套件並新增資料中心端到端 RAG 基準，以及 Edge Agentic Inference（邊緣代理式推論）基準。9

這項擴展很重要，因為代理式工作負載的瓶頸，不一定會出現在傳統的離線 token 吞吐量測試中。多輪互動、工具呼叫、流程協調開銷，以及每個步驟之間的反應速度，都會影響使用體驗。MLCommons 指出，邊緣代理式基準用以反映代理編程等複雜多輪任務。9

當然，這些仍是受控的基準，而非對線上生產服務的完整重現；但它們確實讓評測更接近許多團隊正準備部署的 AI 應用型態。

MLPerf Endpoints 若成形，可能改變評測重點

MLCommons 也預覽了 MLPerf Endpoints 作為可能的下一步方向。其核心差異在於：定期提交基準成績，與持續觀察實際運行服務端點的表現，並不是同一件事。

若端點導向的計畫走向成熟，評估可能更重視系統在負載下的行為、延遲穩定性、可用性與營運可重現性，而不只是固定測試跑出的峰值。現階段，買方應把它視為正在發展的測量方向，而非已定案、用以取代既有提交流程的方案。

採購重點：比整個堆疊，不要只看醒目數字

MLPerf v6.1 顯示，AI 推論競爭正由三項彼此相連的因素塑造：加速器能力、軟體改善速度，以及系統整合能力。

AMD 的大型 MI355X 提交凸顯規模的重要；NVIDIA 的 Vera Rubin 預覽展示下一個效能台階，同時 Blackwell 持續支撐近期部署；Intel Arc Pro B70 則擴大了硬體選項的範圍；而 MLCommons 的新測試承認，RAG 與代理式 AI 對效能提出了不同要求。

評估平台時，應先定義自身工作負載與營運目標：使用哪個模型、上下文長度、併發量、延遲服務等級目標（SLO）、功耗限制、部署規模，以及每單位有效輸出的成本。接著，再於相同規模與相近供貨狀態下比較系統。這樣的做法，遠比把任何一則 MLPerf 頭條當成通用答案更有用。