Blackwell Ultra 奪下 AgentPerf 榜首：NVIDIA 如何用 20 倍效能差距定義 AI 代理時代

2026 年 6 月 12 日，人工智慧效能分析機構 Artificial Analysis 公布了業界第一份 AA-AgentPerf 基準測試結果 。這不只是一般的跑分競賽，而是一場徹底的思維轉向：當 AI 的戰場從「回答一個問題」變成「交辦一件事」，運算基礎建設的能耐要如何重新丈量？

新的量尺：不再問每秒幾個字，而是能撐幾個「代理人」

傳統 MLPerf 推論測試看的是 AI 模型每秒能吐出多少 token；AA-AgentPerf 則把場景換成更接近真實世界的 代理式 AI (Agentic AI) 工作負載 。

所謂代理式 AI，指的是能自主規劃、調用工具、多步驟執行任務的 AI 系統，例如一個 AI 編碼代理會自行讀取程式碼、搜尋文件、呼叫編譯器、迭代除錯，整個過程包含數十次 LLM 推理呼叫、工具呼叫（模擬真實 CPU 延遲）與不斷膨脹的上下文窗口，而非單純的一次性問答 。

AgentPerf 的核心衡量指標是：「在同一個服務水準協議 (SLO) 下，一個推論系統最多可以同時服務多少個 AI 代理？」測試定義了不同嚴格程度的 SLO，包括輸出 token 速度（例如 20 tokens/s 或 60 tokens/s）與首次 token 生成時間 (Time-to-First-Token, TTFT)，並以真實世界開源程式碼庫的編碼代理軌跡為題材，涵蓋超過 12 種程式語言。最終成績會以「每加速器」與「每兆瓦 (per megawatt)」兩種方式歸一化，凸顯電力效率 。

數字說了什麼？Blackwell Ultra 的壓倒性統治

首輪 AgentPerf 測試採用的模型是 DeepSeek V4 Pro ——一款大型混合專家 (Mixture-of-Experts, MoE) 模型，被視為當前頂尖代理式 AI 的代表性架構 。在這個擂台上，NVIDIA GB300 NVL72 (Blackwell Ultra) 的表現是：

• **最高效能領先：**在全部受測平台中，GB300 NVL72 於 DeepSeek V4 Pro 工作負載上取得最高效能 。
• **每兆瓦代理數量 20 倍躍進：**無論是在 20 tokens/s 還是更嚴格的 60 tokens/s SLO 條件下，每兆瓦可支援的同時代理數量皆為前代 NVIDIA HGX H200 (Hopper) 的 20 倍 。
• **絕對數量破六萬：**Artificial Analysis 社群貼文揭露的原始吞吐量顯示，在 20 tokens/s、10 秒 TTFT 的最寬鬆服務等級下，GB300 機架級分散式配置能同時服務 61,340 個代理。作為對比，H200 僅為 2,594 個 。

這樣的差距，反映的不是單一硬體的改朝換代，而是整個運算平台的世代跳躍。

不只跑分：NVIDIA 的代理式 AI 全盤佈局

Blackwell Ultra 在 AgentPerf 上的成績，是 NVIDIA 刻意構建的一張全方位故事拼圖，目的只有一個：把 Blackwell Ultra 打造成大規模代理式 AI 的「預設基礎設施」。

1. 全堆疊優化的勝利宣言

NVIDIA 把 20 倍的效能增益，歸因於極致的共同設計 (co-design) ：

• **NVLink 擴展：**將 72 顆 GPU 經由 NVLink 編織成單一運算結構 (fabric)，大幅降低多 GPU 之間的通訊瓶頸。
• **CUDA 核心級的並行魔法：**針對 MoE 模型，讓通訊與計算在 CUDA 核心上重疊執行，避免 GPU 閒置等待。
• TensorRT-LLM 軟體魔法： WideEP/DeepEP、DeepGEMM、融合 MoE 等最佳化技術，確保在同時服務數以千計代理的高度並行情境下，效率不會崩盤 。

2. 用傳統標準證明自己，再用新標準開創新局

AgentPerf 的紀錄並非孤例。在它之前，Blackwell Ultra 已經在業界老牌 MLPerf 基準測試中「刷榜」：

• **MLPerf Inference v5.1：**DeepSeek-R1 推論吞吐量比前代 Blackwell 高出 1.4 倍，並在所有新加入的資料中心基準測試（Llama 3.1 405B、Llama 3.1 8B、Whisper）中創下紀錄 。
• **MLPerf Training v5.1：**橫掃全部 7 項測試，在最大規模的 Llama 3.1 405B 預訓練中以 5,120 顆 Blackwell GPU 創下 10 分鐘完訓的紀錄 。

AgentPerf 的出現，等於是在「跑得快」的基礎上，再補上「扛得住複雜多工」這塊拼圖。

3. 生態系實戰背書

NVIDIA 特別點出，合作伙伴已將 Blackwell 用於真實的代理式 AI 服務 ：

• Together AI 正以 Blackwell 驅動 Cursor 的代理式編碼功能。
• DeepInfra 則用 Blackwell 支撐 Pam.ai 的 AI 數位勞動力。

這類訊息的核心用意是傳達：Blackwell Ultra 不是只在實驗室跑分好看，而是已經在生產環境中服役的成熟平台。

4. 已望向下一座山頭

在宣布 AgentPerf 成果的同一篇官方部落格中，NVIDIA 已預告已進入生產的次世代 Vera Rubin 架構將是代理式 AI 容量的下一步 ；技術細節也揭露了未來 NVFP4 精度下的 50 PFLOPs 算力，以及針對 LLM 工具呼叫的加速設計，顯示這是一場精心規劃的多年期市場塑造戰 。

結語：一場定義市場的陽謀

從 MLPerf 到 AgentPerf，NVIDIA 正在系統性地將 AI 效能的定義，從「模型跑多快」重新定錨為「一個資料中心能養多少個 AI 代理人」。而 Blackwell Ultra 在第一個真正為代理式 AI 設計的公開擂台上繳出的成績單，正是一場對整個產業的宣言：未來的 AI 算力之爭，比的不是晶片，而是從晶片、互連、軟體到生態系的整套系統級能耐。