Nvidia 轉推「每兆瓦 Token」：AI 工廠開始鬥電力效率

AI 基建而家愈嚟愈唔係「塞到幾多張 GPU 入機架」咁簡單，而係有冇足夠電力去推動佢哋。Nvidia 在 2026 年 AI Infra Summit 首日提出，評估 AI 工廠的關鍵產出指標，應該係 每兆瓦（MW）可驗證產出的代理式 AI Token 數量，而唔單止係峰值運算力。23

所謂 Token，可以粗略理解為 AI 模型處理或生成文字、程式碼等內容時的基本單位；對會自行拆解任務、反覆推理同調用工具的「代理式 AI」而言，持續、有效地產出 Token，先至係真正可交付的工作量。

Nvidia 超大規模及高效能運算副總裁 Ian Buck 在美國加州聖塔克拉拉的活動上，將焦點由單一 GPU 效能拉闊至整個系統：運算、網絡、推論軟件、散熱、電力控制，以至同電網協調，都要一齊設計，先可以喺電力成為硬約束時維持產能。123

Lambda 實測：同一電力預算，19 部節點代替 16 部

最具體的數據，來自 AI 雲端供應商 Lambda 對 Nvidia DSX MaxLPS 的首個部署環境驗證。Nvidia 表示，DSX MaxLPS 會監察 GPU 同機架層面的耗電，再將未用盡的電力餘裕重新分配到不同節點。23

在一個由 5 個機架、19 個節點組成的叢集，Lambda 在原本通常只足以支援 16 個全功率節點的電力預算內，運行了 19 個節點。據公布結果，整個叢集的 Token 吞吐量由約每秒 400 萬增至 500 萬，即增加 24%；每瓦效能亦提升 23%。23

重點唔只係實驗室數字。數據中心的可用容量，往往由場址實際可獲供電限制；而不同工作負載的耗電高低又會變動。若系統可以善用原本閒置的電力餘裕，營運商未必需要先增設供電或擴大場地，就有機會提高實際 AI 產出。

Vera Rubin 的數字，要當作前瞻預測

Nvidia 同時談到未來 Vera Rubin NVL72 部署可能取得的效果：DSX MaxLPS 最多可讓同一場址電力上限之內的 GPU 容量增加 40%，Token 吞吐量最多提高 35%，但實際表現會因部署條件而異。23

這些數字同 Lambda 的結果要分開睇：Lambda 的 Blackwell 系統數據是已公布的部署驗證結果；Vera Rubin 的效益則是 Nvidia 對未來平台作出的預測，仍有待客戶實際運行驗證。23

數據中心亦要識得「讓電」

Nvidia 的另一主題是彈性：AI 工廠不應把所有運算任務都當成同樣緊急。

在 Nvidia 的 Eos AI 工廠，Emerald AI 的 Conductor 平台與 Silicon Valley Power 合作參與商業化彈性負載計劃。Nvidia 指系統已回應超過 200 個公用事業公司發出的電力需求訊號；其中一次示範中，設施在不足 1 分鐘內把耗電量由 4 MW 降至 3 MW，同時透過降低可彈性處理工作的優先次序，讓較高優先級的推論繼續運作。23

Nvidia 將此定位為日後 DSX Flex 能力的早期示範。公司所描述的 DSX Flex，可接收削減負載、需求響應及電價訊號，並按工作優先次序處理：可延後的工作暫停後再恢復，關鍵服務則盡量維持。要留意的是，Eos 的示範是較早期的商業規模驗證，並非 DSX Flex 的實際安裝案例。23

對數據中心營運商而言，這個分流概念相當實際：模型訓練、批量處理或離線工作，未必需要如面向用戶的即時推論般快速回應。把部分運算當成可調節負載，有機會在參與電網計劃之餘，保護更高價值的工作負載。

Nvidia 想賣的，是由晶片到電網的一整套平台

今次峰會反映 Nvidia 正嘗試將自身定位為 AI 工廠平台供應商，而非單純 GPU 廠商。其主張的技術堆疊包括 Vera Rubin 運算平台、NVLink 擴展網絡、Dynamo 推論軟件、Ethernet 與 SuperNIC 網絡、BlueField 基建元件、機架級電力最佳化，以及因應電網狀況調度工作負載的能力。2

Groq 3 LPX 亦是這個布局的一部分。Nvidia 將它定位為配合 Vera Rubin 的互動式推論加速器，針對代理式系統所需的低延遲及大型上下文處理而設計。112 不過，現有資料只支持這個產品定位，未有獨立證據證實更具體的推出時間、每兆瓦吞吐量為 GB200 NVL72 的 35 倍，或可處理逾 2 兆參數模型等說法。

為何 Nvidia 特別強調「工廠級」營運？

這套說法背後，亦有業務規模作支撐。截至 2026 年 7 月 26 日的 2027 財政年度第二季，Nvidia 收入為 962 億美元，按年增長 106%；其中數據中心收入為 890 億美元。公司預期第三季收入為 1,080 億美元，上下浮動 2%。172830

當客戶部署的 AI 容量愈來愈大，問題便不再只係「買幾多 GPU」，而是如何取得電力、在固定供電限制下榨取更多有效產出，以及在電力或營運受干擾時維持推論服務。

重點：峰值效能未過時，但已經唔夠

Nvidia 並非說原始加速器效能不重要，而是認為單靠峰值效能，已不足以衡量 AI 工廠的經濟效益。

「每兆瓦可驗證 Token」這個指標，嘗試將硬件效能同營運現實連結起來：場址供電、電網事件、工作優先次序及系統可用性。Lambda 報告的 24% 吞吐量提升，是這個論點的一個早期部署數據點；至於 Vera Rubin 及更廣泛 DSX 路線圖的承諾，仍要等待客戶實際營運結果驗證。23