NVIDIA：AI 工廠不只比 GPU 效能，更要比每百萬瓦能產出多少 Token

AI 基礎設施的瓶頸，愈來愈不只是機櫃裡能塞進多少加速器，而是資料中心究竟能取得多少電力。NVIDIA 在 2026 年 AI Infra Summit 首日提出的主張是：衡量 AI 工廠，關鍵不應只看峰值運算效能，而是看它在既定供電上限內，能產出多少有用的代理型 AI Token／每百萬瓦。 23

NVIDIA 超大規模與高效能運算副總裁 Ian Buck 在美國加州聖塔克拉拉的活動中闡述這項策略。其重點不只在 GPU，而是把運算、網路、推論軟體、散熱、電源控制與電網營運協同整合；當電力成為硬性限制時，AI 工廠必須靠整體系統設計維持產能。 123

Lambda 實測：同一份電力預算，多產出 24% Token

本次最具體的數據，來自 AI 雲端服務商 Lambda 對 NVIDIA DSX MaxLPS 的首次部署環境驗證，使用的是 HGX B200 GPU 伺服器。依 NVIDIA 說法，DSX MaxLPS 會監測 GPU 與機櫃層級的耗電，並將可用的電力餘裕重新分配給不同節點。 23

在一個由 5 個機櫃、19 個節點組成的叢集中，Lambda 能在原本通常只足以支援 16 個全功率節點的電力預算下運行 19 個節點。其公布結果顯示，整個叢集的 Token 吞吐量提高 24%，從每秒約 400 萬 Token 增至 500 萬 Token；每瓦效能則提高 23%。 23

這項結果的意義在於實際營運，而非紙面規格。資料中心往往受限於場址可取得的供電容量；若工作負載的用電曲線有波動，透過軟體調度未被使用的電力餘裕，便可能在不新增供電服務、也不提高場址總用電預算的前提下，增加有效運算產出。

Vera Rubin 的數字是預測，尚非量產驗證

NVIDIA 也提出未來 Vera Rubin NVL72 部署的潛在效益：DSX MaxLPS 在特定場址供電上限內，可能讓 GPU 容量增加最多 40%，並讓 Token 吞吐量提高最多 35%；實際效果將取決於部署條件。 23

不過，這些數字應與 Lambda 的 Blackwell 實測結果分開解讀。Lambda 的資料是已公布的部署環境驗證；Vera Rubin 的數據則是 NVIDIA 對未來平台提出的預測，仍須由客戶實際營運來驗證。 23

讓 AI 工廠能回應電網，而非一律滿載

NVIDIA 的第二項重點是「彈性」。AI 工廠應能依電網狀態調整，而不是把所有運算工作都視為同樣急迫。

在 NVIDIA 的 Eos AI 工廠中，Emerald AI 的 Conductor 平台與 Silicon Valley Power 合作參與商業化彈性負載計畫。NVIDIA 表示，該系統已回應超過 200 次公用事業需求訊號；在一次展示事件中，設施耗電量在不到一分鐘內由 4 MW 降至 3 MW。做法是降低可彈性調整的運算工作優先順序，同時讓優先等級較高的推論持續運作。 23

NVIDIA 將此視為未來 DSX Flex 能力的早期示範。該公司稱，DSX Flex 將可接收卸載需求、需量反應與電價訊號，再按工作負載優先順序執行調度：可延後的工作可暫停並在適當時機恢復，關鍵服務則維持運行。Eos 的展示屬於商業規模的早期驗證點，本身並非 DSX Flex 的正式部署。 23

對受限於電力條件的營運商而言，這種模式具實務價值。模型訓練、批次處理或離線任務，通常不需要與正式上線推論服務相同的即時性；若能把運算視為可調度負載，資料中心便有機會參與電網計畫，同時保護價值較高、延遲要求更嚴格的工作。

從晶片到營運：NVIDIA 的「全堆疊 AI 工廠」定位

本次峰會的訊息，也把 NVIDIA 塑造成 AI 工廠平台供應商，而不只是單一元件供應商。其提出的堆疊涵蓋 Vera Rubin 運算平台、NVLink 擴展式網路、Dynamo 推論軟體、Ethernet 與 SuperNIC 網路、BlueField 基礎設施元件、機櫃級電力最佳化，以及能感知電網狀態的工作負載營運。 2

Groq 3 LPX 亦是這項布局的一環。NVIDIA 將其定位為 Vera Rubin 平台的互動式推論加速器，用於因應代理型系統對低延遲與大情境長度的需求。 112 現有資料足以支持這項產品定位，但不足以獨立佐證更具體的上市時程、相較 GB200 NVL72 每百萬瓦吞吐量高 35 倍，或支援超過 2 兆參數模型的效能說法。

為何這項策略攸關商業規模

NVIDIA 對「整廠級」營運的強調，也反映其資料中心業務持續擴張。該公司在截至 2026 年 7 月 26 日的 2027 會計年度第二季，營收為 962 億美元、年增 106%；其中資料中心營收為 890 億美元。公司對第三季的營收指引則為 1,080 億美元，上下浮動 2%。 172830

隨著客戶部署更大規模的 AI 容量，問題逐漸從「能買到多少加速器」，轉為「如何取得足夠電力、如何在固定電力上限內提高產出，以及如何在供電或營運異常時維持推論服務」。

結論：峰值效能仍重要，但已不夠

NVIDIA 的論點並不是原始加速器效能不再重要，而是：單看峰值效能，已不足以回答 AI 工廠的經濟效益問題。

「經驗證的 Token／每百萬瓦」這個指標，將硬體效能與營運商真正面對的限制連結起來，包括場址供電、電網事件、工作優先順序與系統可用性。Lambda 所公布的 24% 吞吐量提升，提供了這項論點的早期部署數據；至於 Vera Rubin 與 DSX 的更廣泛承諾，仍是一張等待客戶實際營運驗證的路線圖。 23