本文將逐一拆解 NVIDIA 部署了哪些優化技術、DeepSeek V4 模型家族的內部規格、哪些推理服務商已經採用這些改進，以及 NVIDIA 如何從經濟角度論證其對每 Token 成本的高度專注。

五倍成本降低背後的軟體優化

NVIDIA 將其推理優化堆疊分為三層：生產運營層、應用加速層與基礎設施訪問層 。在這些層級中，具體實現五倍提升的技術包括：

NVIDIA Dynamo 推理框架

Dynamo 是一個開源分佈式推理服務框架，可將推理的各個階段（預填充與解碼）分離到不同的 GPU 上，智慧地將請求路由到合適的 GPU 以避免冗餘計算，並透過 NVLink 將 GPU 記憶體擴展到更具成本效益的儲存層 。Dynamo 支援 SGLang、TensorRT-LLM 和 vLLM，並與這些開源引擎原生整合 。在 SemiAnalysis InferenceX 基準測試中，該框架可將 NVIDIA Blackwell 上的請求服務數量提升多達 7 倍 。

TensorRT-LLM 優化

NVIDIA 僅在 Blackwell 推出後的兩個月內，就透過 TensorRT-LLM 優化實現了 5 倍的每 Token 成本降幅，且無需任何硬體變更 。在數據中心規模下，5 倍的每 Token 成本降低，代表相同基礎設施投資的創收能力提升了五倍 。

分離式服務（Disaggregated Serving）

透過將預填充（輸入處理）與解碼（Token 生成）階段分配到不同的 GPU 上，分離式服務消除了資源競爭，並允許每個階段根據其特定需求進行獨立優化 。這是 NVIDIA Dynamo 框架的核心功能之一 。

大規模專家並行

DeepSeek V4 使用混合專家（MoE）架構，擁有 384 個分佈式專家 。優化的路由機制可將 Token 分配給這些專家，同時減少冗餘運算，從而提升 GPU 叢集的效率 。

基於 NVLink 的並行通訊

NVIDIA 的高速 GPU 互連技術可在專家之間實現高效的全對全通訊，這對於需要頻繁 GPU 間資料交換的 MoE 模型至關重要 。

NVFP4 精度

使用 4 位浮點精度進行推理，可降低記憶體頻寬和運算需求，且不會造成顯著的準確度損失 。對於 DeepSeek-V3.2，NVIDIA 的 NVFP4 量化技術將記憶體佔用從原始 FP8 格式的 690 GB 減少至 415 GB，降幅達 1.7 倍，從而顯著提升了吞吐量和成本效益 。

多 Token 預測（MTP）

MTP 可在每次前向傳遞中生成多個 Token，從而提高吞吐量。DeepSeek V4 的首個 MTP 支援來自 SGLang，在上線第 3 天即已提供 。使用 MTP 後，SGLang 在 GB300 NVL72 硬體上更實現了每 GPU 每秒超過 12,000 個 Token 的表現 。

優化的 CUDA 核心

並非所有優化都來自 NVIDIA 自身。由於 TensorRT-LLM 最初對 DeepSeek V4 的支援不佳，SemiAnalysis 協助修復了 NVIDIA 開源的 mHC（流形約束超連接）核心啟動程式碼 。這項社群貢獻對於達到生產級推理品質至關重要。

SGLang 服務方案

LMSYS Org 在 NVIDIA GB300 NVL72 硬體上使用 SGLang，實現了經認證的 5 倍吞吐量提升，每 GPU 每秒 Token 數從約 2,200 躍升至 11,200 。NVIDIA Dynamo 的支援矩陣中特別列出了 lmsysorg/sglang:deepseek-v4-blackwell 作為受支援的配置 。

綜合這些優化，Blackwell 上每 GPU 的吞吐量最高可提升 20 倍 。

DeepSeek V4 模型家族規格

DeepSeek V4 於 2026 年 4 月 24 日發布，採用 MIT 授權，提供兩種等級的模型 。

資料來源：

混合注意力架構結合了壓縮稀疏注意力（CSA）和高度壓縮注意力（HCA），在 100 萬 Token 上下文下，其單 Token 推理 FLOPs 僅為 DeepSeek-V3.2 的 27% 。這種效率正是百萬 Token 級代理型上下文得以實現運算可行的關鍵。

已採用這些優化的推理服務商

多家服務商與推理引擎已在 Blackwell 上部署 NVIDIA 的 DeepSeek V4 軟體優化：

• LMSYS Org（SGLang）——在 NVIDIA GB300 NVL72 硬體上實現了經認證的 5 倍吞吐量提升（2026 年 6 月 23 日）。NVIDIA Dynamo 支援矩陣中列出 lmsysorg/sglang:deepseek-v4-blackwell 為受支援配置 。SGLang 在相同硬體上更實現了每 GPU 每秒超過 12,000 個 Token 。
• NVIDIA NIM——NVIDIA 自家的推論微服務堆疊，透過 NVIDIA API 目錄提供 DeepSeek-V4-Pro 端點 。
• vLLM——開源推理引擎在上線數日內即支援 DeepSeek V4，並與 NVIDIA Dynamo 整合以在 GB200 上實現分佈式推理 。
• TensorRT-LLM——NVIDIA 自家的優化運行時，儘管早期在 mHC 核心程式碼上遇到問題，並由 SemiAnalysis 協助修復 。
• DeepInfra——提供 DeepSeek V4 Pro 端點，輸入 Token 每百萬個 0.435 美元，輸出 Token 每百萬個 0.87 美元 。
• Together AI、Fireworks AI、Baseten——NVIDIA 部落格指出，這些服務商透過 GPU 加速雲端端點進行廣泛部署，其每 Token 成本較 Hopper 架構降低了最高 10 倍 。

根據 NVIDIA 的說法，Together AI 和 Baseten 等服務商在採用 Blackwell 後，每 Token 成本較 Hopper 降低了高達 90% 。

NVIDIA 對代理型 AI 工作負載的經濟論述

NVIDIA 將每 Token 成本定位為推理總擁有成本（TCO）最重要的單一指標——明確摒棄了舊有的每 GPU 小時成本或每美元 FLOPS 等指標 。黃仁勳在 2026 年 4 月宣稱「NVIDIA 的每 Token 成本是世界最低的」，並將其歸因於「架構卓越與極致協同設計的直接成果」。

此一指標轉變的背後邏輯，與代理型 AI 密切相關：

代理型工作負載在推理階段呈爆炸性運算需求

隨著 AI 從一次性問答轉向多步驟推理——包括規劃、檢索上下文、調用工具、反思與自我修正——每次查詢所生成的 Token 數量可能增加 100 到 1,000 倍 。一個單一的多步驟代理任務在推理運算上的成本可能高達 0.10 至 1.00 美元 。Gartner 在 2026 年 3 月的分析證實，代理型 AI 模型每項任務所需的 Token 量是標準聊天機器人的 5 到 30 倍 。

推理已成主要成本中心

業界估計，企業 AI GPU 支出的 55% 至 80% 用於推理，而非訓練 。Deloitte 估計，推理在 2026 年佔所有 AI 運算量的約三分之二，高於 2023 年的三分之一 。推理也佔了生產級 AI 系統生命週期成本的 80% 至 90% 。

軟體優化在無需新硬體的前提下釋放巨大價值

NVIDIA 明確將此定位為策略優勢：「NVIDIA 僅在 Blackwell 推出後的兩個月內，就透過 TensorRT-LLM 優化實現了 5 倍的每 Token 成本降幅，且無需任何硬體變更」。在數據中心規模下，5 倍的每 Token 成本降低，直接決定了代理型 AI 工作負載是否具備經濟可行性 。NVIDIA 的推理軟體能在 AI 基礎設施部署後，持續降低 Token 成本 。

每 Token 成本是「唯一重要的 TCO 指標」

NVIDIA 認為，每 Token 成本是唯一能直接反映硬體性能、軟體優化、生態系統支援與實際使用率的指標 。該公司將「最低 Token 成本」作為其 Blackwell 價值主張的標題 。NVIDIA B200 在 GPT-OSS-120B 模型上實現了每百萬 Token 僅 2 美分的成本，且該架構將每百萬 Token 成本較前一代降低了 15 倍 。

總結而言，NVIDIA 的訊息十分明確：代理型 AI 需要大量更多的推理 Token；Blackwell 上軟體層級的推理優化無需新硬體即可將 Token 成本降低 5 倍，這直接決定了大規模代理型部署能否獲利 。

本文將逐一拆解 NVIDIA 部署了哪些優化技術、DeepSeek V4 模型家族的內部規格、哪些推理服務商已經採用這些改進，以及 NVIDIA 如何從經濟角度論證其對每 Token 成本的高度專注。

五倍成本降低背後的軟體優化

NVIDIA 將其推理優化堆疊分為三層：生產運營層、應用加速層與基礎設施訪問層 。在這些層級中，具體實現五倍提升的技術包括：

NVIDIA Dynamo 推理框架

Dynamo 是一個開源分佈式推理服務框架，可將推理的各個階段（預填充與解碼）分離到不同的 GPU 上，智慧地將請求路由到合適的 GPU 以避免冗餘計算，並透過 NVLink 將 GPU 記憶體擴展到更具成本效益的儲存層 。Dynamo 支援 SGLang、TensorRT-LLM 和 vLLM，並與這些開源引擎原生整合 。在 SemiAnalysis InferenceX 基準測試中，該框架可將 NVIDIA Blackwell 上的請求服務數量提升多達 7 倍 。

TensorRT-LLM 優化

NVIDIA 僅在 Blackwell 推出後的兩個月內，就透過 TensorRT-LLM 優化實現了 5 倍的每 Token 成本降幅，且無需任何硬體變更 。在數據中心規模下，5 倍的每 Token 成本降低，代表相同基礎設施投資的創收能力提升了五倍 。

分離式服務（Disaggregated Serving）

透過將預填充（輸入處理）與解碼（Token 生成）階段分配到不同的 GPU 上，分離式服務消除了資源競爭，並允許每個階段根據其特定需求進行獨立優化 。這是 NVIDIA Dynamo 框架的核心功能之一 。

大規模專家並行

DeepSeek V4 使用混合專家（MoE）架構，擁有 384 個分佈式專家 。優化的路由機制可將 Token 分配給這些專家，同時減少冗餘運算，從而提升 GPU 叢集的效率 。

基於 NVLink 的並行通訊

NVIDIA 的高速 GPU 互連技術可在專家之間實現高效的全對全通訊，這對於需要頻繁 GPU 間資料交換的 MoE 模型至關重要 。

NVFP4 精度

使用 4 位浮點精度進行推理，可降低記憶體頻寬和運算需求，且不會造成顯著的準確度損失 。對於 DeepSeek-V3.2，NVIDIA 的 NVFP4 量化技術將記憶體佔用從原始 FP8 格式的 690 GB 減少至 415 GB，降幅達 1.7 倍，從而顯著提升了吞吐量和成本效益 。

多 Token 預測（MTP）

MTP 可在每次前向傳遞中生成多個 Token，從而提高吞吐量。DeepSeek V4 的首個 MTP 支援來自 SGLang，在上線第 3 天即已提供 。使用 MTP 後，SGLang 在 GB300 NVL72 硬體上更實現了每 GPU 每秒超過 12,000 個 Token 的表現 。

優化的 CUDA 核心

並非所有優化都來自 NVIDIA 自身。由於 TensorRT-LLM 最初對 DeepSeek V4 的支援不佳，SemiAnalysis 協助修復了 NVIDIA 開源的 mHC（流形約束超連接）核心啟動程式碼 。這項社群貢獻對於達到生產級推理品質至關重要。

SGLang 服務方案

LMSYS Org 在 NVIDIA GB300 NVL72 硬體上使用 SGLang，實現了經認證的 5 倍吞吐量提升，每 GPU 每秒 Token 數從約 2,200 躍升至 11,200 。NVIDIA Dynamo 的支援矩陣中特別列出了 lmsysorg/sglang:deepseek-v4-blackwell 作為受支援的配置 。

綜合這些優化，Blackwell 上每 GPU 的吞吐量最高可提升 20 倍 。

DeepSeek V4 模型家族規格

DeepSeek V4 於 2026 年 4 月 24 日發布，採用 MIT 授權，提供兩種等級的模型 。

資料來源：

混合注意力架構結合了壓縮稀疏注意力（CSA）和高度壓縮注意力（HCA），在 100 萬 Token 上下文下，其單 Token 推理 FLOPs 僅為 DeepSeek-V3.2 的 27% 。這種效率正是百萬 Token 級代理型上下文得以實現運算可行的關鍵。

已採用這些優化的推理服務商

多家服務商與推理引擎已在 Blackwell 上部署 NVIDIA 的 DeepSeek V4 軟體優化：

• LMSYS Org（SGLang）——在 NVIDIA GB300 NVL72 硬體上實現了經認證的 5 倍吞吐量提升（2026 年 6 月 23 日）。NVIDIA Dynamo 支援矩陣中列出 lmsysorg/sglang:deepseek-v4-blackwell 為受支援配置 。SGLang 在相同硬體上更實現了每 GPU 每秒超過 12,000 個 Token 。
• NVIDIA NIM——NVIDIA 自家的推論微服務堆疊，透過 NVIDIA API 目錄提供 DeepSeek-V4-Pro 端點 。
• vLLM——開源推理引擎在上線數日內即支援 DeepSeek V4，並與 NVIDIA Dynamo 整合以在 GB200 上實現分佈式推理 。
• TensorRT-LLM——NVIDIA 自家的優化運行時，儘管早期在 mHC 核心程式碼上遇到問題，並由 SemiAnalysis 協助修復 。
• DeepInfra——提供 DeepSeek V4 Pro 端點，輸入 Token 每百萬個 0.435 美元，輸出 Token 每百萬個 0.87 美元 。
• Together AI、Fireworks AI、Baseten——NVIDIA 部落格指出，這些服務商透過 GPU 加速雲端端點進行廣泛部署，其每 Token 成本較 Hopper 架構降低了最高 10 倍 。

根據 NVIDIA 的說法，Together AI 和 Baseten 等服務商在採用 Blackwell 後，每 Token 成本較 Hopper 降低了高達 90% 。

NVIDIA 對代理型 AI 工作負載的經濟論述

NVIDIA 將每 Token 成本定位為推理總擁有成本（TCO）最重要的單一指標——明確摒棄了舊有的每 GPU 小時成本或每美元 FLOPS 等指標 。黃仁勳在 2026 年 4 月宣稱「NVIDIA 的每 Token 成本是世界最低的」，並將其歸因於「架構卓越與極致協同設計的直接成果」。

此一指標轉變的背後邏輯，與代理型 AI 密切相關：

代理型工作負載在推理階段呈爆炸性運算需求

隨著 AI 從一次性問答轉向多步驟推理——包括規劃、檢索上下文、調用工具、反思與自我修正——每次查詢所生成的 Token 數量可能增加 100 到 1,000 倍 。一個單一的多步驟代理任務在推理運算上的成本可能高達 0.10 至 1.00 美元 。Gartner 在 2026 年 3 月的分析證實，代理型 AI 模型每項任務所需的 Token 量是標準聊天機器人的 5 到 30 倍 。

推理已成主要成本中心

業界估計，企業 AI GPU 支出的 55% 至 80% 用於推理，而非訓練 。Deloitte 估計，推理在 2026 年佔所有 AI 運算量的約三分之二，高於 2023 年的三分之一 。推理也佔了生產級 AI 系統生命週期成本的 80% 至 90% 。

軟體優化在無需新硬體的前提下釋放巨大價值

NVIDIA 明確將此定位為策略優勢：「NVIDIA 僅在 Blackwell 推出後的兩個月內，就透過 TensorRT-LLM 優化實現了 5 倍的每 Token 成本降幅，且無需任何硬體變更」。在數據中心規模下，5 倍的每 Token 成本降低，直接決定了代理型 AI 工作負載是否具備經濟可行性 。NVIDIA 的推理軟體能在 AI 基礎設施部署後，持續降低 Token 成本 。

每 Token 成本是「唯一重要的 TCO 指標」

NVIDIA 認為，每 Token 成本是唯一能直接反映硬體性能、軟體優化、生態系統支援與實際使用率的指標 。該公司將「最低 Token 成本」作為其 Blackwell 價值主張的標題 。NVIDIA B200 在 GPT-OSS-120B 模型上實現了每百萬 Token 僅 2 美分的成本，且該架構將每百萬 Token 成本較前一代降低了 15 倍 。

總結而言，NVIDIA 的訊息十分明確：代理型 AI 需要大量更多的推理 Token；Blackwell 上軟體層級的推理優化無需新硬體即可將 Token 成本降低 5 倍，這直接決定了大規模代理型部署能否獲利 。