本文會詳細拆解 NVIDIA 用咗邊啲優化技術、DeepSeek V4 模型家族嘅規格、邊啲推理供應商已經用緊呢啲改進，以及 NVIDIA 點樣為 cost-per-token 呢個指標背書。

5 倍成本削減背後的軟體優化

NVIDIA 將推理優化棧分成三個層級：生產營運、應用加速同基建接入 。跨呢啲層級，具體嘅技術包括：

NVIDIA Dynamo 推理框架

Dynamo 係一個開源分散式服務框架，將推理流程拆開，分階段分配畀不同 GPU。佢分離 prefill 同 decode 階段、將請求智能路由到適當 GPU 以避免重複計算、並透過 NVLink 快取將 GPU 記憶體擴展到低成本儲存層 。Dynamo 支援 SGLang、TensorRT-LLM 同 vLLM，同呢啲開源引擎原生整合 。喺 SemiAnalysis InferenceX 基準測試中，Dynamo 令 Blackwell 上嘅請求處理量提升達 7 倍 。

TensorRT-LLM 優化

NVIDIA 單靠 TensorRT-LLM 優化，喺 Blackwell Launch 後兩個月內已實現 5 倍嘅 cost-per-token 下降，全程冇改動硬件 。喺數據中心層面，5 倍 cost-per-token 改善意味住同一基建投資嘅收入生成能力提升五倍 。

分離式服務 (Disaggregated Serving)

將 prefill（輸入處理）同 decode（token 生成）分到唔同 GPU 上做，消除資源競爭，令每個階段可以獨立針對其需求進行優化 。呢個係 NVIDIA Dynamo 框架嘅核心功能 。

大規模專家並行

DeepSeek V4 採用 MoE 架構，有 384 個分散專家 。優化路由將 token 分配到呢啲專家之間，減低冗餘計算，提升 GPU 集群效率 。

NVLink 並行通訊

NVIDIA 高速 GPU 互連技術支援專家之間嘅高效 all-to-all 通訊，對 MoE 模型尤其關鍵，因為專家並行需要頻繁嘅 GPU 數據交換 。

NVFP4 精度

用 4-bit 浮點精度做推理，大幅降低記憶體頻寬同運算需求，同時準確度損失不大 。對於 DeepSeek-V3.2，NVIDIA 嘅 NVFP4 量化將記憶體佔用由原版 FP8 嘅 690 GB 降到 415 GB，壓縮 1.7 倍，顯著提升吞吐量同成本效益 。

多 Token 預測 (MTP)

MTP 每次前向傳播生成多個 token，提升吞吐量。SGLang 喺 DeepSeek V4 Launch 後第 3 日就提供首個 MTP 支援 。用 MTP 之後，SGLang 喺 GB300 NVL72 上做超過每 GPU 12,000 token/s 。

優化 CUDA Kernels

唔係所有優化都嚟自 NVIDIA。SemiAnalysis 要自己修復 NVIDIA 開源嘅 mHC kernel Launch 碼，因為 TensorRT-LLM 初期對 DeepSeek V4 嘅新型架構表現唔好 。呢個社群貢獻對實現生產級推理係必不可少。

SGLang 服務方案

LMSYS Org 用 SGLang 喺 NVIDIA GB300 NVL72 上實現經認證嘅 5 倍吞吐量提升，由大約每 GPU 每秒 2,200 token 跳到 11,200 token，用戶體驗約每秒 50 token 。NVIDIA 嘅 Dynamo 支援矩陣特別列出 lmsysorg/sglang:deepseek-v4-blackwell 為受支援配置 。

呢啲優化加埋，Blackwell 上每 GPU 嘅吞吐量最高提升達 20 倍 。

DeepSeek V4 模型家族規格

DeepSeek V4 喺 2026 年 4 月 24 日以 MIT 授權發出，分兩個級別 。

資料來源：

混合注意力架構結合 壓縮稀疏注意力 (CSA) 同 高度壓縮注意力 (HCA)，喺 1M token 上下文下，單 token 推理 FLOPs 只有 DeepSeek-V3.2 嘅 27% 。呢種效率令百萬 token 級嘅 agentic 上下文喺運算上變得可行。

已經用緊呢啲優化嘅推理供應商

多家供應商同推理引擎已經喺 Blackwell 上部署 NVIDIA 嘅 DeepSeek V4 軟體優化：

• LMSYS Org（SGLang）—— 2026 年 6 月 23 日喺 NVIDIA GB300 NVL72 上實現經認證嘅 5 倍吞吐量提升 。NVIDIA 嘅 Dynamo 支援矩陣列出 lmsysorg/sglang:deepseek-v4-blackwell 為受支援配置 。SGLang 仲喺相同硬件上超過每 GPU 12,000 token/s 。
• NVIDIA NIM—— NVIDIA 自家推理微服務棧通過 NVIDIA API 目錄提供 DeepSeek-V4-Pro 端點 。
• vLLM—— 開源推理引擎喺 Launch 後幾日內已支援 DeepSeek V4，並與 NVIDIA Dynamo 整合做 GB200 上嘅分散式推理 。
• TensorRT-LLM—— NVIDIA 自家優化運行時，早期 mHC kernel 碼有問題，SemiAnalysis 幫手修復 。
• DeepInfra—— 提供 DeepSeek V4 Pro 端點，輸入 $0.435/M token，輸出 $0.87/M token 。
• Together AI、Fireworks AI、Baseten—— NVIDIA 嘅 blog 提到呢啲服務通過 GPU 加速雲端端點廣泛部署，同 Hopper 相比成本降低達 10 倍 。

根據 NVIDIA，Together AI 同 Baseten 等供應商轉用 Blackwell 後 cost-per-token 最高降低 90% 。

NVIDIA 嘅經濟論述：Agentic AI 點解咁倚靠 Token 成本

NVIDIA 明確將 cost-per-token 定為推理總擁有成本 (TCO) 最重要嘅指標，捨棄舊嘅每 GPU 小時成本或每美元 FLOPS 等指標 。Jensen Huang 喺 2026 年 4 月宣稱「NVIDIA 嘅 cost-per-token 係全世界最低」，佢認為呢個係「架構卓越同極致協同設計嘅直接結果」。

呢個指標轉變同 agentic AI 直接相關：

Agentic 工作負載喺推理上係運算爆量

隨住 AI 由一次性回答轉向多步推理——規劃、檢索上下文、調用工具、反思同自我修正——每項查詢生成嘅 token 數量可以放大 100 倍到 1,000 倍 。一個多步 agent 任務嘅推理運算成本可以係 $0.10 至 $1.00 。Gartner 喺 2026 年 3 月嘅分析確認，agentic AI 模型每項任務所需 token 係普通聊天機械人嘅 5 到 30 倍 。

推理已成最大成本中心

業界估計，企業 AI GPU 開支中 55% 至 80% 用喺推理，而非訓練 。Deloitte 估計 2026 年推理佔大約三分之二嘅 AI 運算，對比 2023 年嘅三分之一 。推理仲佔生產 AI 系統整個生命週期成本嘅 80% 至 90% 。

軟體優化無需新硬件已釋放巨大價值

NVIDIA 明確將呢點定位為戰略優勢：「NVIDIA 透過 TensorRT-LLM 優化，喺 Blackwell Launch 後兩個月內，無需硬件改動，就實現 5 倍嘅 cost-per-token 下降」。喺數據中心規模下，5 倍 cost-per-token 改善直接決定 agentic AI 工作負載能否經濟地運行 。NVIDIA 嘅推理軟體喺 AI 基建部署之後仍持續降低 token 成本 。

Cost-per-Token 係「唯一關鍵 TCO 指標」

NVIDIA 認為 cost-per-token 係唯一直接反映硬件性能、軟體優化、生態系統支援同實際使用情況嘅指標 。公司以「最低 token cost」作為 Blackwell 嘅核心價值主張 。NVIDIA B200 喺 GPT-OSS-120B 上做到每百萬 token 兩美仙，架構對比上一代 cost-per-million-tokens 降低 15 倍 。

總括嚟講，NVIDIA 嘅信息好清楚：Agentic AI 需要大量更多推理 token；Blackwell 上軟體層面嘅推理優化可以將 token 成本削減 5 倍而無需新硬件，直接決定大規模 agentic 部署有冇得賺 。

本文會詳細拆解 NVIDIA 用咗邊啲優化技術、DeepSeek V4 模型家族嘅規格、邊啲推理供應商已經用緊呢啲改進，以及 NVIDIA 點樣為 cost-per-token 呢個指標背書。

5 倍成本削減背後的軟體優化

NVIDIA 將推理優化棧分成三個層級：生產營運、應用加速同基建接入 。跨呢啲層級，具體嘅技術包括：

NVIDIA Dynamo 推理框架

Dynamo 係一個開源分散式服務框架，將推理流程拆開，分階段分配畀不同 GPU。佢分離 prefill 同 decode 階段、將請求智能路由到適當 GPU 以避免重複計算、並透過 NVLink 快取將 GPU 記憶體擴展到低成本儲存層 。Dynamo 支援 SGLang、TensorRT-LLM 同 vLLM，同呢啲開源引擎原生整合 。喺 SemiAnalysis InferenceX 基準測試中，Dynamo 令 Blackwell 上嘅請求處理量提升達 7 倍 。

TensorRT-LLM 優化

NVIDIA 單靠 TensorRT-LLM 優化，喺 Blackwell Launch 後兩個月內已實現 5 倍嘅 cost-per-token 下降，全程冇改動硬件 。喺數據中心層面，5 倍 cost-per-token 改善意味住同一基建投資嘅收入生成能力提升五倍 。

分離式服務 (Disaggregated Serving)

將 prefill（輸入處理）同 decode（token 生成）分到唔同 GPU 上做，消除資源競爭，令每個階段可以獨立針對其需求進行優化 。呢個係 NVIDIA Dynamo 框架嘅核心功能 。

大規模專家並行

DeepSeek V4 採用 MoE 架構，有 384 個分散專家 。優化路由將 token 分配到呢啲專家之間，減低冗餘計算，提升 GPU 集群效率 。

NVLink 並行通訊

NVIDIA 高速 GPU 互連技術支援專家之間嘅高效 all-to-all 通訊，對 MoE 模型尤其關鍵，因為專家並行需要頻繁嘅 GPU 數據交換 。

NVFP4 精度

用 4-bit 浮點精度做推理，大幅降低記憶體頻寬同運算需求，同時準確度損失不大 。對於 DeepSeek-V3.2，NVIDIA 嘅 NVFP4 量化將記憶體佔用由原版 FP8 嘅 690 GB 降到 415 GB，壓縮 1.7 倍，顯著提升吞吐量同成本效益 。

多 Token 預測 (MTP)

MTP 每次前向傳播生成多個 token，提升吞吐量。SGLang 喺 DeepSeek V4 Launch 後第 3 日就提供首個 MTP 支援 。用 MTP 之後，SGLang 喺 GB300 NVL72 上做超過每 GPU 12,000 token/s 。

優化 CUDA Kernels

唔係所有優化都嚟自 NVIDIA。SemiAnalysis 要自己修復 NVIDIA 開源嘅 mHC kernel Launch 碼，因為 TensorRT-LLM 初期對 DeepSeek V4 嘅新型架構表現唔好 。呢個社群貢獻對實現生產級推理係必不可少。

SGLang 服務方案

LMSYS Org 用 SGLang 喺 NVIDIA GB300 NVL72 上實現經認證嘅 5 倍吞吐量提升，由大約每 GPU 每秒 2,200 token 跳到 11,200 token，用戶體驗約每秒 50 token 。NVIDIA 嘅 Dynamo 支援矩陣特別列出 lmsysorg/sglang:deepseek-v4-blackwell 為受支援配置 。

呢啲優化加埋，Blackwell 上每 GPU 嘅吞吐量最高提升達 20 倍 。

DeepSeek V4 模型家族規格

DeepSeek V4 喺 2026 年 4 月 24 日以 MIT 授權發出，分兩個級別 。

資料來源：

混合注意力架構結合 壓縮稀疏注意力 (CSA) 同 高度壓縮注意力 (HCA)，喺 1M token 上下文下，單 token 推理 FLOPs 只有 DeepSeek-V3.2 嘅 27% 。呢種效率令百萬 token 級嘅 agentic 上下文喺運算上變得可行。

已經用緊呢啲優化嘅推理供應商

多家供應商同推理引擎已經喺 Blackwell 上部署 NVIDIA 嘅 DeepSeek V4 軟體優化：

• LMSYS Org（SGLang）—— 2026 年 6 月 23 日喺 NVIDIA GB300 NVL72 上實現經認證嘅 5 倍吞吐量提升 。NVIDIA 嘅 Dynamo 支援矩陣列出 lmsysorg/sglang:deepseek-v4-blackwell 為受支援配置 。SGLang 仲喺相同硬件上超過每 GPU 12,000 token/s 。
• NVIDIA NIM—— NVIDIA 自家推理微服務棧通過 NVIDIA API 目錄提供 DeepSeek-V4-Pro 端點 。
• vLLM—— 開源推理引擎喺 Launch 後幾日內已支援 DeepSeek V4，並與 NVIDIA Dynamo 整合做 GB200 上嘅分散式推理 。
• TensorRT-LLM—— NVIDIA 自家優化運行時，早期 mHC kernel 碼有問題，SemiAnalysis 幫手修復 。
• DeepInfra—— 提供 DeepSeek V4 Pro 端點，輸入 $0.435/M token，輸出 $0.87/M token 。
• Together AI、Fireworks AI、Baseten—— NVIDIA 嘅 blog 提到呢啲服務通過 GPU 加速雲端端點廣泛部署，同 Hopper 相比成本降低達 10 倍 。

根據 NVIDIA，Together AI 同 Baseten 等供應商轉用 Blackwell 後 cost-per-token 最高降低 90% 。

NVIDIA 嘅經濟論述：Agentic AI 點解咁倚靠 Token 成本

NVIDIA 明確將 cost-per-token 定為推理總擁有成本 (TCO) 最重要嘅指標，捨棄舊嘅每 GPU 小時成本或每美元 FLOPS 等指標 。Jensen Huang 喺 2026 年 4 月宣稱「NVIDIA 嘅 cost-per-token 係全世界最低」，佢認為呢個係「架構卓越同極致協同設計嘅直接結果」。

呢個指標轉變同 agentic AI 直接相關：

Agentic 工作負載喺推理上係運算爆量

隨住 AI 由一次性回答轉向多步推理——規劃、檢索上下文、調用工具、反思同自我修正——每項查詢生成嘅 token 數量可以放大 100 倍到 1,000 倍 。一個多步 agent 任務嘅推理運算成本可以係 $0.10 至 $1.00 。Gartner 喺 2026 年 3 月嘅分析確認，agentic AI 模型每項任務所需 token 係普通聊天機械人嘅 5 到 30 倍 。

推理已成最大成本中心

業界估計，企業 AI GPU 開支中 55% 至 80% 用喺推理，而非訓練 。Deloitte 估計 2026 年推理佔大約三分之二嘅 AI 運算，對比 2023 年嘅三分之一 。推理仲佔生產 AI 系統整個生命週期成本嘅 80% 至 90% 。

軟體優化無需新硬件已釋放巨大價值

NVIDIA 明確將呢點定位為戰略優勢：「NVIDIA 透過 TensorRT-LLM 優化，喺 Blackwell Launch 後兩個月內，無需硬件改動，就實現 5 倍嘅 cost-per-token 下降」。喺數據中心規模下，5 倍 cost-per-token 改善直接決定 agentic AI 工作負載能否經濟地運行 。NVIDIA 嘅推理軟體喺 AI 基建部署之後仍持續降低 token 成本 。

Cost-per-Token 係「唯一關鍵 TCO 指標」

NVIDIA 認為 cost-per-token 係唯一直接反映硬件性能、軟體優化、生態系統支援同實際使用情況嘅指標 。公司以「最低 token cost」作為 Blackwell 嘅核心價值主張 。NVIDIA B200 喺 GPT-OSS-120B 上做到每百萬 token 兩美仙，架構對比上一代 cost-per-million-tokens 降低 15 倍 。

總括嚟講，NVIDIA 嘅信息好清楚：Agentic AI 需要大量更多推理 token；Blackwell 上軟體層面嘅推理優化可以將 token 成本削減 5 倍而無需新硬件，直接決定大規模 agentic 部署有冇得賺 。