本文将详细拆解英伟达部署了哪些优化技术，DeepSeek V4 模型家族的内部规格，哪些推理服务商已经开始使用这些改进，以及英伟达如何阐述其聚焦于每 token 成本的经济逻辑。

实现 5 倍成本降低的软件优化

英伟达将其推理优化栈分为三个层次：生产运营、应用加速和基础设施访问 。在这些层面中，实现 5 倍提升的具体技术包括：

NVIDIA Dynamo 推理框架

Dynamo 是一个开源的分布式服务框架，它将推理的不同阶段（预填充和解码）分离到不同的 GPU 上进行。该框架能智能地将请求路由到合适的 GPU，避免冗余计算，并通过基于 NVLink 的缓存将 GPU 内存扩展到更具成本效益的存储层级 。Dynamo 支持 SGLang、TensorRT-LLM 和 vLLM 等开源推理引擎，并与它们原生集成 。正如 SemiAnalysis InferenceX 基准测试所展示的，该框架在 NVIDIA Blackwell 上可将服务的请求数量提升多达 7 倍 。

TensorRT-LLM 优化

在 Blackwell 发布后的两个月内，英伟达仅通过 TensorRT-LLM 的优化就将每 token 成本降低了 5 倍，期间未更换任何硬件 。在数据中心规模下，每 token 成本降低 5 倍，意味着相同基础设施投资带来的创收能力提升了五倍 。

分离式服务（Disaggregated Serving）

通过将预填充（输入处理）和解码（token 生成）阶段分离到不同的 GPU 上，分离式服务消除了资源争用，并允许每个阶段根据其特定需求进行独立优化 。这是 NVIDIA Dynamo 框架的核心功能之一 。

大规模专家并行（Large-Scale Expert Parallelism）

DeepSeek V4 采用了混合专家（MoE）架构，包含 384 个分布式专家 。优化后的路由机制能在这些专家之间高效分配 token，减少冗余计算，从而提升整个 GPU 集群的效率 。

基于 NVLink 的并行通信

英伟达的高速 GPU 互连技术能够在专家之间实现高效的全对全通信，这对于需要频繁进行 GPU 间数据交换的 MoE 模型专家并行至关重要 。

NVFP4 精度

在推理中使用 4 位浮点精度可以降低内存带宽和计算需求，而不会显著损失准确性 。对于 DeepSeek-V3.2，英伟达的 NVFP4 量化将模型内存占用比原来的 FP8 格式减少了 1.7 倍（415 GB 对比 690 GB），从而显著提升了吞吐量和成本效率 。

多 token 预测（MTP）

MTP 能够在每次前向传递中生成多个 token，从而提高吞吐量。针对 DeepSeek V4 的首个 MTP 支持在第 3 天由 SGLang 实现 。使用 MTP 后，SGLang 在 GB300 NVL72 硬件上实现了每 GPU 超过 12K token/秒的性能 。

优化的 CUDA 内核

并非所有优化都来自英伟达自身。SemiAnalysis 不得不修复英伟达开源的 mHC（流形约束超连接）内核启动代码，因为 TensorRT-LLM 最初与 DeepSeek V4 的新型架构配合不佳 。这一社区贡献对于实现生产级推理至关重要。

SGLang 服务方案

LMSYS Org 使用 SGLang 在 NVIDIA GB300 NVL72 硬件上实现了经过验证的 5 倍吞吐量提升，每 GPU 每秒 token 数从约 2,200 跃升至 11,200，用户速率约为每秒 50 token 。英伟达的 Dynamo 支持矩阵特别将 lmsysorg/sglang:deepseek-v4-blackwell 列为支持的配置 。

综合来看，这些优化在 Blackwell 上为每个 GPU 提供了高达 20 倍的吞吐量提升 。

DeepSeek V4 模型家族规格

DeepSeek V4 于 2026 年 4 月 24 日发布，采用 MIT 许可，是一个双层模型家族 。

来源：

混合注意力架构结合了压缩稀疏注意力（CSA）和重度压缩注意力（HCA），在 100 万 token 上下文下，其单 token 推理 FLOPs 仅为 DeepSeek-V3.2 的 27% 。这种效率使得百万 token 级别的 AI 代理上下文在计算上变得可行。

已采用这些优化的推理服务商

多家服务商和推理引擎已经部署了英伟达针对 Blackwell 上 DeepSeek V4 的软件优化：

• LMSYS Org (SGLang) — 在 NVIDIA GB300 NVL72 硬件上实现了经过验证的 5 倍吞吐量提升（2026 年 6 月 23 日）。英伟达的 Dynamo 支持矩阵将 lmsysorg/sglang:deepseek-v4-blackwell 列为支持的配置 。SGLang 在同一硬件上还实现了每 GPU 超过 12K token/秒的性能 。
• NVIDIA NIM — 英伟达自身的推理微服务栈通过其 API 目录提供 DeepSeek-V4-Pro 端点 。
• vLLM — 该开源推理引擎在 DeepSeek V4 发布数天内即提供了支持，并与 NVIDIA Dynamo 集成，用于在 GB200 上进行分布式推理 。
• TensorRT-LLM — 英伟达自身优化的运行时，尽管早期在 mHC 内核代码方面存在问题，后由 SemiAnalysis 协助修复 。
• DeepInfra — 提供 DeepSeek V4 Pro 端点，输入价格为 $0.435/M，输出价格为 $0.87/M 。
• Together AI, Fireworks AI, Baseten — 英伟达的博客指出了通过 GPU 加速的云端点进行的广泛部署，这些服务商相较 Hopper 将每 token 成本降低高达 10 倍 。

据英伟达介绍，像 Together AI 和 Baseten 这样的服务商在采用 Blackwell 后，每 token 成本相比 Hopper 降低了高达 90% 。

英伟达面向 AI 代理工作负载的经济学框架

英伟达将每 token 成本定位为推理总拥有成本（TCO）最重要的单一指标——明确摒弃了旧的指标，如每 GPU 小时成本或每美元 FLOPS 。黄仁勋在 2026 年 4 月宣称“英伟达的每 token 成本全球最低”，并将其视为“架构卓越性和极致协同设计的直接结果” 。

这种指标转变的逻辑与 AI 代理直接相关：

AI 代理工作负载在推理上是计算密集型

随着 AI 从一次性的答案生成转向多步骤推理——规划、检索上下文、调用工具、反思和自我修正——每个查询生成的 token 数量可能增加 100 到 1000 倍 。一个简单的多步代理任务，其推理计算成本可能高达 0.10 到 1.00 美元 。Gartner 在 2026 年 3 月的分析证实，AI 代理模型每任务所需的 token 量是标准聊天机器人的 5 到 30 倍 。

推理现在是主要的成本中心

行业估计表明，企业 AI 在 GPU 上的支出中有 55–80% 用于推理，而非训练 。德勤估计，到 2026 年，推理将占所有 AI 计算的大约三分之二，而 2023 年这一比例仅为三分之一 。推理还占生产级 AI 系统生命周期成本的 80% 到 90% 。

软件优化无需新硬件即可释放巨大价值

英伟达明确将此定位为战略优势：“英伟达在 Blackwell 发布后的两个月内，仅通过 TensorRT-LLM 优化就将每 token 成本降低了 5 倍，期间未更换任何硬件” 。在数据中心规模下，每 token 成本降低 5 倍直接决定了 AI 代理工作负载在经济上是否可行 。英伟达的推理软件在 AI 基础设施部署后仍在持续降低 token 成本 。

每 token 成本是“唯一重要的 TCO 指标”

英伟达认为，每 token 成本是唯一能直接反映硬件性能、软件优化、生态系统支持和实际利用率的总拥有成本指标 。该公司将“最低 token 成本”作为其 Blackwell 的核心价值主张 。NVIDIA B200 在 GPT-OSS-120B 模型上实现了每百万 token 两美分的成本，该架构相比上一代将每百万 token 成本降低了 15 倍 。

总而言之，英伟达的信息很明确：AI 代理需要每任务产生多得多的推理 token；Blackwell 上的软件级推理优化可以在不更换硬件的情况下将这些 token 成本降低 5 倍，这直接决定了大规模 AI 代理部署是否有利可图 。

本文将详细拆解英伟达部署了哪些优化技术，DeepSeek V4 模型家族的内部规格，哪些推理服务商已经开始使用这些改进，以及英伟达如何阐述其聚焦于每 token 成本的经济逻辑。

实现 5 倍成本降低的软件优化

英伟达将其推理优化栈分为三个层次：生产运营、应用加速和基础设施访问 。在这些层面中，实现 5 倍提升的具体技术包括：

NVIDIA Dynamo 推理框架

Dynamo 是一个开源的分布式服务框架，它将推理的不同阶段（预填充和解码）分离到不同的 GPU 上进行。该框架能智能地将请求路由到合适的 GPU，避免冗余计算，并通过基于 NVLink 的缓存将 GPU 内存扩展到更具成本效益的存储层级 。Dynamo 支持 SGLang、TensorRT-LLM 和 vLLM 等开源推理引擎，并与它们原生集成 。正如 SemiAnalysis InferenceX 基准测试所展示的，该框架在 NVIDIA Blackwell 上可将服务的请求数量提升多达 7 倍 。

TensorRT-LLM 优化

在 Blackwell 发布后的两个月内，英伟达仅通过 TensorRT-LLM 的优化就将每 token 成本降低了 5 倍，期间未更换任何硬件 。在数据中心规模下，每 token 成本降低 5 倍，意味着相同基础设施投资带来的创收能力提升了五倍 。

分离式服务（Disaggregated Serving）

通过将预填充（输入处理）和解码（token 生成）阶段分离到不同的 GPU 上，分离式服务消除了资源争用，并允许每个阶段根据其特定需求进行独立优化 。这是 NVIDIA Dynamo 框架的核心功能之一 。

大规模专家并行（Large-Scale Expert Parallelism）

DeepSeek V4 采用了混合专家（MoE）架构，包含 384 个分布式专家 。优化后的路由机制能在这些专家之间高效分配 token，减少冗余计算，从而提升整个 GPU 集群的效率 。

基于 NVLink 的并行通信

英伟达的高速 GPU 互连技术能够在专家之间实现高效的全对全通信，这对于需要频繁进行 GPU 间数据交换的 MoE 模型专家并行至关重要 。

NVFP4 精度

在推理中使用 4 位浮点精度可以降低内存带宽和计算需求，而不会显著损失准确性 。对于 DeepSeek-V3.2，英伟达的 NVFP4 量化将模型内存占用比原来的 FP8 格式减少了 1.7 倍（415 GB 对比 690 GB），从而显著提升了吞吐量和成本效率 。

多 token 预测（MTP）

MTP 能够在每次前向传递中生成多个 token，从而提高吞吐量。针对 DeepSeek V4 的首个 MTP 支持在第 3 天由 SGLang 实现 。使用 MTP 后，SGLang 在 GB300 NVL72 硬件上实现了每 GPU 超过 12K token/秒的性能 。

优化的 CUDA 内核

并非所有优化都来自英伟达自身。SemiAnalysis 不得不修复英伟达开源的 mHC（流形约束超连接）内核启动代码，因为 TensorRT-LLM 最初与 DeepSeek V4 的新型架构配合不佳 。这一社区贡献对于实现生产级推理至关重要。

SGLang 服务方案

LMSYS Org 使用 SGLang 在 NVIDIA GB300 NVL72 硬件上实现了经过验证的 5 倍吞吐量提升，每 GPU 每秒 token 数从约 2,200 跃升至 11,200，用户速率约为每秒 50 token 。英伟达的 Dynamo 支持矩阵特别将 lmsysorg/sglang:deepseek-v4-blackwell 列为支持的配置 。

综合来看，这些优化在 Blackwell 上为每个 GPU 提供了高达 20 倍的吞吐量提升 。

DeepSeek V4 模型家族规格

DeepSeek V4 于 2026 年 4 月 24 日发布，采用 MIT 许可，是一个双层模型家族 。

来源：

混合注意力架构结合了压缩稀疏注意力（CSA）和重度压缩注意力（HCA），在 100 万 token 上下文下，其单 token 推理 FLOPs 仅为 DeepSeek-V3.2 的 27% 。这种效率使得百万 token 级别的 AI 代理上下文在计算上变得可行。

已采用这些优化的推理服务商

多家服务商和推理引擎已经部署了英伟达针对 Blackwell 上 DeepSeek V4 的软件优化：

• LMSYS Org (SGLang) — 在 NVIDIA GB300 NVL72 硬件上实现了经过验证的 5 倍吞吐量提升（2026 年 6 月 23 日）。英伟达的 Dynamo 支持矩阵将 lmsysorg/sglang:deepseek-v4-blackwell 列为支持的配置 。SGLang 在同一硬件上还实现了每 GPU 超过 12K token/秒的性能 。
• NVIDIA NIM — 英伟达自身的推理微服务栈通过其 API 目录提供 DeepSeek-V4-Pro 端点 。
• vLLM — 该开源推理引擎在 DeepSeek V4 发布数天内即提供了支持，并与 NVIDIA Dynamo 集成，用于在 GB200 上进行分布式推理 。
• TensorRT-LLM — 英伟达自身优化的运行时，尽管早期在 mHC 内核代码方面存在问题，后由 SemiAnalysis 协助修复 。
• DeepInfra — 提供 DeepSeek V4 Pro 端点，输入价格为 $0.435/M，输出价格为 $0.87/M 。
• Together AI, Fireworks AI, Baseten — 英伟达的博客指出了通过 GPU 加速的云端点进行的广泛部署，这些服务商相较 Hopper 将每 token 成本降低高达 10 倍 。

据英伟达介绍，像 Together AI 和 Baseten 这样的服务商在采用 Blackwell 后，每 token 成本相比 Hopper 降低了高达 90% 。

英伟达面向 AI 代理工作负载的经济学框架

英伟达将每 token 成本定位为推理总拥有成本（TCO）最重要的单一指标——明确摒弃了旧的指标，如每 GPU 小时成本或每美元 FLOPS 。黄仁勋在 2026 年 4 月宣称“英伟达的每 token 成本全球最低”，并将其视为“架构卓越性和极致协同设计的直接结果” 。

这种指标转变的逻辑与 AI 代理直接相关：

AI 代理工作负载在推理上是计算密集型

随着 AI 从一次性的答案生成转向多步骤推理——规划、检索上下文、调用工具、反思和自我修正——每个查询生成的 token 数量可能增加 100 到 1000 倍 。一个简单的多步代理任务，其推理计算成本可能高达 0.10 到 1.00 美元 。Gartner 在 2026 年 3 月的分析证实，AI 代理模型每任务所需的 token 量是标准聊天机器人的 5 到 30 倍 。

推理现在是主要的成本中心

行业估计表明，企业 AI 在 GPU 上的支出中有 55–80% 用于推理，而非训练 。德勤估计，到 2026 年，推理将占所有 AI 计算的大约三分之二，而 2023 年这一比例仅为三分之一 。推理还占生产级 AI 系统生命周期成本的 80% 到 90% 。

软件优化无需新硬件即可释放巨大价值

英伟达明确将此定位为战略优势：“英伟达在 Blackwell 发布后的两个月内，仅通过 TensorRT-LLM 优化就将每 token 成本降低了 5 倍，期间未更换任何硬件” 。在数据中心规模下，每 token 成本降低 5 倍直接决定了 AI 代理工作负载在经济上是否可行 。英伟达的推理软件在 AI 基础设施部署后仍在持续降低 token 成本 。

每 token 成本是“唯一重要的 TCO 指标”

英伟达认为，每 token 成本是唯一能直接反映硬件性能、软件优化、生态系统支持和实际利用率的总拥有成本指标 。该公司将“最低 token 成本”作为其 Blackwell 的核心价值主张 。NVIDIA B200 在 GPT-OSS-120B 模型上实现了每百万 token 两美分的成本，该架构相比上一代将每百万 token 成本降低了 15 倍 。

总而言之，英伟达的信息很明确：AI 代理需要每任务产生多得多的推理 token；Blackwell 上的软件级推理优化可以在不更换硬件的情况下将这些 token 成本降低 5 倍，这直接决定了大规模 AI 代理部署是否有利可图 。