英伟达这次发布的核心,并不是“又一代更快的 GPU”,而是把 GPU、CPU、机内互连、跨机架网络、数据处理单元以及数据中心软件组合成一座完整的机架级“AI 工厂”。
对于聊天机器人而言,一次请求可能只需要模型生成一段回答;但对于智能体 AI(agentic AI)来说,模型往往还要反复调用工具、检索数据、执行代码、创建子任务并多轮推理。因此,决定实际成本的并不只是 GPU 的 FLOPS,还包括 CPU 调度、内存带宽、数据搬运、网络延迟和整座数据中心的功耗。
Vera Rubin NVL72:把一个机架做成一台计算机
Vera Rubin NVL72 是一套液冷机架级系统,集成:
- 72 颗 Rubin GPU;
- 36 颗 NVIDIA Vera CPU;
- ConnectX-9 SuperNIC;
- BlueField-4 DPU;
- 第六代 NVLink 交换芯片。
3
6
英伟达将这套系统设计为一个拥有 72 颗 GPU 的规模内(scale-in,也常称 scale-up)计算域。NVLink 6 为每颗 GPU 提供最高 3.6 TB/s 的双向 GPU-GPU 带宽,整机机架级 GPU 带宽最高可达 260 TB/s。
3
机架之外,系统可以通过 Quantum-X800 InfiniBand 或 Spectrum-X Ethernet 连接更多机架,形成更大规模的集群。
3 ConnectX-9 和 BlueField-4 则负责网络、存储、安全以及数据路径卸载,减少主 CPU 和 GPU 在基础设施任务上的负担。
3
6
所谓“30 倍提升”究竟测了什么?
英伟达称,Vera Rubin NVL72 在智能体工作负载上的每兆瓦吞吐量,相比 GB300 NVL72 最高提升 30 倍,同时 Token 成本最高降低 35 倍。
8
9
这组数字来自 SemiAnalysis 的 AgentX 工作负载。AgentX 并非只测试固定长度的问答,而是回放生产风格的智能体编程会话,保留上下文增长、工具调用和子智能体生成等过程;测试中使用的模型包括 DeepSeek V4 Pro。
8
9
这种测试方式很重要。随着上下文变长、交互轮数增加,CPU 侧的编排、代码执行、数据处理和内存访问会成为整体吞吐的重要组成部分。换句话说,Vera Rubin 的优势主张并不只是“GPU 算得更快”,而是希望在相同电力预算下完成更多真正的智能体任务。
不过,这些 headline 数字仍应谨慎解读。它们是英伟达基于厂商支持的测量结果,并不是独立、同行评审的普适结论。
8结果会受到模型、上下文长度、并发度、交互目标、软件栈和系统配置影响。
与 Hopper 和“每百万 Token 成本”有关的数字:现有证据并不完整
现有材料能够支持 Vera Rubin 与 GB300 NVL72 的对比,但没有提供一个来自一手来源、可以直接复现的 Hopper 对比倍率。因此,不能据此给出经过核验的“相比 Hopper 提升多少倍”。
同样,材料中也没有公布一个可以核验的、以美元计价的“每 100 万 Token 成本”。英伟达此前针对 Rubin 相比 Blackwell 的总体宣传是推理 Token 成本最高降低 10 倍,但这不是一个固定的市场价格,也不能直接换算成所有客户都适用的每百万 Token 费用。
11
17
Token 使用量本身也会因工作流不同而明显变化。英伟达新闻材料援引 OpenRouter 数据称,智能体 AI 工作负载消耗的 Token 数量可能是简单聊天请求的 15 倍。这解释了为什么智能体场景会特别关注“每兆瓦 Token 吞吐量”:即使单次生成速度相近,反复推理和工具调用也可能显著推高总计算量。
Vera CPU:为 GPU 周边的“繁琐工作”而设计
英伟达将 Vera 称为面向 AI 智能体的 CPU。它采用兼容 Armv9.2 指令集的 88 个定制 Olympus 核心,并支持 176 个 Spatial Multithreading 线程。
2
10
这些核心主要服务于推理周边的高并发任务,包括:
- 请求编排和任务调度;
- 数据处理与检索;
- 工具调用;
- 沙盒代码执行;
- 仿真和工作流控制。
Vera 使用 SOCAMM2 LPDDR5X 内存,最高可提供 1.2 TB/s 的总内存带宽,平均每核心最高约 14 GB/s。
7第二代 Scalable Coherency Fabric(SCF)将 88 个核心、共享 L3 缓存、内存控制器和 I/O 连接在统一的数据路径上,双向切分带宽最高可达 3.4 TB/s,统一 L3 缓存容量为 164 MB。
7
在与 Grace 的对比中,英伟达称 Vera 可提供 2.4 倍内存带宽、3 倍内存容量,以及两倍的 NVLink-C2C 带宽。
1在 Vera Rubin NVL72 中,NVLink-C2C 可为 CPU 与 GPU 之间提供最高 1.8 TB/s 的一致性带宽,约为 PCIe Gen 6 的 7 倍。
这反映出英伟达的一个判断:智能体时代的瓶颈不一定只在 GPU 计算核心,也可能出现在等待数据、等待工具执行或等待调度的 CPU 侧。
“Scale-In”与其他网络层次分别做什么?
英伟达的网络架构可以分成三个层面:
Scale-in / scale-up:机架内部互连
NVLink 6 负责让 72 颗 GPU 以低延迟、高带宽方式协同工作,使一个机架更像一台大型共享计算机。
3
Scale-out:机架之间扩展
Quantum-X800 InfiniBand 和 Spectrum-X Ethernet 将多个 NVL72 机架连接成更大的训练或推理集群。
3
数据与基础设施卸载
ConnectX-9 SuperNIC 和 BlueField-4 DPU 处理网络、存储、安全和数据搬运任务,使 GPU 和 CPU 更专注于模型与智能体工作负载。
3
6
因此,“Scale-In”并不是对外连接更多服务器的网络,而是解决单个机架内部如何把多颗 GPU 组织成一个高效计算域的问题;Scale-out 才负责跨机架扩展。
DSX MaxLPS:从“峰值功耗”转向“每瓦产出”
英伟达把 DSX 描述为覆盖芯片、服务器、软件、数据中心设施和合作伙伴技术的端到端 AI 工厂设计。
18
20其中,DSX MaxLPS 软件的目标是最大化单位功耗下的 Token 吞吐量,进而降低单位 Token 成本,而不是单纯让硬件尽可能长时间运行在最高瞬时功耗。
18
20
这对大型数据中心尤其关键。当部署限制来自电网容量、机房散热或电力预算,而不是买不到加速器时,更高的“每兆瓦有效工作量”意味着同样的能源基础设施可以承载更多请求。若这些指标能在客户部署中得到验证,收益可能体现为更低的电费、冷却成本、网络成本和每个生成 Token 所需的资本投入。
SpaceXAI:地面 Grok 基础设施与计划中的轨道计算
英伟达表示,SpaceXAI 将部署 Vera CPU,用于下一代智能体 AI 工作负载;同时,SpaceXAI 计划使用 Vera Rubin 扩展 Grok 背后的 AI 基础设施,并向吉瓦级计算容量发展。
10
双方还计划把这套架构延伸到 Starmind 轨道计算项目:第一代 Starmind AI 卫星将采用经过优化的 Vera Rubin NVL72 系统作为空间计算载荷。
10
12
需要区分“计划部署”和“已经运营”。现有材料只支持这是一项规划中的地面和轨道部署,并不能证明今天已经存在正在运行的轨道 AI 数据中心。
10
12
对英伟达竞争版图意味着什么?
Vera Rubin 的战略意义在于,英伟达正在把竞争边界从 GPU 扩展到整套 AI 基础设施:
- 定制 Arm CPU;
- CPU-GPU 一致性互连;
- 机架级 NVLink 交换;
- InfiniBand 与以太网集群网络;
- DPU 和数据路径卸载;
- 面向 AI 工厂运行的软件。
如果英伟达宣称的效率优势能够在真实客户环境中复现,客户购买的就不再只是“更快的显卡”,而是一套在有限电力和散热条件下完成更多智能体任务的系统。这可能增强英伟达相对于其他 GPU 厂商以及传统服务器 CPU 厂商的竞争力。
但整合程度越高,客户对英伟达硬件、网络和软件栈的依赖也越深。Vera Rubin 的真正影响,最终仍取决于产品交付、软件兼容性、独立测试结果、采购价格以及不同模型和工作负载下的实际每 Token 成本。