英伟达与 d-Matrix 押注“拆分式推理”：让大模型更快开始回答

生成式 AI 服务如今不只比“答得对不对”，也比“多久开始回答、能否持续流畅输出”。英伟达与 d-Matrix 在 2026 年 9 月公布的合作，瞄准的正是这一问题：将 d-Matrix 即将推出的 Raptor 推理 XPU 直接接入英伟达设计的 AI 基础设施，让同一机架可把大语言模型（LLM）请求的不同环节交给更擅长的处理器。 134

核心并不是用 Raptor 取代英伟达 GPU，而是构建异构系统：GPU 承担计算密集型的预填充（prefill），d-Matrix 加速器则聚焦需要反复逐 token 生成、对延迟更敏感的**解码（decode）**阶段。 45

为什么拆分预填充与解码，可能让回答更快

一次 LLM 请求的不同阶段，对硬件提出的要求并不相同。预填充负责处理用户输入的提示词和上下文；解码则不断生成下一个 token。d-Matrix 将其现有 Corsair 产品及相关推理架构定位于与 GPU 协作完成解码，而 GPU 则更适合计算密集型任务。 26

这种分工尤其适合在意“下一个 token 出现时间”的交互式产品，例如代码助手、聊天应用与语音交互服务。Raptor 平台瞄准的是 d-Matrix 所称的高端、超低延迟 token 服务。 48

不过，将两个阶段交由不同处理器，也带来系统层面的难题：处理器之间必须足够快地交换数据，否则通信开销会抵消专用化带来的收益。此次合作所采用的互连和网络方案，正是为缓解这一限制而设计。

NVLink Fusion、MGX 与 Spectrum-X 分别做什么

按规划，Raptor 将通过 NVLink Fusion 接入英伟达 NVLink 的纵向扩展域（scale-up），而 Spectrum-X 则承担系统之间的横向扩展网络（scale-out）。英伟达表示，这为 d-Matrix 的定制芯片接入其更广泛的 AI 基础设施平台提供了路径。 3

计划中的 d-Matrix 机架将基于英伟达 MGX 参考架构，并预计纳入英伟达 Vera CPU、NVLink 交换机、BlueField-4 DPU、ConnectX-9 SuperNIC 和 Spectrum-X Ethernet。 48

对 d-Matrix 而言，价值不只在于高速互连。围绕新芯片独立验证服务器、网络、电源、散热及供应链的每个环节，成本高且周期长；接入已有验证基础的 MGX 机架生态，则有望降低这些集成风险。英伟达将 MGX 及其整体平台描述为从定制芯片走向大规模部署的更快、风险更低的途径。 3

换句话说，这项合作意在让 Raptor 能以“英伟达 AI 工厂”基础设施的一部分部署，而不是作为独立的推理设备存在。

Raptor 的机架级规划：押注内存容量与带宽

d-Matrix 为 Raptor 提出了颇为激进的机架级目标：每个机架最多 144 个 XPU、2.3TB 的 3D 堆叠 DRAM，以及 7.2PB/s 的总内存带宽。公司称，该设计计划支持超过 4 万亿参数、采用 4 比特精度的模型。需要注意的是，这些均为规划规格，而非已经过独立验证的量产结果。 4

这一架构反映了 d-Matrix 的判断：LLM 解码性能很大程度上受制于数据在内存中的移动，以及可用内存带宽。按其方案，Raptor 的 3D 封装将 DRAM 存储芯片与 SRAM 计算芯片结合，延续其以存储为中心的设计路线。 4

d-Matrix 表示，Raptor 预计在 2026 年底前完成流片，首批集成于 MGX 机架的产品预计在 2027 年第四季度推出。这意味着项目仍有大量执行工作：流片、制造、封装、系统验证和机架级部署都必须顺利完成，客户才能真正评估其实际表现。 48

英伟达为何向第三方加速器开放平台

英伟达在这次合作中的角色颇具战略意味：它允许一款专用的外部 XPU 接入自身机架架构与网络互连，而不是要求所有推理环节都运行在英伟达 GPU 上。

英伟达将其 AI 平台概括为“纵向整合、横向开放”：一方面保留纵向扩展互连、横向网络、机架设计与生态系统的价值，另一方面允许其他处理器参与其中。 3

这会扩大平台能覆盖的工作负载范围。若客户需要专注解码的加速器，而该设备又能使用 NVLink Fusion、MGX 和 Spectrum-X，那么客户更可能继续采用兼容英伟达的基础设施。更准确的理解不是 GPU 退场，而是“受控的互补”：GPU 仍是通用训练、广泛推理和计算密集型预填充的核心；专用设备则被定位于解码环节。 145

Corsair 与融资：d-Matrix 的商业路线图

Raptor 是 d-Matrix 继 Corsair 之后的下一代推理加速器。该公司称，Corsair 专为解耦式推理中的解码阶段打造，可与 GPU 协作，而不是取代 GPU。 26

d-Matrix 曾公开 Corsair 混合系统在性能、成本和能耗方面的说法，但在缺少可独立复现的基准测试细节前，这些数据应被视为企业自身主张。现有材料不足以证明它能在所有模型、批处理规模或部署配置下带来普遍性能优势。 2528

该公司完成了 2.75 亿美元 C 轮融资，报道称估值为 20 亿美元，累计融资额达到 4.5 亿美元；微软旗下风投基金 M12 是本轮参与方之一。 2130 路透社还报道称，微软曾参与 d-Matrix 在 2023 年的一轮融资，且 d-Matrix 在 2024 年 11 月交付了第一款 AI 芯片。 1

这些节点表明，d-Matrix 正从单一推理产品的叙事，转向更完整的机架级路线图。对于已采购或运营英伟达基础设施的客户，英伟达的集成支持也可能提升这一路线的可信度。

仍未披露的关键问题

英伟达与 d-Matrix 没有公布协议的财务条款。 1 因此，仅凭公开公告无法判断其中是否包含授权费用、联合工程承诺、采购量承诺、收入分成，或英伟达的直接投资。

更明确的结论是：两家公司都在为一种推理市场做准备——不必由单一类型处理器执行 LLM 请求的每一个环节。d-Matrix 获得了进入英伟达兼容 AI 工厂的通道；英伟达则获得一种可与其网络和机架平台整合的专用解码选项。该方案能否在规模化部署中真正降低延迟、改善经济性，仍取决于 Raptor 最终硬件、软件调度能力，以及 2027 年计划上市后来自客户的实测基准。 348