d-Matrix 用 NVLink Fusion 將 Raptor XPU 接入 NVIDIA AI 工廠

d-Matrix 採用 NVIDIA NVLink Fusion，重點唔係單純令 Raptor 多一個高速連接埠，而係令呢款下一代推論 XPU 可以按 NVIDIA 嘅「AI 工廠」方式，直接成為機櫃級系統一部分。換句話講，客戶毋須將 Raptor 當成獨立 PCIe 推論卡另行拼裝；它可放進 NVIDIA 液冷 MGX／NVL144 參考機櫃架構，沿用 NVIDIA 現成嘅互連、網絡、控制與機櫃整合能力。35

點樣接入 NVL144／MGX 機櫃？

Raptor 將實作 NVLink Fusion 介面，並配合 NVIDIA 的 MGX 機櫃參考設計。當中：

• NVLink 負責機櫃內裝置之間嘅高速、低延遲「scale-up」互連；
• Spectrum-X 負責機櫃以外嘅「scale-out」Ethernet 網絡；
• 機櫃可採用液冷設計，並按 NVL144 級別嘅大規模部署方式配置。35

所以 d-Matrix 並非要自建一套由晶片到網絡、由伺服器到機櫃嘅完整平台。它提供針對推論嘅 Raptor XPU，而 NVIDIA 繼續提供系統骨幹：運算與 I/O 組件、互連交換、網絡、管理硬件，以及已驗證嘅 MGX 機櫃設計。5

NVIDIA 平台入面有咩組件？

按公司公布嘅路線圖，採用 Raptor 嘅 MGX 機櫃可整合：

• NVIDIA Vera CPU
• NVLink switches
• BlueField-4 DPU
• ConnectX-9 SuperNIC
• Spectrum-X Ethernet 網絡

即係話，d-Matrix 主要貢獻 XPU；NVIDIA 則供應大量周邊系統能力，包括資料流、網絡、I/O、控制平面同參考機櫃架構。d-Matrix 亦表示會與 Astera Labs 合作，處理系統內高吞吐量連接方案。56

點解 Raptor 特別瞄準推論 decoding？

大型語言模型推論一般可粗略分成兩段：先處理輸入內容嘅 prefill，以及逐個 token 生成答案嘅 decode。GPU 仍適合 prefill 同廣泛運算工作；而 d-Matrix 主攻 decode，因為呢個階段會反覆讀取模型權重，對記憶體容量同頻寬尤其敏感。310

公司想推嘅係 GPU 加 XPU 嘅分工模式：GPU 處理適合佢嘅工作，Raptor 則處理對 token 延遲要求高、記憶體存取密集嘅解碼工作。呢個定位係互補，而唔係聲稱全面取代 GPU。310

容量與頻寬：數字要點樣理解？

d-Matrix 曾提出，一個機櫃可配置最多 144 個 Raptor XPU，合計約 2.3 TB 3D 堆疊 DRAM，以及約 7.2 PB/s 聚合記憶體頻寬。3

以 2.3 TB 去除 144 計，約為每個 XPU 16 GB；以 7.2 PB/s 去除 144 計，約為每個 XPU 50 TB/s。不過，其他報道與公司公開資料亦提到每張 Raptor 卡具 32 GB 3D 堆疊 DRAM、100 TB/s 頻寬；因此，公開資料之間嘅單卡與整櫃規格未完全一致，實際產品配置仍要待 d-Matrix 日後正式規格確認。37

理論上，2.3 TB 容量足以容納超過四萬億個 4-bit 參數；但模型仲有 metadata、運行時狀態及其他系統開銷，真正可部署嘅模型大小會取決於模型格式與系統軟件，而唔可以只按原始參數位元數直接計算。3

產品時間表

Raptor 據報採用 4nm 運算 die 配合客製 DRAM，d-Matrix 預計在 2026 年底前完成 tape-out，首批機櫃整合系統目標在 2027 年第四季面世。104

對 NVIDIA 有咩意思？

從架構角度睇，NVLink Fusion 令客戶即使採用第三方專用加速器，仍可留喺 NVIDIA 的系統生態內：繼續使用其互連、交換器、CPU、DPU、SuperNIC、Ethernet 網絡同機櫃設計。呢個安排有助 NVIDIA 將競爭護城河由 GPU 本身延伸到整套 AI 基礎設施。

呢一點係根據平台架構與商業模式作出嘅分析，並非雙方披露嘅交易收益或經濟條款；合作財務細節目前未有公開。135

d-Matrix 背景

d-Matrix 在 2024 年 11 月推出 Corsair 推論加速器。其後融資包括 Microsoft M12 參與：報道指公司一輪 2.75 億美元 Series C 令估值達 20 億美元，而累計融資約為 4.5 億美元；兩個數字唔應混為一輪 4.5 億美元融資。26

ParaSail 曾表示，將 Corsair 與 NVIDIA GPU 結合可令推論速度最高提升十倍，但呢個屬於公司／客戶聲稱，並非獨立基準測試結果。12