重點:Raptor 會成為機架系統入面嘅一部分
d-Matrix 同 NVIDIA 的 NVLink Fusion 合作,核心唔係單純「插一張推理卡」咁簡單,而係要令下一代 Raptor XPU 成為 NVIDIA 機架級 AI 基礎設施的一部分。換句話講,Raptor 計劃直接接入 NVIDIA 的高速互連、MGX 機架參考架構及網絡系統,而唔係只循傳統伺服器擴充通道運作。
3
10
對要大規模部署生成式 AI 推理嘅客戶而言,呢個安排意味住:d-Matrix 可以主攻記憶體導向、重視輸出 token 延遲的推理處理器;同時沿用 NVIDIA 已建立的機架、互連與網絡生態。
NVLink Fusion 為 Raptor 打開咩通道?
NVLink Fusion 是 NVIDIA 用來讓合作夥伴自訂晶片接入其 AI 基礎設施的平台。d-Matrix 計劃將 Raptor 接上以下 NVIDIA 技術層:
- NVLink scale-up 網絡:用於機架內的高速擴展互連
- MGX 機架架構:已驗證的模組化機架參考設計
- Spectrum-X scale-out 網絡:用於跨機架、向外擴展的 Ethernet 網絡
NVIDIA 表示,合作夥伴採用這種模式,可利用成熟、經驗證的機架生態,毋須由零開始自行砌齊每一層系統,因此可降低大規模部署的整合風險並加快進度。
3
最實際的分別在於:Raptor 的定位會由一枚獨立賣出的加速器,變成 MGX 參考設計機架中的組件,與共享的高頻寬 fabric 及既定基礎設施協同運作。
3
10
機架內會用到哪些 NVIDIA 元件?
d-Matrix 公布的 Raptor 系統設計會採用以下 NVIDIA 平台元件:
- Vera CPU:機架主機運算
- NVLink 交換器:負責 scale-up 高速互連
- BlueField-4 DPU:處理資料處理及基礎設施工作負載
- ConnectX-9 SuperNIC:提供高效能網絡 I/O
- Spectrum-X Ethernet:負責機架外的 scale-out 網絡連接
10
d-Matrix 亦正與 Astera Labs 合作,開發配合系統的自訂連接方案,以支援高吞吐量資料流。
10
分工相當清楚:d-Matrix 提供以推理為主的 XPU;NVIDIA 則提供參考架構、scale-up 互連、網絡元件,以及更廣泛的 AI 基礎設施平台。
3
10
點解特別針對低延遲推理?
Raptor 的目標是對 token 生成延遲敏感的推理工作負載。大型語言模型生成回應時,會反覆存取模型權重;因此,記憶體導向的加速器在這類工作上可能特別重要,而 NVIDIA 的平台則提供將這套設計擴至機架規模所需的通訊及部署基礎。
這並不代表 Raptor 會全面取代 NVIDIA GPU。更合理的理解是,NVLink Fusion 為異質系統提供了一條整合路徑:專門化推理晶片可與 NVIDIA 的基礎設施共存。NVIDIA 對 NVLink Fusion 的定位,本來就是讓合作夥伴的晶片配合其機架級系統及網絡,建立半客製化 AI 基礎設施。
26
144 枚 XPU 機架:容量與頻寬目標
d-Matrix 表示,預計可提供最多 144 枚 Raptor 加速器、並由單一全互連 NVLink fabric 連接的系統。公司公布的機架級目標包括:
- 2.3TB 3D 堆疊 DRAM
- 7.2PB/s 總記憶體頻寬
- 目標支援超過 4 萬億個參數、4-bit 精度的模型
2
4
不過,以上是產品路線圖的前瞻指標。公開報道對每枚加速器的記憶體容量和頻寬描述存在差異;最終的單卡配置及實際可部署模型容量,仍要待產品接近推出時確認。運行時記憶體、模型 metadata、量化格式及系統軟件,都會影響實際能放入系統的模型大小。
時間表:2026 年流片,2027 年底整合機架
Raptor 被描述為結合 4nm 運算 die 與自訂 DRAM 的設計。d-Matrix 預期在 2026 年年底前完成 tape-out(流片),首批整合至機架的系統則預計在 2027 年第四季 推出。
10
14
所以,這是一項跨多年的產品路線圖合作,並非現時已經出貨的聯合機架產品。
12
NVIDIA 點解會開放平台畀第三方加速器?
讓合作夥伴晶片接入機架級平台,NVIDIA 可服務想採用專用晶片、但又不想離開 NVIDIA 基礎設施堆疊的客戶。即使推理處理器由 d-Matrix 提供,整套擬議系統仍可使用 NVIDIA 的 NVLink fabric、CPU、交換器、DPU、SuperNIC、Ethernet 網絡及 MGX 架構。
3
10
從架構上推論,這有助 NVIDIA 將價值延伸至 GPU 以外的機架、互連及網絡層;但這並不等於雙方已披露任何收入分成或商業條款。交易財務細節並未公開。
1
NVLink Fusion 生態中的 d-Matrix
NVIDIA 在推出 NVLink Fusion 時,首批公開合作夥伴包括 MediaTek、Marvell、Alchip Technologies、Astera Labs、Synopsys 及 Cadence;公司亦表示 Fujitsu 和 Qualcomm 的 CPU 可透過該平台與 NVIDIA GPU 整合。
26
d-Matrix 的加入,是將這個模式延伸到推理導向 XPU。較大的意義不只是一枚 Raptor 晶片,而是機架設計更趨模組化:客戶日後有機會將自訂運算晶片,配搭 NVIDIA 的互連與網絡基礎設施,而毋須在「全 NVIDIA」與「完全分離的平台」之間二選一。
d-Matrix 目前走到哪一步?
d-Matrix 在 2024 年 11 月推出 Corsair 推理加速器。到 2025 年 11 月,公司表示完成 2.75 億美元 C 輪融資、估值 20 億美元,累計融資達 4.5 億美元;Microsoft 旗下 M12 是投資者之一。
28
39
Raptor 與 NVLink Fusion 的合作,代表 d-Matrix 嘗試由獨立推理加速器,走向可在機架級部署的系統模式。其宣稱的延遲、容量及頻寬優勢能否真正轉化成生產環境部署,仍取決於最終晶片、軟件整合,以及 2027 年系統面世後的實測表現。