d-Matrix 與 NVIDIA 的 NVLink Fusion 合作,核心並不是把 Raptor 當成一張外接推論卡來賣,而是讓它能直接納入 NVIDIA 的機櫃級 AI 基礎設施。換句話說,d-Matrix 希望以專攻記憶體存取的推論處理器,搭配 NVIDIA 已建立的系統設計、高速互連與網路平台,走向大規模部署。
3
10
NVLink Fusion 為 Raptor 改變了什麼?
NVLink Fusion 是 NVIDIA 讓合作夥伴晶片接入其 AI 基礎設施的平台。對 d-Matrix 而言,這代表 Raptor 可連接 NVIDIA 的 NVLink scale-up 網路、MGX 機櫃架構,以及 Spectrum-X scale-out 網路。簡單理解,scale-up 著重同一系統或機櫃內的高速協作,scale-out 則負責跨機櫃、跨節點的擴展。
NVIDIA 表示,合作夥伴可利用已驗證的 MGX 機櫃生態系,避免自行從零整合所有伺服器、互連與網路層,因而降低導入風險並加快從客製晶片走向大規模部署的速度。
3
實務上,Raptor 預計成為 MGX 參考設計機櫃的一部分。這與單獨銷售加速器卡的差別在於:它將置身於具備共用高頻寬互連與明確基礎設施配置的機櫃級系統中。
3
10
一套 Raptor 機櫃可用到哪些 NVIDIA 元件?
d-Matrix 公布的規劃,是在 NVIDIA 最新機櫃參考架構中整合下列元件:
- Vera CPU:機櫃內的主機運算
- NVLink 交換器:scale-up 高速互連網路
- BlueField-4 DPU:資料處理與基礎設施卸載功能
- ConnectX-9 SuperNIC:高效能網路 I/O
- Spectrum-X Ethernet:延伸至機櫃外的 scale-out 網路
10
此外,d-Matrix 也正與 Astera Labs 合作開發客製連接方案,以支援系統內的高吞吐量、順暢資料流。
10
這個分工相當清楚:d-Matrix 提供推論 XPU;NVIDIA 則提供大部分周邊平台,包括參考架構、scale-up 互連、網路元件,以及整體 AI 基礎設施生態系。
3
10
為何瞄準低延遲推論?
Raptor 的定位是重視 token 生成延遲的推論工作負載。生成式 AI 在逐詞生成內容時,會反覆讀取模型權重;因此,偏重記憶體的加速器設計,可能特別適合這類場景。NVIDIA 的平台則提供在機櫃規模運作所需的通訊與部署基礎。
這項合作不代表 Raptor 要在所有 AI 工作中取代 NVIDIA GPU。較合理的理解是:未來可在同一套 NVIDIA 基礎設施中,讓專用推論晶片與既有平台共存。NVIDIA 對 NVLink Fusion 的定位,本來就是讓合作夥伴晶片與其機櫃級系統、網路技術結合,建構半客製化 AI 基礎設施。
26
144 顆 XPU 機櫃:2.3 TB 記憶體、7.2 PB/s 頻寬
d-Matrix 表示,預計提供最多配備 144 顆 Raptor 加速器的系統,並以單一全互連 NVLink 網路連接。公司提出的機櫃級目標為 2.3 TB 的 3D 堆疊 DRAM、7.2 PB/s 總記憶體頻寬,並稱可支援逾 4 兆參數、4-bit 精度的模型。
2
4
不過,這些數字仍屬前瞻性產品目標。公開報導中對單一加速器的記憶體與頻寬描述並不完全一致;最終每顆裝置的配置與實際可部署模型容量,仍須待產品更接近推出時確認。模型執行期記憶體、模型中繼資料、量化格式與系統軟體,都會影響真正可用的模型規模。
時程:2026 年底 tape-out,2027 年第 4 季整合系統
Raptor 的設計據稱結合 4 奈米運算晶粒與客製化 DRAM。d-Matrix 預期在 2026 年底前完成 tape-out,首批整合進機櫃的系統則預計於 2027 年第 4 季推出。
10
14
因此,這是一項跨多年的產品路線圖合作,而不是已經出貨的共同機櫃產品。
12
NVIDIA 為何要讓第三方加速器進來?
若客戶希望採用特製晶片,開放機櫃級平台可讓 NVIDIA 在不要求客戶放棄其既有基礎設施堆疊的情況下,繼續服務這些需求。即使推論處理器由 d-Matrix 提供,規劃中的系統仍可使用 NVIDIA 的 NVLink 互連、CPU、交換器、DPU、SuperNIC、乙太網路與 MGX 架構。
3
10
這是從系統架構得出的商業意涵,不是雙方披露的營收分成或交易條款;兩家公司並未公開合作的財務條件。
1
Raptor 在 NVLink Fusion 生態系中的位置
NVIDIA 推出 NVLink Fusion,是為了與合作夥伴共同建立半客製化 AI 基礎設施。其最初公開的合作夥伴包括 MediaTek、Marvell、Alchip Technologies、Astera Labs、Synopsys 與 Cadence;NVIDIA 也表示,Fujitsu 與 Qualcomm 的 CPU 可透過該平台與 NVIDIA GPU 整合。
26
d-Matrix 的加入,將這個模式延伸到偏重推論的 XPU。更重要的訊號不只是單一晶片,而是機櫃架構正朝向更模組化發展:客戶未來可能可混用客製運算晶片與 NVIDIA 的互連、網路基礎設施,而不必只能在「全 NVIDIA」與「另起爐灶的平台」之間二選一。
d-Matrix 的背景
d-Matrix 在 2024 年 11 月推出 Corsair 推論加速器。2025 年 11 月,該公司表示完成 2.75 億美元 C 輪募資、估值 20 億美元,累計募資達 4.5 億美元;Microsoft 旗下創投基金 M12 是投資人之一。
28
39
Raptor 與 NVIDIA 的合作,代表 d-Matrix 正嘗試從離散式推論加速器,走向可在機櫃規模部署的模式。其宣稱的延遲、容量與頻寬優勢能否轉化為實際生產部署,仍將取決於最終晶片、軟體整合,以及 2027 年系統上市後的實測表現。