NVIDIA 與 d-Matrix 如何用「分工式推論」加速 AI 回應

生成式 AI 服務愈來愈以「多久開始回答、能否持續順暢輸出」作為競爭指標。NVIDIA 與 d-Matrix 在 2026 年 9 月公布的合作，正是針對這項需求：把 d-Matrix 即將推出的 Raptor 推論 XPU 直接納入 NVIDIA 設計的 AI 基礎設施，讓同一個機架能把大型語言模型（LLM）請求的不同階段，分配給最適合的處理器。 134

重點在於互補，而非取代。這不是 Raptor 要替代 NVIDIA GPU 的公告；雙方規劃的是異質運算系統：GPU 負責運算量高的 prefill（預填），d-Matrix 加速器則聚焦在延遲敏感、逐一生成輸出 token 的 decode（解碼） 階段。 45

為何拆分 prefill 與 decode，有機會讓回應更快？

一次 LLM 請求包含不同的效能需求。Prefill 負責處理使用者提示詞與既有上下文；decode 則反覆產生下一個 token。d-Matrix 將其推論架構（包括現有的 Corsair）定位於與 GPU 協作執行 decode，而 GPU 則適合處理運算密集的工作。 26

這種分工特別適用於重視「下一個 token 多快出現」的互動式產品，例如程式開發助理、聊天應用程式與語音服務。Raptor 平台鎖定的是 d-Matrix 所稱的高階、超低延遲 token 服務。 48

不過，拆開兩個工作階段也會帶來系統層面的難題：處理器間必須足夠快速地交換資料，否則通訊延遲可能抵銷專業分工帶來的效益。此次合作採用的互連與基礎設施，正是為了處理這個瓶頸。

NVLink Fusion、MGX 與 Spectrum-X 分別扮演什麼角色？

Raptor 規劃透過 NVLink Fusion 接入 NVIDIA 的 NVLink scale-up 網域，而系統與系統之間的 scale-out 網路則由 Spectrum-X 提供。NVIDIA 表示，這讓 d-Matrix 的客製化晶片能連接至其更廣泛的 AI 基礎設施平台。 3

d-Matrix 規劃中的機架以 NVIDIA 的 MGX 參考架構為基礎，預計整合 NVIDIA Vera CPU、NVLink 交換器、BlueField-4 DPU、ConnectX-9 SuperNIC 與 Spectrum-X Ethernet。 48

這不只是互連技術的問題。對 d-Matrix 而言，採用 MGX 生態系意味著不必從零開始，逐一驗證新處理器所需的伺服器、網路、電力、散熱與供應鏈配置；它能朝既有且已驗證的機架生態系建置。NVIDIA 也將 MGX 與其整體平台定位為：讓客製化晶片能以較低風險、更快走向大規模部署的途徑。 3

換句話說，這項合作想讓 Raptor 成為 NVIDIA 風格 AI 工廠的一部分，而不是一台孤立的推論設備。

Raptor 的規劃規模，是一場記憶體與頻寬的押注

d-Matrix 對 Raptor 提出相當積極的機架級規格：每個機架最多 144 顆 XPU、2.3 TB 的 3D 堆疊 DRAM，以及 7.2 PB/s 的總記憶體頻寬。公司表示，此設計目標是支援超過 4 兆參數、4 位元精度的模型。這些仍是規劃規格，並非已獨立驗證的量產成績。 4

這套架構反映 d-Matrix 的判斷：LLM 的 decode 階段高度受記憶體資料搬移與可用頻寬影響。Raptor 規劃的 3D 封裝會結合 DRAM 記憶體晶片與 SRAM 運算晶片，延續 d-Matrix 以記憶體為核心的設計方向。 4

d-Matrix 表示，Raptor 預計在 2026 年底前完成 tape-out（晶片設計定版送交製造），整合至 MGX 機架的初步供應時間則預計落在 2027 年第四季。這代表後續仍有不少執行工作：晶片製造、封裝、系統驗證與機架級部署都必須順利完成，客戶才能評估真實世界的效能。 48

NVIDIA 為何要向第三方加速器開放平台？

NVIDIA 在這項合作中的角色值得注意。公司允許外部的專用 XPU 接入其機架架構與網路織網，而非要求每一個推論步驟都必須由 NVIDIA GPU 執行。

NVIDIA 將其 AI 平台形容為「垂直整合、水平開放」：一方面保留 scale-up 互連、scale-out 網路、機架設計與生態系的價值；另一方面也讓其他處理器能加入。 3

這能擴大平台可涵蓋的工作負載。若客戶需要 decode 導向的專用加速器，而該加速器又能使用 NVLink Fusion、MGX 與 Spectrum-X，客戶就更可能留在與 NVIDIA 相容的基礎設施內。這比較像是受控的互補，而不是 GPU 退場：NVIDIA GPU 仍是通用型訓練、推論及運算密集 prefill 的核心，專用裝置則被安排處理 decode。 145

Corsair 與融資透露的商業策略

Raptor 是 d-Matrix 現有 Corsair 推論加速器之後的新一代產品。公司表示，Corsair 專為解耦式推論中的 decode 階段設計，定位是與 GPU 協同運作，而不是取代 GPU。 26

d-Matrix 曾公開 Corsair 混合式系統在效能、成本與能源上的主張，但在有可獨立重現的基準測試細節之前，這些數據仍應視為公司說法。現有資料不足以證明它能在所有模型、批次大小或部署組態中帶來普遍的效能優勢。 2528

公司完成 2.75 億美元 C 輪融資，估值據報為 20 億美元，累計募資額據報達 4.5 億美元；投資方包括 M12，也就是微軟的創投基金。 2130 路透社另報導，微軟曾參與 d-Matrix 在 2023 年的一輪融資，而 d-Matrix 已在 2024 年 11 月出貨首款 AI 晶片。 1

這些里程碑顯示，d-Matrix 正從單一推論產品的訴求，走向更完整的機架級產品藍圖。與 NVIDIA 的整合，也可能讓已採購或營運 NVIDIA 基礎設施的客戶，更願意評估其方案。

仍未揭露的關鍵

NVIDIA 與 d-Matrix 並未公開這項協議的財務條款。 1 因此，外界無法從現有公告判斷其中是否包含授權費、共同工程承諾、採購量承諾、營收分成，或 NVIDIA 的直接投資。

但整體方向已相當明確：兩家公司都在為一個不再由單一處理器完成所有 LLM 請求步驟的推論市場布局。d-Matrix 獲得進入 NVIDIA 相容 AI 工廠的途徑；NVIDIA 則多了一個可與其網路及機架平台整合的專用 decode 選項。這套策略能否在大規模部署下真正降低延遲、改善經濟效益，仍取決於 Raptor 最終硬體、軟體調度能力，以及 2027 年預計供應後的客戶實測結果。 348