Raptor d-Matrix ma trafić bezpośrednio do szaf NVIDIA dzięki NVLink Fusion

Najważniejsza zmiana polega na tym, że d-Matrix nie zamierza po prostu podłączyć Raptora jako zewnętrznej karty PCIe do serwera z GPU. Dzięki NVIDIA NVLink Fusion jego przyszły akcelerator inferencji Raptor XPU ma zostać włączony bezpośrednio do architektury systemów NVIDIA: chłodzonych cieczą szaf opartych na MGX/NVL144. To pozwala połączyć pamięciocentryczny układ d-Matrix z gotową „instalacją” infrastrukturalną NVIDIA — magistralą scale-up, siecią, wejściem/wyjściem, zarządzaniem i projektem całego racka. 35

Jak Raptor trafia do szafy NVIDIA

Raptor ma implementować interfejs NVLink Fusion i współpracować z referencyjną architekturą NVIDIA MGX. NVLink tworzy szybkie, niskolatencyjne połączenie typu scale-up między urządzeniami w systemie, natomiast Spectrum-X zapewnia sieć scale-out, czyli rozszerzanie komunikacji poza pojedynczą szafę. 35

W praktyce oznacza to, że d-Matrix dostarcza własny układ XPU, lecz nie musi samodzielnie budować całej platformy serwerowej. Projekt racka może obejmować procesory NVIDIA Vera, przełączniki NVLink, jednostki DPU BlueField-4, karty sieciowe ConnectX-9 SuperNIC oraz Ethernet Spectrum-X. 56

Dlaczego chodzi przede wszystkim o inferencję

d-Matrix pozycjonuje Raptora jako układ do etapu decode — generowania kolejnych tokenów przez model językowy. W tym obciążeniu model wielokrotnie odczytuje wagi z pamięci, więc pojemność oraz przepustowość pamięci są szczególnie istotne dla opóźnienia pojedynczego tokenu.

GPU wciąż mogą być przydatne przy etapie prefill, czyli początkowym przetwarzaniu dużego promptu, a także w zadaniach ogólnego przeznaczenia. Plan d-Matrix zakłada więc raczej komplementarny potok GPU–XPU niż pełne zastąpienie GPU. 310

Pamięć i skala systemu

Według deklaracji d-Matrix docelowy rack ma mieścić do 144 akceleratorów Raptor XPU, oferując łącznie około 2,3 TB pamięci 3D-stacked DRAM i 7,2 PB/s szczytowej zagregowanej przepustowości pamięci. Firma wskazuje, że taka pojemność mogłaby zasadniczo pomieścić model przekraczający cztery biliony parametrów przy kwantyzacji 4-bitowej. Rzeczywisty rozmiar możliwego do wdrożenia modelu będzie jednak zależeć również od metadanych, stanu wykonywania i narzędzi programowych. 3

Raptor jest opisywany jako konstrukcja z 4-nanometrowym układem obliczeniowym połączonym z niestandardową pamięcią DRAM. d-Matrix oczekuje tape-outu do końca 2026 r., zaś pierwszych zintegrowanych systemów rackowych w IV kwartale 2027 r. 104

Co zyskuje NVIDIA

Dla NVIDIA NVLink Fusion jest sposobem na utrzymanie centralnej roli w systemie nawet wtedy, gdy głównym układem inferencyjnym nie jest GPU NVIDIA. Klient wybierający wyspecjalizowany XPU d-Matrix nadal może korzystać z architektury racka NVIDIA, jej połączeń NVLink, przełączników, CPU, DPU, kart sieciowych, Ethernetu i otaczającej infrastruktury.

To wniosek wynikający z architektury i modelu współpracy, a nie ujawniona informacja o ekonomice umowy — jej warunków finansowych firmy nie podały. 135

Szersze znaczenie partnerstwa

d-Matrix dołącza do ekosystemu NVLink Fusion, z którym publicznie wiązani są także m.in. AWS, Arm, Intel, Fujitsu, MediaTek i Marvell. Strategia NVIDIA polega na uczynieniu NVLink interfejsem platformowym dla heterogenicznego sprzętu „fabryk AI”, a nie wyłącznie technologią łączenia własnych akceleratorów. 3

Firma d-Matrix wprowadziła poprzedni akcelerator inferencyjny Corsair w listopadzie 2024 r. W późniejszym finansowaniu uczestniczył fundusz M12 należący do Microsoftu. Runda Series C o wartości 275 mln dolarów wyceniła firmę na 2 mld dolarów, podczas gdy łączne finansowanie d-Matrix opisywano jako około 450 mln dolarów — nie należy traktować tej drugiej kwoty jako wartości pojedynczej rundy. 26

ParaSail informował o nawet dziesięciokrotnym wzroście szybkości inferencji po połączeniu Corsaira z GPU NVIDIA, ale jest to deklaracja firmy lub klienta, a nie niezależny benchmark. 12