d-Matrix napojuje čipy Raptor do AI racků Nvidie přes NVLink Fusion

d-Matrix chce s technologií NVLink Fusion udělat z připravovaného akcelerátoru Raptor přímou součást rackové architektury Nvidie, nikoli jen další samostatnou inference kartu připojenou přes PCIe. Zákazník tak může nasadit paměťově orientovaný čip d-Matrix pro úlohy citlivé na odezvu a současně využít propojovací síť, správu a konstrukci datacentra od Nvidie. 35

Jak se Raptor dostane do racku Nvidia

Raptor má implementovat rozhraní NVLink Fusion a zapadnout do kapalinou chlazené referenční architektury Nvidia NVL144/MGX. NVLink je vysokorychlostní, nízkolatenční fabric pro škálování výkonu mezi zařízeními v systému; Spectrum-X pak zajišťuje síťové škálování za hranice racku. 35

Nejde tedy jen o fyzické zasunutí čipu do serveru. NVLink Fusion má propojit vlastní křemík d-Matrix s ověřeným rackovým ekosystémem Nvidia, což podle Nvidie zkracuje a snižuje riziko cesty od vlastního čipu k nasazení ve velkém měřítku. 4

Co z platformy dodá Nvidia

Rack s Raptorem může zahrnovat procesory Nvidia Vera, přepínače NVLink, datová procesorová zařízení BlueField-4 DPU, síťové karty ConnectX-9 SuperNIC a ethernetovou síť Spectrum-X. d-Matrix tak přispívá vlastním XPU pro inferenci, kdežto Nvidia nadále poskytuje značnou část systémového základu: I/O, síťování, správu a referenční návrh racku. 56

Právě to je podstatou spolupráce: specializovaný akcelerátor může být součástí „AI továrny“ Nvidie, aniž by zákazník skládal celý serverový a síťový systém od nuly.

Proč se d-Matrix zaměřuje na dekódování tokenů

GPU zůstávají vhodná pro prefill – počáteční zpracování vstupního kontextu modelu – i pro obecné výpočty. d-Matrix míří hlavně na následnou fázi decode, kdy generativní model vytváří token po tokenu a opakovaně čte své váhy z paměti. V této části inference jsou zvlášť důležité kapacita a propustnost paměti.

Záměrem proto není nutně plošně nahradit GPU. D-Matrix popisuje Raptor jako doplněk pro pipeline GPU–XPU, který by mohl snížit latenci při generování tokenů. 310

Paměť a propustnost: co firma slibuje

d-Matrix uvádí cíl až 144 Raptor XPU v jednom racku, s celkovou kapacitou 2,3 TB 3D vrstvené DRAM a agregovanou propustností paměti 7,2 PB/s. Podle této deklarace by kapacita v principu stačila na model s více než čtyřmi biliony parametrů ve 4bitové kvantizaci. Skutečně nasaditelná velikost modelu ale bude nižší či jiná podle formátu modelu, metadat, běhového stavu a režie systémového softwaru. 3

Ve zveřejněných popisech Raptoru se objevuje 4nm výpočetní čip kombinovaný s vlastní DRAM. d-Matrix očekává tape-out do konce roku 2026 a první rackově integrované systémy ve 4. čtvrtletí 2027. 104

Co z toho má Nvidia

Finanční podmínky spolupráce firmy nezveřejnily. 1 Z architektury a obchodního modelu však plyne strategický efekt: pokud zákazník zvolí specializovaný akcelerátor třetí strany, nemusí tím opustit infrastrukturu Nvidie. Nvidia může dál dodávat rackovou architekturu, fabric, switche, CPU, DPU, SuperNIC, Ethernet i navazující softwarovou infrastrukturu. Jde o interpretaci uspořádání platformy, nikoli o zveřejněné vyjádření k ekonomice dohody. 35

d-Matrix se tím připojuje k širšímu programu NVLink Fusion, s nímž jsou veřejně spojováni také AWS, Arm, Intel, Fujitsu, MediaTek a Marvell. Cílem je proměnit NVLink v rozhraní pro heterogenní hardware v AI datacentrech – tedy rozšířit roli Nvidie z dodavatele akcelerátorů na dodavatele okolní systémové infrastruktury. 3

Kontext d-Matrix

Firma uvedla inference akcelerátor Corsair v listopadu 2024. Do jejího financování se zapojil fond M12 společnosti Microsoft; podle dostupného zpravodajství získala d-Matrix v kole Series C 275 milionů dolarů při ocenění 2 miliardy dolarů. Některé zprávy uvádějí zhruba 450 milionů dolarů celkového financování, což není totéž jako jedno investiční kolo ve výši 450 milionů dolarů. 26

Společnost ParaSail uvedla až desetinásobné zrychlení inference při kombinaci Corsairu s GPU Nvidie. Jde ale o tvrzení firmy či zákazníka, nikoli o nezávislý benchmark. 12