d-Matrix maakt Raptor onderdeel van Nvidia’s rack-scale AI-infrastructuur

NVLink Fusion moet van d-Matrix’ volgende Raptor-XPU geen losse inference-kaart maken, maar een volwaardig onderdeel van een Nvidia AI-factory op rackniveau. Voor afnemers betekent dat: gespecialiseerde, geheugengerichte hardware voor snelle AI-inference, ingebed in Nvidia’s bestaande interconnect, netwerklaag en rackontwerp. 35

Zo komt Raptor in het Nvidia-rack

Raptor gaat Nvidia’s NVLink Fusion-interface implementeren en wordt opgenomen in Nvidia’s vloeistofgekoelde NVL144/MGX-referentiearchitectuur. NVLink verzorgt daarbij de snelle, lage-latencyverbinding tussen apparaten binnen de scale-up-omgeving. Voor verbindingen buiten het rack is Spectrum-X bedoeld als scale-out-netwerk. 35

d-Matrix levert dus de XPU — een processor voor AI-inference — terwijl Nvidia een groot deel van de onderliggende systeeminfrastructuur levert. Een Raptor-rack kan onder meer bestaan uit Nvidia Vera-CPU’s, NVLink-switches, BlueField-4-DPU’s, ConnectX-9-SuperNICs en Spectrum-X Ethernet. Dat omvat de rekeninfrastructuur, I/O, netwerkverbindingen, beheerfuncties en het gevalideerde referentieontwerp voor het rack. 56

Waarom d-Matrix zich op inference richt

GPU’s blijven relevant voor onder meer de zogeheten prefill-fase — waarin een model een volledige invoer verwerkt — en voor algemene rekentaken. d-Matrix richt Raptor vooral op de daaropvolgende decode-fase, waarin een taalmodel token voor token output genereert. Omdat daarbij modelgewichten voortdurend opnieuw worden gelezen, zijn geheugencapaciteit en geheugenbandbreedte bijzonder belangrijk.

De inzet is daarom een complementaire GPU-XPU-pijplijn: GPU’s hoeven niet volledig te worden vervangen, maar Raptor moet de tokenlatentie bij inference verlagen. 310

Capaciteit, bandbreedte en planning

d-Matrix noemt als doel voor een rack maximaal 144 Raptor-XPU’s, met in totaal circa 2,3 TB 3D-gestapeld DRAM en 7,2 PB/s aan geaggregeerde geheugenbandbreedte. Volgens het bedrijf zou die capaciteit in theorie ruimte bieden aan modellen met meer dan vier biljoen parameters in 4-bitprecisie. In de praktijk hangt de bruikbare modelgrootte ook af van metadata, runtime-status, het modelformaat en software-overhead. 3

Raptor is beschreven als een 4-nm-compute-die gecombineerd met aangepast DRAM. d-Matrix verwacht tape-out tegen eind 2026; de eerste in racks geïntegreerde systemen staan gepland voor het vierde kwartaal van 2027. 104

Waarom dit ook strategisch belangrijk is voor Nvidia

Voor Nvidia kan NVLink Fusion ervoor zorgen dat klanten die voor gespecialiseerde chips van derden kiezen, toch binnen Nvidia’s infrastructuurecosysteem blijven. Nvidia kan in dat scenario nog steeds de rackarchitectuur, fabric, switches, CPU’s, DPU’s, SuperNICs, Ethernet en aanverwante infrastructuur leveren. Dat is een gevolgtrekking uit de architectuur en het commerciële model, niet een bekendgemaakt detail over de financiële afspraken tussen de partijen. 35

d-Matrix sluit zich daarmee aan bij Nvidia’s bredere NVLink Fusion-initiatief, waar ook partners als AWS, Arm, Intel, Fujitsu, MediaTek en Marvell mee worden geassocieerd. Het doel is NVLink te verbreden van een interne Nvidia-interconnect naar een platforminterface voor heterogene AI-hardware. 3

Bedrijf en financiering

d-Matrix bracht zijn Corsair-inferenceversneller in november 2024 uit. Later haalde het bedrijf volgens berichtgeving 275 miljoen dollar op in een Series C, bij een waardering van 2 miljard dollar. De totale financiering werd daarbij op ongeveer 450 miljoen dollar geschat; dat is dus niet hetzelfde als één financieringsronde van 450 miljoen dollar. 2

De financiële voorwaarden van de samenwerking met Nvidia zijn niet bekendgemaakt. 1