d-Matrix kobler Raptor-chips direkte til Nvidias AI-racks med NVLink Fusion

d-Matrix vil bruge NVLink Fusion til at gøre den kommende Raptor-processor til en integreret del af Nvidias AI-factory-arkitektur på rackniveau. Det betyder, at virksomheden ikke blot leverer et separat inference-kort via PCIe: Raptor kan kobles direkte ind i Nvidias væskekølede NVL144/MGX-racks og arbejde sammen med Nvidias forbindelsesnet, netværk og systemkomponenter. 35

Sådan bliver Raptor sat ind i racket

Raptor skal implementere Nvidias NVLink Fusion-grænseflade og passe ind i Nvidias MGX-referencearkitektur, herunder NVL144-racks med væskekøling. NVLink er den højhastighedsforbindelse, der skalerer systemet op internt mellem chips og enheder i racket. Spectrum-X står for netværket, når kapaciteten skal skaleres ud over det enkelte rack. 35

Dermed kan d-Matrix levere selve XPU’en – en processor målrettet AI-inference – mens Nvidia fortsat leverer en stor del af infrastrukturen omkring den.

Hvad Nvidia stadig leverer

Et Raptor-baseret rack kan ifølge selskaberne bygges med Nvidias Vera-CPU’er, NVLink-switches, BlueField-4-DPU’er, ConnectX-9-SuperNIC’er og Spectrum-X Ethernet. D-Matrix bidrager altså med inference-acceleratoren, mens Nvidia leverer væsentlige dele af systemets I/O, netværk, styringslag og validerede rackdesign. 5

Det kan give d-Matrix en hurtigere og mindre risikofyldt vej fra specialudviklet chip til installationer i stor skala, fordi virksomheden kan bruge et eksisterende rackøkosystem. 4

Hvorfor hukommelse er centralt for inference

GPU’er er fortsat relevante til blandt andet prefill – den indledende behandling af prompten – og til generelle beregninger. d-Matrix retter derimod Raptor mod den efterfølgende, token-for-token-generering, ofte kaldet decode. Her skal modellen løbende hente vægte fra hukommelsen, og derfor bliver hukommelseskapacitet og -båndbredde særligt vigtige. 310

Målet er en pipeline, hvor GPU’er og XPU’er supplerer hinanden: GPU’en kan tage de opgaver, den er stærk til, mens Raptor skal reducere svartiden pr. token under generering. Det er altså ikke nødvendigvis et forsøg på at erstatte GPU’er fuldstændigt. 310

Kapacitet: 144 XPU’er i ét rack

d-Matrix’ rackmål er 144 Raptor-XPU’er med samlet 2,3 TB 3D-stacket DRAM og 7,2 PB/s i samlet hukommelsesbåndbredde. Det svarer matematisk til cirka 16 GB og 50 TB/s pr. XPU. I princippet er 2,3 TB nok til at rumme over fire billioner parametre ved 4-bit-præcision, men den reelle modelstørrelse afhænger også af metadata, runtime-tilstand og anden systemoverhead. 3

Raptor beskrives som et 4-nm compute-die kombineret med specialudviklet DRAM. d-Matrix forventer tape-out ved udgangen af 2026 og de første rackintegrerede systemer i 4. kvartal 2027. 104

Hvad Nvidia får ud af modellen

Samarbejdet betyder, at kunder kan vælge specialiseret tredjepartssilicium uden nødvendigvis at forlade Nvidias rackarkitektur. Nvidia kan fortsat levere forbindelsesfabric, switches, CPU’er, DPU’er, SuperNIC’er, Ethernet og den omkringliggende platform, selv når den primære inference-chip ikke er en Nvidia-GPU. Det er en vurdering ud fra arkitekturen og den kommercielle model – ikke en offentliggjort oplysning om samarbejdets økonomi. 35

d-Matrix indgår dermed i Nvidias bredere NVLink Fusion-indsats, hvor også blandt andre AWS, Arm, Intel, Fujitsu, MediaTek og Marvell er offentligt knyttet til økosystemet. Strategien er at gøre NVLink til en platformgrænseflade for heterogent AI-factory-hardware, snarere end kun en intern Nvidia-teknologi. 3

Baggrund og økonomi

d-Matrix lancerede inference-acceleratoren Corsair i november 2024. Selskabets finansiering omfatter blandt andet deltagelse fra Microsofts M12-fond. En Series C-runde på 275 mio. dollar værdisatte ifølge rapportering virksomheden til 2 mia. dollar, mens den samlede finansiering er opgjort til omkring 450 mio. dollar. De to tal må ikke læses som én finansieringsrunde på 450 mio. dollar. 26

ParaSail har oplyst, at kombinationen af Corsair og Nvidia-GPU’er kan give op til tidoblet inference-hastighed. Det er dog en virksomheds- eller kundepåstand og ikke en uafhængig benchmark. 12

De økonomiske vilkår for samarbejdet mellem d-Matrix og Nvidia er ikke offentliggjort. 1