d-Matrix porta Raptor nei rack Nvidia con NVLink Fusion

d-Matrix adotterà NVLink Fusion per fare di Raptor un componente nativo dei rack per AI di Nvidia, non una semplice scheda di inferenza collegata via PCIe. In pratica, la startup porta il proprio acceleratore XPU, incentrato sulla memoria, dentro l’architettura di sistema, la rete e il design rack di Nvidia. 35

Come Raptor entra nei rack Nvidia

Raptor implementerà l’interfaccia NVLink Fusion e sarà integrato nell’architettura di riferimento MGX/NVL144 a raffreddamento liquido di Nvidia. NVLink è il fabric ad alta banda e bassa latenza che collega i dispositivi nella configurazione scale-up, cioè all’interno di un sistema o rack; Spectrum-X è invece destinato al collegamento scale-out, ossia all’espansione della rete oltre il rack. 35

Il risultato è un’integrazione a livello rack: le XPU d-Matrix possono partecipare al sistema Nvidia senza imporre al cliente di progettare da zero interconnessioni, I/O e infrastruttura di rete.

Quali componenti Nvidia restano al centro del sistema

Nel rack basato su Raptor, d-Matrix fornisce l’XPU, mentre Nvidia continua a mettere a disposizione gran parte della piattaforma circostante. Il design di riferimento citato dalle aziende comprende:

• CPU Nvidia Vera;
• switch NVLink;
• DPU BlueField-4;
• ConnectX-9 SuperNIC;
• networking Ethernet Spectrum-X. 56

Questi elementi coprono collegamenti, rete, gestione dei flussi dati e integrazione rack. d-Matrix sta inoltre collaborando con Astera Labs, partner dell’ecosistema NVLink Fusion, per soluzioni di connettività personalizzate ad alto throughput. 6

Perché l’obiettivo è l’inferenza, non la sostituzione totale delle GPU

L’architettura d-Matrix è rivolta in particolare alla decodifica: la fase in cui un modello generativo produce l’output un token alla volta. In questo passaggio i pesi del modello devono essere letti ripetutamente, e quindi capacità e banda di memoria diventano aspetti cruciali per contenere la latenza.

Le GPU restano utili per il prefill — l’elaborazione iniziale del prompt — e per calcolo general-purpose. L’ipotesi di utilizzo è dunque una pipeline complementare GPU-XPU: GPU per alcuni stadi del carico, Raptor per una decodifica sensibile alla latenza. 310

Memoria, banda e scala del rack

d-Matrix indica come obiettivo un rack con fino a 144 XPU Raptor, connesse tramite un unico fabric NVLink all-to-all. La società parla di circa 2,3 TB di DRAM 3D-stacked e di circa 7,2 PB/s di banda di memoria aggregata per rack. 3

In linea teorica, 2,3 TB possono ospitare oltre quattro trilioni di parametri quantizzati a 4 bit. La dimensione effettivamente utilizzabile da un modello sarà però inferiore e dipenderà da metadati, stato di esecuzione, formato del modello e software di sistema.

Raptor è descritto come un progetto con die di calcolo a 4 nm abbinato a DRAM personalizzata. Il tape-out è previsto entro la fine del 2026, mentre i primi sistemi rack-integrati sono attesi nel quarto trimestre del 2027. 104

Cosa ci guadagna Nvidia

Per Nvidia, NVLink Fusion estende il valore della sua piattaforma anche quando il silicio principale per un determinato carico non è una GPU Nvidia. Il cliente può scegliere un acceleratore specializzato di terze parti, ma rimanere nell’ecosistema che comprende rack MGX, fabric NVLink, switch, CPU, DPU, NIC e rete Ethernet.

Questa lettura deriva dall’architettura annunciata e dal modello di piattaforma, non da termini economici resi pubblici: le aziende non hanno divulgato le condizioni finanziarie della collaborazione. 135

Il contesto per d-Matrix

d-Matrix aveva lanciato l’acceleratore per inferenza Corsair nel novembre 2024. In seguito ha raccolto un round Series C da 275 milioni di dollari, con valutazione di 2 miliardi di dollari; Bloomberg riporta finanziamenti cumulativi per circa 450 milioni di dollari, un dato che non va confuso con l’ammontare del singolo round. 2

La partnership inserisce d-Matrix nel più ampio programma NVLink Fusion, al quale sono stati associati pubblicamente anche AWS, Arm, Intel, Fujitsu, MediaTek e Marvell. L’obiettivo di Nvidia è rendere NVLink un’interfaccia di piattaforma per hardware AI eterogeneo, non solo per i propri acceleratori. 3