Nvidia e d-Matrix: la scommessa sull’inferenza AI a due motori

Per un servizio di IA generativa non conta solo quanto è buona una risposta: conta anche quanto rapidamente comincia ad arrivare e quanto fluida resta la generazione. La collaborazione annunciata a settembre 2026 tra Nvidia e d-Matrix mira proprio a questo: integrare direttamente i futuri XPU Raptor di d-Matrix nell’infrastruttura AI progettata da Nvidia, assegnando le diverse fasi di una richiesta al processore più adatto. 134

Il punto centrale è la complementarità, non la sostituzione. Il piano non prevede che Raptor rimpiazzi le GPU Nvidia: descrive invece un sistema eterogeneo in cui le GPU svolgono il prefill, la fase più intensiva dal punto di vista del calcolo, e gli acceleratori d-Matrix si occupano del decode, cioè della generazione ripetuta di un token alla volta, sensibile alla latenza. 45

Perché dividere prefill e decode può rendere l’IA più reattiva

Una richiesta a un modello linguistico di grandi dimensioni (LLM) ha esigenze diverse nelle sue fasi principali. Il prefill elabora prompt e contesto; il decode produce poi, uno alla volta, i token della risposta. d-Matrix posiziona la propria architettura di inferenza — incluso l’attuale prodotto Corsair — per il decode accanto alle GPU, che l’azienda considera particolarmente efficaci nei carichi a elevata intensità di calcolo. 26

Questa ripartizione può essere utile nei prodotti interattivi, dove il tempo che passa prima del token successivo è decisivo: assistenti per la programmazione, chatbot e servizi vocali. La piattaforma Raptor è pensata per quelli che d-Matrix definisce servizi premium di token con latenza estremamente bassa. 48

Separare le fasi, però, crea anche un problema di sistema: i processori devono scambiarsi dati con rapidità sufficiente, altrimenti la comunicazione rischia di annullare i vantaggi della specializzazione. Le scelte infrastrutturali dell’accordo servono a limitare proprio questo collo di bottiglia.

Il ruolo di NVLink Fusion, MGX e Spectrum-X

Raptor dovrebbe usare NVLink Fusion per entrare nel dominio NVLink di Nvidia dedicato allo scale-up, mentre Spectrum-X fornirebbe la rete di scale-out fra sistemi. Nvidia afferma che ciò offre a d-Matrix un percorso per collegare silicio personalizzato alla sua più ampia piattaforma di infrastruttura AI. 3

Il rack d-Matrix previsto si baserà sull’architettura di riferimento MGX di Nvidia e dovrebbe includere CPU Nvidia Vera, switch NVLink, DPU BlueField-4, SuperNIC ConnectX-9 e Ethernet Spectrum-X. 48

Per d-Matrix, il valore non è soltanto nell’interconnessione. Invece di validare autonomamente ogni elemento — server, rete, alimentazione, raffreddamento e catena di fornitura — attorno a un nuovo processore, l’azienda può sviluppare il prodotto in un ecosistema rack già validato. Nvidia presenta esplicitamente MGX e la propria piattaforma come una strada più rapida e meno rischiosa dal silicio personalizzato al deployment su larga scala. 3

In pratica, la partnership mira a fare di Raptor un componente distribuibile all’interno di una AI factory in stile Nvidia, anziché un’appliance di inferenza isolata.

Raptor: una scommessa su memoria e banda

d-Matrix ha delineato per Raptor una configurazione rack-scale ambiziosa: fino a 144 XPU per rack, 2,3 TB di DRAM impilata in 3D e 7,2 PB/s di banda di memoria aggregata. Secondo l’azienda, il progetto dovrebbe supportare modelli oltre i quattro trilioni di parametri con precisione a 4 bit. Sono specifiche previste, non risultati di prodotti già commercializzati e verificati in modo indipendente. 4

L’architettura riflette la tesi di d-Matrix: il decode degli LLM dipende in misura importante dallo spostamento dei dati in memoria e dalla banda disponibile. Il pacchetto 3D proposto per Raptor combina un chip di memoria DRAM e un chip di calcolo SRAM, proseguendo l’approccio dell’azienda centrato sulla memoria. 4

d-Matrix prevede il tape-out di Raptor entro la fine del 2026 e la disponibilità iniziale in un rack MGX nel quarto trimestre del 2027. Prima che i clienti possano misurare le prestazioni reali, restano quindi passaggi rilevanti: produzione, packaging, validazione del sistema e distribuzione su scala rack. 48

Perché Nvidia apre la piattaforma ad acceleratori esterni

Il ruolo di Nvidia è strategicamente significativo: la società consente a un XPU specializzato esterno di connettersi alla propria architettura rack e al proprio tessuto di rete, invece di imporre che ogni fase dell’inferenza venga eseguita da una GPU Nvidia.

Nvidia definisce la sua piattaforma «verticalmente integrata e orizzontalmente aperta»: può mantenere il valore della rete scale-up, del networking scale-out, dei progetti rack e dell’ecosistema, consentendo al tempo stesso la partecipazione di altri processori. 3

Questo amplia l’insieme di carichi di lavoro indirizzabili. Un cliente interessato a un acceleratore dedicato al decode potrebbe essere più propenso a restare su infrastruttura compatibile con Nvidia se quell’acceleratore può sfruttare NVLink Fusion, MGX e Spectrum-X. È dunque più corretto leggere l’intesa come complementarità controllata che come un passo indietro delle GPU: le GPU Nvidia restano centrali per addestramento, inferenza generalista e prefill ad alta intensità di calcolo; il dispositivo specializzato viene invece proposto per il decode. 145

Corsair e i finanziamenti: cosa raccontano della strategia commerciale

Raptor arriva dopo l’acceleratore per inferenza Corsair di d-Matrix. L’azienda sostiene che Corsair sia progettato per il decode nell’inferenza disaggregata e per lavorare insieme alle GPU, non per rimpiazzarle. 26

d-Matrix ha diffuso dichiarazioni su prestazioni, costi ed efficienza energetica dei sistemi ibridi basati su Corsair. Tali dati, però, vanno considerati affermazioni dell’azienda finché non saranno disponibili benchmark indipendenti e riproducibili. Le fonti disponibili per questo annuncio non dimostrano un miglioramento universale per ogni modello, dimensione di batch o configurazione di deployment. 2528

La società ha raccolto 275 milioni di dollari in un round di Serie C con una valutazione riportata di 2 miliardi di dollari, portando il finanziamento complessivo dichiarato a 450 milioni di dollari; fra gli investitori figura M12, il fondo di venture capital di Microsoft. 2130 Reuters ha inoltre riferito che Microsoft aveva sostenuto d-Matrix in un round del 2023 e che l’azienda aveva spedito il suo primo chip AI nel novembre 2024. 1

Questi passaggi suggeriscono un’evoluzione: d-Matrix punta a superare la proposta di un singolo prodotto di inferenza per arrivare a una roadmap più ampia, su scala rack. L’integrazione con Nvidia può rendere il percorso più credibile per i clienti che già acquistano o gestiscono infrastrutture basate su Nvidia.

I punti ancora da chiarire

I termini finanziari dell’accordo con Nvidia non sono stati divulgati. 1 Dall’annuncio pubblico non si può quindi stabilire se l’intesa comprenda licenze, impegni congiunti di ingegneria, acquisti di volumi, condivisione dei ricavi o un investimento di Nvidia.

La conclusione più ampia, invece, è chiara: le due aziende stanno pianificando un mercato dell’inferenza in cui un solo tipo di processore non deve necessariamente eseguire ogni fase di una richiesta a un LLM. d-Matrix ottiene una via d’accesso a AI factory compatibili con Nvidia; Nvidia aggiunge un’opzione specializzata per il decode, integrabile con la propria rete e piattaforma rack. Se la strategia produrrà davvero minore latenza o una migliore economia operativa su larga scala dipenderà dall’hardware Raptor, dall’orchestrazione software e dai benchmark dei clienti dopo la disponibilità prevista nel 2027. 348