Comment d-Matrix intègre ses puces Raptor dans l’infrastructure IA de Nvidia

d-Matrix ne présente pas Raptor comme une carte d’inférence PCIe isolée : avec NVLink Fusion, ses futurs XPU — des accélérateurs spécialisés dans l’inférence — doivent devenir des composants intégrés à l’architecture de racks d’IA de Nvidia. L’enjeu est de proposer une puce centrée sur la mémoire pour les charges à très faible latence, tout en conservant l’interconnexion, le réseau, les composants d’E/S et la conception de rack de Nvidia. 35

Comment Raptor s’intègre aux racks Nvidia

Raptor doit implémenter l’interface NVLink Fusion et prendre place dans l’architecture de référence MGX/NVL144, refroidie par liquide, de Nvidia. NVLink fournit la fabric « scale-up » — l’interconnexion interne à très haut débit et faible latence entre les composants d’un système — tandis que Spectrum-X sert au « scale-out », c’est-à-dire à la connexion au-delà du rack. 35

Autrement dit, d-Matrix fournit l’accélérateur d’inférence, mais Nvidia conserve une grande partie de l’infrastructure système. Un rack fondé sur Raptor peut notamment intégrer des CPU Vera, des commutateurs NVLink, des DPU BlueField-4, des SuperNIC ConnectX-9 et le réseau Ethernet Spectrum-X. 5

Pourquoi une architecture centrée sur la mémoire ?

Les GPU restent adaptés au prefill — la phase initiale durant laquelle le modèle traite le contexte et la requête — ainsi qu’au calcul général. d-Matrix cible plus spécifiquement le décodage, la génération token par token. Lors de cette étape, les poids du modèle doivent être relus de manière répétée : la capacité mémoire et sa bande passante deviennent donc particulièrement déterminantes. 310

L’objectif affiché n’est donc pas nécessairement de remplacer les GPU, mais de bâtir une chaîne d’inférence hybride GPU–XPU : GPU pour certaines phases du traitement, XPU Raptor pour réduire la latence de génération des tokens.

Capacité annoncée et calendrier

d-Matrix vise des racks réunissant jusqu’à 144 Raptor XPU, pour environ 2,3 To de DRAM empilée en 3D et 7,2 Po/s de bande passante mémoire agrégée. Ces chiffres correspondent à environ 16 Go et 50 To/s par XPU à l’échelle des valeurs de rack annoncées. En théorie, 2,3 To peuvent contenir plus de quatre mille milliards de paramètres quantifiés sur 4 bits ; la taille réellement exploitable dépendra toutefois des métadonnées, de l’état d’exécution et du format logiciel du modèle. 3

Raptor est décrit comme l’association d’une puce de calcul gravée en 4 nm et d’une DRAM sur mesure. d-Matrix prévoit une finalisation du design (tape-out) d’ici fin 2026, puis les premiers systèmes intégrés en rack au quatrième trimestre 2027. 104

Ce que Nvidia y gagne

Pour Nvidia, NVLink Fusion limite le risque que les clients quittent son écosystème lorsqu’ils choisissent un accélérateur spécialisé tiers. Même si le silicium d’inférence principal est signé d-Matrix plutôt que Nvidia, le fournisseur peut rester présent via l’architecture de rack, la fabric NVLink, les commutateurs, les CPU, les DPU, les cartes réseau, l’Ethernet et l’infrastructure logicielle associée. Il s’agit d’une lecture stratégique de l’architecture et du modèle commercial, non d’une information financière divulguée par les entreprises. 35

d-Matrix rejoint ainsi l’initiative NVLink Fusion, à laquelle sont également associés publiquement AWS, Arm, Intel, Fujitsu, MediaTek et Marvell. La stratégie consiste à faire de NVLink une interface de plateforme pour du matériel IA hétérogène, et pas uniquement un lien entre accélérateurs Nvidia. 3

Le contexte de d-Matrix

d-Matrix avait lancé son accélérateur d’inférence Corsair en novembre 2024. Microsoft, via son fonds M12, a participé à son financement. Une levée de série C de 275 millions de dollars a valorisé l’entreprise à 2 milliards de dollars ; certains comptes font état d’environ 450 millions de dollars levés au total. Ce dernier montant ne doit pas être confondu avec une levée unique de 450 millions. 26

ParaSail a rapporté jusqu’à un décuplement de la vitesse d’inférence en combinant Corsair et des GPU Nvidia, mais il s’agit d’une affirmation de performance d’entreprise ou de client, et non d’un benchmark indépendant. 12

Les modalités financières de la collaboration entre d-Matrix et Nvidia n’ont pas été communiquées. 1