Comment Nvidia et d-Matrix veulent accélérer les réponses des IA génératives

Les services d’IA générative ne sont plus jugés seulement sur la qualité de leurs réponses : leur vitesse de démarrage et la fluidité de la génération comptent aussi. La collaboration annoncée en septembre 2026 entre Nvidia et d-Matrix vise précisément ce point. Elle doit permettre d’intégrer directement les futurs processeurs d’inférence Raptor de d-Matrix dans l’infrastructure d’IA conçue par Nvidia, afin d’attribuer chaque partie d’une requête de grand modèle de langage (LLM) au processeur le plus adapté. 134

L’idée centrale est celle de la complémentarité, et non du remplacement des GPU Nvidia. Dans cette architecture hétérogène, les GPU s’occuperaient du préremplissage (prefill), très gourmand en calcul, tandis que les accélérateurs d-Matrix seraient dédiés au décodage (decode) : l’étape répétitive et sensible à la latence qui produit les jetons de la réponse un par un. 45

Pourquoi séparer préremplissage et décodage ?

Une requête adressée à un LLM n’impose pas les mêmes contraintes à toutes ses étapes. Le préremplissage traite le prompt et le contexte déjà fourni ; le décodage génère ensuite successivement chaque nouvel élément de la réponse. d-Matrix positionne son architecture d’inférence — y compris son produit actuel Corsair — sur cette seconde tâche, tandis que les GPU sont décrits comme particulièrement efficaces pour les charges de calcul intensives. 26

Cette répartition peut intéresser les services interactifs pour lesquels le délai avant le prochain jeton est déterminant : assistants de programmation, agents conversationnels ou interfaces vocales. La plateforme Raptor est ainsi destinée à ce que d-Matrix appelle des services de jetons haut de gamme à très faible latence. 48

La difficulté est toutefois systémique : les processeurs doivent échanger les données assez vite pour que le coût de la communication ne gomme pas le bénéfice de la spécialisation. C’est le rôle que doivent jouer les choix d’interconnexion et de réseau de cette collaboration.

Le rôle de NVLink Fusion, MGX et Spectrum-X

Raptor doit utiliser NVLink Fusion pour se connecter au domaine NVLink de montée en puissance (scale-up) de Nvidia, tandis que Spectrum-X doit assurer l’extension entre systèmes (scale-out). Nvidia présente cette combinaison comme une voie permettant à d-Matrix de relier son silicium spécialisé à sa plateforme d’infrastructure IA plus large. 3

La baie d-Matrix envisagée s’appuie sur l’architecture de référence MGX de Nvidia. Elle devrait intégrer des CPU Nvidia Vera, des commutateurs NVLink, des DPU BlueField-4, des SuperNIC ConnectX-9 et du réseau Ethernet Spectrum-X. 48

Pour d-Matrix, l’intérêt ne se limite donc pas à l’interconnexion. Plutôt que de devoir qualifier séparément les serveurs, le réseau, l’alimentation, le refroidissement et la chaîne d’approvisionnement autour d’une nouvelle puce, l’entreprise peut s’appuyer sur un écosystème de baies déjà validé. Nvidia présente explicitement MGX et sa plateforme comme un moyen plus rapide et moins risqué de passer d’un silicium sur mesure à un déploiement à grande échelle. 3

Concrètement, le partenariat doit permettre de déployer Raptor comme un élément d’une « usine à IA » compatible Nvidia, plutôt que comme un appareil d’inférence isolé.

Raptor : un pari sur la mémoire et la bande passante

d-Matrix a annoncé une configuration ambitieuse à l’échelle de la baie : jusqu’à 144 XPUs Raptor par baie, 2,3 To de DRAM empilée en 3D et 7,2 Po/s de bande passante mémoire agrégée. L’entreprise indique que cette conception doit prendre en charge des modèles dépassant 4 000 milliards de paramètres en précision 4 bits. Il s’agit de spécifications annoncées, et non de résultats de produits commercialisés et validés indépendamment. 4

L’architecture traduit la conviction de d-Matrix que le décodage des LLM est fortement conditionné par le déplacement des données en mémoire et par la bande passante disponible. Le boîtier 3D prévu pour Raptor associe une puce mémoire DRAM et une puce de calcul SRAM, prolongeant l’approche de l’entreprise centrée sur la mémoire. 4

d-Matrix prévoit un tape-out — l’envoi final du dessin de la puce vers la fabrication — d’ici fin 2026. La disponibilité initiale de Raptor dans une baie MGX est attendue au quatrième trimestre 2027. Avant cela, restent à franchir plusieurs étapes : fabrication, encapsulation, validation des systèmes et mise en œuvre à l’échelle d’une baie. 48

Pourquoi Nvidia ouvre sa plateforme à un accélérateur tiers

Le rôle de Nvidia est stratégique : le groupe accepte qu’un XPU externe spécialisé se connecte à son architecture de baie et à son réseau, au lieu d’exiger que chaque phase de l’inférence passe par un GPU Nvidia.

Nvidia décrit sa plateforme comme « verticalement intégrée et horizontalement ouverte ». L’entreprise peut ainsi préserver la valeur de son tissu d’interconnexion, de ses réseaux, de ses conceptions de baies et de son écosystème, tout en permettant à d’autres processeurs de participer. 3

Cette ouverture élargit les charges de travail que la plateforme peut couvrir. Les clients intéressés par un accélérateur optimisé pour le décodage peuvent être davantage enclins à rester dans une infrastructure compatible Nvidia si cet accélérateur utilise NVLink Fusion, MGX et Spectrum-X. Il s’agit donc moins d’un recul des GPU que d’une complémentarité contrôlée : les GPU restent centraux pour l’entraînement, l’inférence polyvalente et le préremplissage intensif, tandis qu’un composant spécialisé est envisagé pour le décodage. 145

Corsair et le financement de d-Matrix : la stratégie commerciale

Raptor succède à l’accélérateur d’inférence Corsair. d-Matrix affirme que Corsair est conçu pour le décodage dans une architecture d’inférence désagrégée et pour fonctionner avec des GPU, pas pour les remplacer. 26

L’entreprise a communiqué sur des gains de performance, de coût et d’efficacité énergétique pour des systèmes hybrides basés sur Corsair. Ces chiffres doivent cependant être considérés comme des affirmations du fournisseur en l’absence de protocoles de benchmarks indépendants et reproductibles. Les éléments disponibles ne démontrent pas un gain universel, quels que soient le modèle, la taille des lots ou la configuration de déploiement. 2528

d-Matrix a levé 275 millions de dollars lors d’un tour de table de série C, sur la base d’une valorisation annoncée de 2 milliards de dollars, portant son financement total déclaré à 450 millions de dollars. M12, le fonds de capital-risque de Microsoft, figurait parmi les investisseurs. 2130 Reuters a également rapporté que Microsoft avait soutenu d-Matrix lors d’un financement en 2023 et que l’entreprise avait expédié sa première puce d’IA en novembre 2024. 1

Ces étapes suggèrent un passage d’une offre centrée sur un accélérateur d’inférence à une feuille de route plus large, à l’échelle de la baie. L’intégration avec Nvidia pourrait rendre cette transition plus crédible auprès des clients qui achètent déjà ou exploitent une infrastructure Nvidia.

Ce qui reste inconnu

Les conditions financières de l’accord Nvidia-d-Matrix n’ont pas été rendues publiques. 1 Il est donc impossible de savoir, sur la seule base de l’annonce, si l’accord comprend des frais de licence, des engagements d’ingénierie communs, des achats en volume, un partage de revenus ou un investissement de Nvidia.

La conclusion générale est néanmoins plus nette que les détails commerciaux : les deux entreprises se préparent à un marché de l’inférence où un seul type de processeur n’exécutera pas nécessairement toutes les étapes d’une requête LLM. d-Matrix obtient une voie d’accès aux usines à IA compatibles Nvidia ; Nvidia ajoute une option spécialisée pour le décodage, intégrée à sa plateforme réseau et à ses baies. Les bénéfices réels en latence et en coût à grande échelle dépendront du matériel Raptor final, de l’orchestration logicielle et des benchmarks clients après la disponibilité prévue en 2027. 348