d-Matrix bringt seine Raptor-Chips direkt in Nvidias KI-Racks

d-Matrix macht seinen künftigen Raptor nicht einfach zu einer weiteren Inferenzkarte im Server. Durch Nvidia NVLink Fusion soll der speicherzentrierte Beschleuniger als Teil eines kompletten, rackweiten KI-Systems eingesetzt werden. Kunden erhalten damit eine spezialisierte XPU für besonders latenzkritische Inferenzschritte, bleiben aber bei Nvidias Verbindungs-, Netzwerk- und Rack-Infrastruktur. 35

So wird Raptor in Nvidia-Racks eingebunden

Raptor soll die NVLink-Fusion-Schnittstelle implementieren und in Nvidias flüssigkeitsgekühlte NVL144-/MGX-Referenzarchitektur passen. NVLink ist dabei die schnelle, latenzarme Scale-up-Verbindung zwischen den Komponenten innerhalb des Systems. Für die Scale-out-Vernetzung über ein Rack hinaus ist Nvidias Spectrum-X vorgesehen. 35

Der entscheidende Unterschied zu einer separaten PCIe-Beschleunigerkarte: d-Matrix kann seine Hardware in ein bereits abgestimmtes Rackdesign einbauen, statt die gesamte Systemintegration selbst entwickeln zu müssen. Nvidia bezeichnet dies als Zugang zum ausgereiften und validierten MGX-Ökosystem. 4

Welche Nvidia-Komponenten weiter im System stecken

Ein Raptor-basiertes Rack kann laut den Unternehmen unter anderem diese Nvidia-Bausteine nutzen:

• Vera-CPUs
• NVLink-Switches
• BlueField-4-DPUs für Infrastruktur- und Datenpfadaufgaben
• ConnectX-9-SuperNICs für Hochgeschwindigkeits-I/O
• Spectrum-X-Ethernet für die Vernetzung

d-Matrix liefert also die XPU, während Nvidia weiterhin wesentliche Teile der Rechenplattform stellt: die Fabric, I/O, Netzwerkkomponenten, Management-nahe Hardware und das Referenzdesign des Racks. 56

Warum d-Matrix auf Inferenz und Speicher setzt

Der Ansatz zielt vor allem auf die Decode-Phase großer Sprachmodelle. Dabei werden Tokens nacheinander erzeugt; Modellgewichte müssen wiederholt aus dem Speicher gelesen werden. Genau dort sind Speicherkapazität und Speicherbandbreite besonders wichtig.

GPUs bleiben für das sogenannte Prefill – also die Verarbeitung des Eingabekontexts – und für allgemeine Rechenaufgaben relevant. d-Matrix positioniert Raptor daher als Ergänzung zu GPUs: Die XPU soll den Token-für-Token-Teil mit niedriger Latenz übernehmen, nicht zwingend GPUs vollständig ersetzen. 310

Kapazität und Bandbreite: die angekündigten Werte

d-Matrix nennt für ein Rack mit 144 Raptor-XPUs insgesamt etwa 2,3 TB 3D-Stacked-DRAM und 7,2 PB/s aggregierte Speicherbandbreite. Rechnerisch entspräche das rund 16 GB Speicher und 50 TB/s Bandbreite je XPU, sofern die Rackangaben gleichmäßig auf 144 Einheiten verteilt sind. 3

Rein rechnerisch könnten 2,3 TB Speicher mehr als vier Billionen Parameter bei 4-Bit-Quantisierung aufnehmen. In der Praxis verringern jedoch Metadaten, Laufzeitstatus und andere Software-Overheads die tatsächlich nutzbare Modellgröße. 3

Zeitplan und strategische Bedeutung

Raptor wird als Kombination aus einem 4-nm-Compute-Die und kundenspezifischem DRAM beschrieben. d-Matrix plant den Tape-out bis Ende 2026; erste in Racks integrierte Systeme werden für das vierte Quartal 2027 erwartet. 104

Für Nvidia ist die Kooperation strategisch interessant: NVLink Fusion kann verhindern, dass Kunden beim Einsatz spezialisierter Beschleuniger die Nvidia-Plattform vollständig verlassen. Auch wenn der primäre Inferenzchip von d-Matrix kommt, kann Nvidia weiterhin die Rackarchitektur, Fabric, Switches, CPUs, DPUs, SuperNICs, Ethernet und angrenzende Infrastruktur liefern. Das ist eine Schlussfolgerung aus Architektur und Geschäftsmodell, nicht eine veröffentlichte Aussage zu den finanziellen Konditionen der Partnerschaft. 35

Finanzielle Details der Zusammenarbeit wurden nicht bekannt gegeben. 1

d-Matrix im Kontext

Das Unternehmen hatte im November 2024 bereits den Inferenzbeschleuniger Corsair vorgestellt. Später berichtete Bloomberg über eine Series-C-Finanzierung von 275 Millionen US-Dollar bei einer Bewertung von 2 Milliarden US-Dollar; die gesamte bisherige Finanzierung wurde dabei mit rund 450 Millionen US-Dollar beziffert. Die 450 Millionen US-Dollar sind also nicht mit einer einzelnen Finanzierungsrunde gleichzusetzen. 2

Mit NVLink Fusion reiht sich d-Matrix in ein breiteres Partnernetz ein, das öffentlich unter anderem mit AWS, Arm, Intel, Fujitsu, MediaTek und Marvell verbunden wurde. Nvidia versucht damit, NVLink stärker als Schnittstelle für heterogene Hardware in KI-Rechenzentren zu etablieren – nicht nur als Verbindung zwischen eigenen Beschleunigern. 3