Nvidia und d-Matrix wollen KI-Antworten mit Arbeitsteilung beschleunigen

Bei generativen KI-Diensten zählt nicht nur, wie gut eine Antwort ist, sondern auch, wie schnell sie beginnt und fortlaufend erscheint. Genau hier setzt die im September 2026 angekündigte Zusammenarbeit von Nvidia und d-Matrix an: Die künftigen Raptor-Inferenz-XPUs von d-Matrix sollen direkt in von Nvidia konzipierte KI-Infrastruktur eingebunden werden. So könnte ein Rack verschiedene Teile einer Anfrage jeweils dem dafür geeigneteren Prozessor zuweisen. 134

Der zentrale Punkt ist die Ergänzung, nicht der Ersatz: Nvidia-GPUs sollen die rechenintensive Prefill-Phase übernehmen, während d-Matrix-Beschleuniger auf die wiederholte, latenzempfindliche Decode-Phase zielen. In ihr erzeugt ein Sprachmodell die Antwort Token für Token. 45

Warum die Aufteilung Antworten reaktionsschneller machen kann

Bei einer Anfrage an ein Large Language Model (LLM) fallen unterschiedliche Arten von Arbeit an. Im Prefill werden Eingabe, Kontext und Prompt verarbeitet. Beim Decode wird anschließend immer wieder das nächste Ausgabetoken erzeugt. d-Matrix positioniert seine Inferenzarchitektur – einschließlich des aktuellen Produkts Corsair – für diese Decode-Arbeit neben GPUs, die das Unternehmen als besonders geeignet für rechenintensive Aufgaben beschreibt. 26

Das kann vor allem bei interaktiven Anwendungen relevant sein, bei denen die Zeit bis zum nächsten Token zählt: etwa bei Programmierassistenten, Chats oder Sprachdiensten. Die geplante Raptor-Plattform richtet sich laut d-Matrix an hochwertige Dienste mit besonders geringer Token-Latenz. 48

Die Trennung schafft allerdings ein Systemproblem: Daten müssen rasch genug zwischen den Prozessoren übertragen werden. Sonst frisst die Kommunikation den Vorteil der Spezialisierung wieder auf. Genau diesen Engpass sollen die Infrastrukturkomponenten der Kooperation adressieren.

Die Rolle von NVLink Fusion, MGX und Spectrum-X

Raptor soll NVLink Fusion nutzen, um sich in Nvidias NVLink-Scale-up-Domäne einzubinden. Für die Vernetzung zwischen mehreren Systemen ist Spectrum-X vorgesehen. Nvidia beschreibt dies als Weg, kundenspezifische Chips an seine umfassendere KI-Infrastrukturplattform anzuschließen. 3

Das geplante d-Matrix-Rack basiert auf Nvidias MGX-Referenzarchitektur. Vorgesehen sind Nvidia-Vera-CPUs, NVLink-Switches, BlueField-4-DPUs, ConnectX-9-SuperNICs und Spectrum-X-Ethernet. 48

Für d-Matrix ist das nicht nur eine Frage der Verbindungstechnik. Statt Server, Netzwerk, Stromversorgung, Kühlung und Lieferkette für einen neuen Prozessor vollständig selbst qualifizieren zu müssen, kann das Unternehmen auf ein validiertes Rack-Ökosystem aufsetzen. Nvidia bezeichnet MGX und seine Plattform ausdrücklich als beschleunigten, risikoärmeren Weg vom kundenspezifischen Chip zur großflächigen Bereitstellung. 3

Praktisch soll Raptor damit als Teil einer Nvidia-kompatiblen „AI Factory“ einsetzbar werden – und nicht bloß als isolierte Inferenz-Appliance.

Raptor setzt auf Speicher und Bandbreite im Rack-Maßstab

d-Matrix hat für Raptor eine ambitionierte Rack-Konfiguration skizziert: bis zu 144 XPUs pro Rack, 2,3 TB 3D-gestapelten DRAM und 7,2 PB/s aggregierte Speicherbandbreite. Nach Angaben des Unternehmens soll das Design Modelle mit mehr als vier Billionen Parametern bei 4-Bit-Präzision unterstützen. Dabei handelt es sich um geplante Spezifikationen, nicht um unabhängig geprüfte Ergebnisse eines ausgelieferten Produkts. 4

Die Architektur folgt der Annahme von d-Matrix, dass die Decode-Phase großer Sprachmodelle stark davon abhängt, wie effizient Daten im Speicher bewegt werden und wie viel Bandbreite verfügbar ist. Das vorgeschlagene 3D-Gehäuse von Raptor kombiniert einen DRAM-Speicherchip mit einem SRAM-Rechenchip und führt damit den speicherzentrierten Ansatz des Unternehmens fort. 4

d-Matrix erwartet den Tape-out von Raptor bis Ende 2026. Eine erste Verfügbarkeit in einem MGX-Rack ist für das vierte Quartal 2027 geplant. Davor liegen noch erhebliche Umsetzungsschritte: Fertigung, Packaging, Systemvalidierung und der Betrieb im Rack-Maßstab müssen gelingen, bevor Kunden die tatsächliche Leistung bewerten können. 48

Warum Nvidia Drittanbieter-Beschleuniger zulässt

Strategisch bemerkenswert ist Nvidias Rolle: Ein spezialisierter externer XPU-Chip soll in die Rack-Architektur und das Netzwerkgeflecht des Konzerns eingebunden werden, statt jede Inferenzphase zwingend auf einer Nvidia-GPU auszuführen.

Nvidia beschreibt seine KI-Plattform als „vertikal integriert und horizontal offen“. Das bedeutet: Das Unternehmen kann den Wert seiner Scale-up-Verbindungstechnik, seines Scale-out-Netzwerks, seiner Rack-Designs und seines Ökosystems sichern – und zugleich andere Prozessoren einbinden. 3

Damit wird die Plattform für zusätzliche Workload-Typen attraktiver. Kunden, die einen auf Decode spezialisierten Beschleuniger suchen, könnten eher in Nvidia-kompatibler Infrastruktur bleiben, wenn dieser Beschleuniger NVLink Fusion, MGX und Spectrum-X nutzen kann. Das ist daher eher kontrollierte Ergänzung als ein Rückzug von GPUs: Nvidia-GPUs bleiben wichtig für breit einsetzbares Training, Inferenz und die rechenintensive Prefill-Phase; ein Spezialchip soll die Decode-Aufgabe übernehmen. 145

Corsair und die Finanzierung: Was sie über die Strategie aussagen

Raptor folgt auf den Inferenzbeschleuniger Corsair von d-Matrix. Nach Unternehmensangaben ist Corsair gezielt für Decode in einer entkoppelten Inferenzarchitektur gebaut und arbeitet mit GPUs zusammen, statt sie zu ersetzen. 26

d-Matrix hat für hybride Systeme mit Corsair Aussagen zu Leistung, Kosten und Energieeffizienz veröffentlicht. Diese Werte sollten jedoch als Unternehmensangaben verstanden werden, solange keine unabhängig reproduzierbaren Benchmark-Details vorliegen. Die verfügbaren Informationen belegen keinen allgemeinen Leistungsvorteil für alle Modelle, Batch-Größen oder Einsatzkonfigurationen. 2528

Das Unternehmen sammelte 275 Mio. US-Dollar in einer Series-C-Finanzierung bei einer berichteten Bewertung von 2 Mrd. US-Dollar ein. Das gemeldete Gesamtfinanzierungsvolumen stieg damit auf 450 Mio. US-Dollar; zu den Investoren gehörte unter anderem M12, der Venture-Fonds von Microsoft. 2130 Reuters berichtete zudem, dass Microsoft d-Matrix bereits in einer Finanzierungsrunde 2023 unterstützt hatte und d-Matrix seinen ersten KI-Chip im November 2024 auslieferte. 1

Diese Schritte deuten darauf hin, dass d-Matrix von einem einzelnen Inferenzprodukt zu einer umfassenderen Rack-Strategie übergehen will. Die Nvidia-Integration könnte diesen Plan für Kunden glaubwürdiger machen, die bereits Nvidia-basierte Infrastruktur kaufen oder betreiben.

Was weiter offen bleibt

Die finanziellen Bedingungen der Vereinbarung mit Nvidia wurden nicht veröffentlicht. 1 Aus der Ankündigung lässt sich deshalb nicht ableiten, ob Lizenzgebühren, gemeinsame Entwicklungszusagen, Abnahmevolumen, Umsatzbeteiligungen oder eine Nvidia-Beteiligung Teil der Vereinbarung sind.

Die größere strategische Aussage ist klarer als die kommerziellen Details: Beide Unternehmen planen für einen Inferenzmarkt, in dem nicht ein einziger Prozessortyp jeden Schritt einer LLM-Anfrage ausführen muss. d-Matrix erhält einen Weg in Nvidia-kompatible KI-Rechenzentren; Nvidia bekommt eine spezialisierte Decode-Option, die sich in Netzwerk- und Rack-Plattform integrieren lässt. Ob daraus im großen Maßstab tatsächlich geringere Latenzen oder bessere Kostenstrukturen entstehen, wird von der finalen Raptor-Hardware, der Software-Orchestrierung und Kunden-Benchmarks nach der geplanten Verfügbarkeit 2027 abhängen. 348