NVIDIA Vera Rubin NVL72: Bis zu 30-mal mehr Agenten-KI-Leistung pro Megawatt

NVIDIA stellt Vera Rubin NVL72 als Infrastrukturplattform für eine neue Generation von KI-Agenten vor. Gemeint sind Anwendungen, die nicht nur eine Antwort erzeugen, sondern wiederholt Tokens generieren, Werkzeuge aufrufen, Code ausführen, neue Aufgaben an Unteragenten delegieren und dabei immer mehr Kontext aufbauen.

In von NVIDIA veröffentlichten Ergebnissen erreichte das System bei einem AgentX-Test mit DeepSeek V4 Pro bis zu 30-mal mehr Durchsatz pro Megawatt als GB300 NVL72. Gleichzeitig soll sich der Tokenpreis um bis zu den Faktor 35 reduzieren.

Die Zahlen sind allerdings als Unternehmensangaben einzuordnen: Die vorliegenden Belege liefern keinen konkreten Dollarpreis pro einer Million Token für Vera Rubin und keine unabhängige, vollständig gleichartige Überprüfung der Spitzenwerte.

Was NVIDIA konkret behauptet

Die Kernaussagen lauten:

• Bis zu 30-mal höherer agentischer KI-Durchsatz pro Megawatt als bei GB300 NVL72.
• Bis zu 35-mal niedrigere Kosten pro Token – bei entsprechender Skalierung also auch pro Million Token – als bei GB300 NVL72.
• Getestet wurde DeepSeek V4 Pro im AgentX-Workload von SemiAnalysis.

AgentX soll keine kurze, isolierte Frage-und-Antwort-Sitzung abbilden, sondern produktionsnahe Programmier-Sessions wiedergeben. Dabei wachsen die Kontexte, Werkzeuge werden aufgerufen und Unteragenten erzeugt. 6

Das ist ein entscheidender Unterschied zu klassischen Chatbot-Benchmarks. Ein Agent kann zunächst eine Antwort formulieren, anschließend das Ergebnis prüfen, ein externes Tool verwenden, Code ausführen, eine weitere Aufgabe anlegen und mit einem deutlich größeren Kontext weiterarbeiten. Dadurch steigen die Anforderungen nicht nur an die GPU, sondern auch an Speicher, Netzwerk, CPUs und die Stromversorgung.

Vera Rubin im Vergleich zu Hopper

Der direkte 30-fache Vergleich bezieht sich auf Vera Rubin NVL72 gegenüber GB300 NVL72 – nicht unmittelbar auf Hopper. In seinem AgentX-Material gibt NVIDIA zusätzlich an, dass GB300 NVL72 bei DeepSeek V4 Pro bis zu 15-mal mehr Durchsatz pro Megawatt als ein H200-Hopper-System erzielt.

Diese Angabe liefert einen Hinweis auf die Entwicklung über mehrere Generationen hinweg. Die Werte dürfen jedoch nicht einfach zu einem 450-fachen Vorteil multipliziert werden. Es handelt sich um getrennte „bis zu“-Vergleiche; eine einheitliche Tabelle, in der Vera Rubin, GB300 und Hopper unter identischen Bedingungen direkt gegenübergestellt werden, liegt in den verfügbaren Unterlagen nicht vor.

Dasselbe gilt für die Kostenangaben. Belegt ist die NVIDIA-Aussage einer möglichen Reduktion um bis zu den Faktor 35 gegenüber GB300. Ein konkreter Dollarbetrag pro Million Token für Vera Rubin oder ein spezifischer Kostenvergleich zwischen Vera Rubin und Hopper wird daraus nicht ersichtlich.

Was steckt im Vera Rubin NVL72?

NVL72 ist ein Rack-System mit 72 Rubin-GPUs und 36 Vera-CPUs. Hinzu kommen ConnectX-9-SuperNICs und BlueField-4-DPUs. NVIDIA beschreibt NVLink 6 als Verbindung für die Skalierung innerhalb des Systems; Quantum-X800-InfiniBand und Spectrum-X-Ethernet übernehmen die Kommunikation über mehrere Systeme hinweg. 23

Das Rack soll dabei nicht wie eine Ansammlung voneinander unabhängiger GPU-Server arbeiten, sondern als eng gekoppeltes Rechensystem. Für agentische Workloads ist das besonders relevant: Die GPUs müssen kontinuierlich mit Daten versorgt werden, während CPU-Aufgaben, Netzwerkverkehr, Speicherzugriffe und die Ausführung von Werkzeugen parallel koordiniert werden.

Warum die Vera-CPU für KI-Agenten wichtig sein soll

Vera ist eine CPU mit 88 Kernen, die auf von NVIDIA entwickelten Olympus-Kernen basiert. Sie nutzt Spatial Multithreading und LPDDR5X-Speicher mit bis zu 1,2 TB/s Speicherbandbreite. NVIDIA zufolge ermöglicht Vera eine bis zu 1,8-mal schnellere Aufgabenausführung als x86-CPUs – unter anderem bei agentischer KI, Reinforcement Learning und Datenverarbeitung. 15

Die CPU soll nicht lediglich ein herkömmliches Host-Betriebssystem ausführen. Sie ist für die Arbeit rund um die Modellinferenz vorgesehen, darunter:

• Werkzeugaufrufe
• Codeausführung
• Sandboxing und Orchestrierung
• Datenverarbeitung und Analysen
• Simulationen und Reinforcement Learning

Die Idee dahinter: Wenn Vera diese CPU-lastigen Aufgaben schneller erledigt, können sich die GPUs stärker auf die eigentliche Inferenz konzentrieren. NVIDIA will damit Engpässe in der gesamten Agentenschleife reduzieren – nicht nur im Rechenwerk des Beschleunigers. 159

BlueField-4 und die „Scale-In“-Ebene

BlueField-4 bildet die dedizierte Infrastrukturverarbeitung in NVIDIAs Konzept. Die DPU kombiniert eine 64-Kern-Grace-CPU, LPDDR5X-Speicher und ConnectX-9-Netzwerkfunktionen mit einer Konnektivität von bis zu 800 Gbit/s. 1

Nach Darstellung von NVIDIA verlagert BlueField-4 Aufgaben wie Steuerung, Sicherheit, Datenbewegung und Orchestrierung von den Host-CPUs und GPUs auf die DPU. Sie fungiert damit als Infrastruktur- und Betriebsebene, die einen isolierten, sicheren und planbaren Betrieb einer großen KI-Fabrik unterstützen soll. 1

Daraus leitet sich NVIDIAs Begriff „Scale-In“ ab: Effizienz hängt nicht allein vom GPU-Chip ab. Ebenso wichtig ist, wie gut ein Rack Kommunikation, Speicher, Zeitplanung und Sicherheitsfunktionen abwickelt, ohne dafür Rechenkapazität der Beschleuniger zu verbrauchen.

Welche Rolle spielt DSX MaxLPS?

DSX MaxLPS ist keine zusätzliche Vera-Rubin-GPU oder -CPU, sondern eine Softwarekomponente innerhalb von NVIDIAs umfassenderem DSX-Konzept für KI-Fabriken. NVIDIA beschreibt die Suite als Werkzeug, um die Token-Leistung pro Megawatt innerhalb eines festen Strombudgets zu maximieren. Dazu werden Flüssigkeitskühlung und Optimierungen im Rack kombiniert, damit mehr GPUs nahe an ihrem energieeffizienten Betriebspunkt laufen können.

Das ist für die 30-fache Effizienzaussage relevant, weil die Kennzahl auf Ebene der gesamten KI-Fabrik betrachtet wird. Kühlung, Rack-Konfiguration und Infrastruktursoftware können beeinflussen, wie viele Tokens pro Energieeinheit erzeugt werden. Aus den verfügbaren Daten geht jedoch nicht hervor, welcher Anteil des gemeldeten Fortschritts auf die Chips, die Software, die Testkonfiguration oder das Zusammenspiel aller Komponenten entfällt.

SpaceXAI plant Einsätze für Grok und Starmind

NVIDIA und SpaceXAI zufolge will SpaceXAI Vera-CPUs für die nächste Generation agentischer KI-Anwendungen einsetzen und die Infrastruktur hinter Grok mit Vera Rubin ausbauen. 45

Außerdem beschrieben die Unternehmen Pläne, ein optimiertes Vera-Rubin-NVL72-System für einen ersten Starmind-KI-Satelliten in den Orbit zu bringen. 4

Dabei handelt es sich um geplante Einsätze. Die Aussagen belegen nicht, dass bereits ein orbitales NVL72-System gestartet wurde oder in Betrieb ist.

Das wichtigste Fazit

Vera Rubin NVL72 steht für NVIDIAs Versuch, KI-Infrastruktur stärker an der tatsächlichen Arbeitsweise von Agenten zu messen: an langen, iterativen Sitzungen mit wachsendem Kontext, Werkzeugaufrufen, Code und Unteragenten. Für diesen Anwendungsfall meldet NVIDIA bis zu 30-mal mehr Durchsatz pro Megawatt und bis zu 35-mal niedrigere Tokenkosten gegenüber GB300 NVL72.

Für Betreiber und Käufer ist deshalb nicht allein die große Zahl entscheidend. Entscheidend wäre, ob sich der Vorteil mit dem eigenen Modell, den gewünschten Latenzen, Kontextlängen, Parallelitätsanforderungen, dem Strombudget und den Gesamtkosten wiederholen lässt. Die vorliegenden Belege stützen NVIDIAs Behauptung und erklären die Architektur dahinter – ein abschließendes unabhängiges Urteil erlauben sie noch nicht.