Nvidia will KI-Rechenzentren an Tokens pro Megawatt messen

Strom wird für KI-Rechenzentren zunehmend zum Engpass – nicht allein die Zahl der Beschleuniger, die sich in ein Rack einbauen lässt. Nvidia stellte zum Auftakt seines AI Infra Summit 2026 deshalb eine andere Zielgröße in den Vordergrund: agentische Tokens pro Megawatt. Gemeint ist, wie viel nutzbare Inferenzarbeit eine KI-Fabrik innerhalb ihres verfügbaren Strombudgets erzeugt. 23

Ian Buck, bei Nvidia Vice President für Hyperscale und High-Performance Computing, präsentierte die Strategie auf der Veranstaltung in Santa Clara. Seine Kernthese: Für produktive KI-Fabriken reicht eine schnelle GPU nicht aus. Rechenleistung, Netzwerk, Inferenzsoftware, Kühlung, Stromsteuerung und der Betrieb im Zusammenspiel mit dem Stromnetz müssten koordiniert werden, wenn die verfügbare elektrische Leistung zur harten Grenze wird. 123

Lambda liefert den konkretesten Praxiswert

Das greifbarste Ergebnis stammt vom KI-Cloud-Anbieter Lambda. Das Unternehmen validierte Nvidias DSX MaxLPS erstmals in einer Einsatzumgebung auf HGX-B200-GPU-Servern. Nach Nvidias Beschreibung überwacht DSX MaxLPS den Stromverbrauch auf GPU- und Rack-Ebene und verteilt ungenutzte Leistungsreserven zwischen den Knoten neu. 23

In dem getesteten Cluster mit fünf Racks und 19 Knoten konnte Lambda 19 Knoten innerhalb eines Strombudgets betreiben, das normalerweise für 16 Knoten bei voller Leistung vorgesehen wäre. Der gemeldete Token-Durchsatz des Clusters stieg dadurch um 24 % – von rund 4 auf 5 Millionen Tokens pro Sekunde. Zugleich verbesserte sich die Leistung pro Watt um 23 %. 23

Entscheidend daran ist weniger ein theoretischer Benchmark als der Betriebsnutzen: Die Kapazität eines Rechenzentrums wird häufig durch die tatsächlich am Standort verfügbare Anschlussleistung begrenzt. Haben Arbeitslasten unterschiedliche Lastprofile, kann Software ungenutzte Reserven nutzen und den Ertrag erhöhen – ohne neuen Netzanschluss oder ein höheres Leistungsbudget für den Standort.

Vera Rubin: Zusagen für die Zukunft, keine Messwerte aus der Produktion

Für künftige Vera-Rubin-NVL72-Installationen stellte Nvidia weitere mögliche Effizienzgewinne in Aussicht. DSX MaxLPS könne – abhängig von den jeweiligen Einsatzbedingungen – innerhalb desselben Standort-Strombudgets bis zu 40 % mehr GPU-Kapazität ermöglichen und den Token-Durchsatz um bis zu 35 % erhöhen. 23

Diese Zahlen sind anders einzuordnen als die Lambda-Ergebnisse auf Basis von Blackwell: Lambdas Angaben sind gemeldete Resultate aus einer Validierung im Einsatzumfeld. Die Werte für Vera Rubin sind Nvidia-Projektionen für eine künftige Plattform. 23

KI-Fabriken sollen auf Signale aus dem Stromnetz reagieren

Ein zweiter Schwerpunkt des Summits war Flexibilität. Eine KI-Fabrik soll auf die Lage im Stromnetz reagieren können, ohne alle Rechenaufgaben gleich zu behandeln.

In Nvidias Eos AI Factory arbeitete die Conductor-Plattform von Emerald AI mit Silicon Valley Power in einem kommerziellen Programm für flexible Lasten zusammen. Laut Nvidia reagierte das System auf mehr als 200 Bedarfssignale des Energieversorgers. Bei einem demonstrierten Ereignis sank der Verbrauch der Anlage in weniger als einer Minute von 4 MW auf 3 MW. Flexible Rechenaufgaben wurden dafür nachrangig behandelt, während höher priorisierte Inferenz weiterlief. 23

Nvidia versteht dieses Programm als frühes Beispiel für die Fähigkeiten, die künftig DSX Flex bieten soll. Das Unternehmen beschreibt DSX Flex als Software, die Signale für Lastabwurf, Nachfrageflexibilität und Strompreise empfängt und sie mit Prioritäten für Arbeitslasten verknüpft. Verschiebbare Aufgaben können damit pausieren und später fortgesetzt werden, während kritische Dienste weiterarbeiten. Die Eos-Demonstration war jedoch ein früher kommerzieller Nachweis im größeren Maßstab, nicht selbst eine DSX-Flex-Installation. 23

Für Betreiber ist das relevant, weil Training, Batch-Verarbeitung oder Offline-Aufgaben nicht dieselben Reaktionszeiten benötigen wie produktive Inferenzdienste. Rechenleistung als flexible Last zu behandeln, könnte die Teilnahme an Netzprogrammen ermöglichen, ohne besonders wertvolle Arbeitslasten zu gefährden.

Nvidias Plattformanspruch reicht vom Chip bis zum Betrieb

Die Ankündigungen zeichnen Nvidia weniger als reinen Komponentenlieferanten, sondern als Anbieter einer Plattform für KI-Fabriken. Der vorgeschlagene Stack umfasst Vera-Rubin-Rechenleistung, NVLink-Scale-up-Netzwerke, die Inferenzsoftware Dynamo, Ethernet- und SuperNIC-Netzwerke, BlueField-Infrastrukturkomponenten, Optimierung der Rack-Stromversorgung sowie netzbewusste Steuerung von Arbeitslasten. 2

Teil dieser Positionierung ist auch Groq 3 LPX. Nvidia beschreibt den Beschleuniger als interaktive Inferenzlösung für Vera Rubin, ausgelegt auf die Anforderungen agentischer Systeme mit niedrigen Latenzen und großen Kontexten. 112 Die vorliegenden Quellen stützen diese Rolle, belegen aber keine weitergehenden Angaben zu einem Veröffentlichungstermin, einem Vergleich von 35-mal mehr Durchsatz pro Megawatt oder zur Leistung bei Modellen mit mehr als zwei Billionen Parametern.

Warum das auch wirtschaftlich wichtig ist

Der Infrastrukturvorstoß fällt in eine Phase stark wachsender Rechenzentrumserlöse. Im zweiten Quartal des Geschäftsjahres 2027, das am 26. Juli 2026 endete, erzielte Nvidia einen Umsatz von 96,2 Milliarden US-Dollar – 106 % mehr als im Vorjahreszeitraum. Davon entfielen 89,0 Milliarden US-Dollar auf das Rechenzentrumsgeschäft. 17 Für das dritte Quartal stellte das Unternehmen 108 Milliarden US-Dollar Umsatz in Aussicht, mit einer Spanne von plus oder minus 2 %. 2830

Dieser finanzielle Rahmen erklärt, warum Nvidia den Betrieb auf Fabrikmaßstab betont: Mit wachsender KI-Kapazität rücken Fragen nach gesicherter Stromversorgung, höherem Output bei festen Leistungsgrenzen und der Verfügbarkeit von Inferenzdiensten bei Strom- oder Betriebsstörungen in den Vordergrund.

Fazit

Nvidias Botschaft lautet nicht, dass die Spitzenleistung von Beschleunigern unwichtig geworden sei. Vielmehr genügt sie nach Ansicht des Unternehmens allein nicht mehr für die Wirtschaftlichkeit einer KI-Fabrik.

Die vorgeschlagene Kennzahl – validierte Tokens pro Megawatt – verbindet Hardwareleistung mit praktischen Produktionsbedingungen: verfügbarer Anschlussleistung, Netzereignissen, Priorisierung von Arbeitslasten und Systemverfügbarkeit. Lambdas gemeldeter Durchsatzgewinn von 24 % ist ein früher Wert aus einer Einsatzvalidierung. Die weitergehenden Aussagen zu Vera Rubin und DSX müssen sich dagegen erst im Kundenbetrieb bestätigen. 23