Nvidia startet Vollproduktion des Groq 3 LPX für besonders schnelle KI-Inferenz

Nvidia hat am 24. August auf der Hot Chips bekannt gegeben, dass der Groq 3 LPX in die Vollproduktion gegangen ist. Der rackbasierte Beschleuniger ist als besonders latenzarme Inferenzkomponente der Vera-Rubin-Plattform gedacht. Seine Aufgabe: Bei KI-Agenten möglichst schnell den jeweils nächsten Token zu erzeugen, damit Antworten und mehrstufige Aktionen zügig wirken. 36

Was Nvidia angekündigt hat

In einem Benchmark von Artificial Analysis erreichte ein Groq-3-LPX-System mit Googles offenem Modell Gemma 4 31B und einem Kontext von 100.000 Token eine Geschwindigkeit von 3.431 Ausgabetoken pro Sekunde. Nvidia rundete den Wert in seiner Ankündigung auf 3.400 Token pro Sekunde. 16

Nach Angaben des Unternehmens war der LPX bei diesen langen, besonders latenzkritischen Arbeitslasten damit viermal reaktionsschneller als die nächstbeste alternative Plattform. 6

Der LPX soll dabei nicht die GPUs und die vielseitigeren Vera-Rubin-Systeme ersetzen. Er konzentriert sich auf den sogenannten Decode- beziehungsweise Generierungsschritt der Inferenz: die schnelle Ausgabe neuer Token. Die Vera Rubin NVL72 bleibt für Training, die Verarbeitung großer Kontexte, Prefill-Berechnungen und allgemeinere Inferenzaufgaben zuständig. 36

Nvidia ordnet den Groq 3 LPX als siebten wichtigen Chip der Vera-Rubin-Plattform ein. Zu den weiteren Komponenten gehört unter anderem die Vera-CPU mit 88 speziell entwickelten Olympus-Kernen. 2

Erste Abnehmer

Nebius soll der erste KI-Cloud-Anbieter sein, der den Groq 3 LPX übernimmt. Das Unternehmen will ihn in seine Produktionsplattform Token Factory integrieren. 6

Auch Groq selbst kündigte an, zu den ersten Abnehmern zu gehören. Der Anbieter will LPX-Beschleuniger gemeinsam mit Vera-Rubin-NVL72-Systemen in seiner spezialisierten KI-Inferenz-Cloud einsetzen. 4

Warum der Schritt wichtig ist

Nvidias Botschaft lautet, dass künftige KI-Rechenzentren stärker auf unterschiedliche Arbeitslasten zugeschnitten werden. GPUs und Vera-Rubin-Systeme sollen flexible, groß angelegte KI-Berechnungen übernehmen. Der LPX soll dagegen den Flaschenhals bei interaktiven Anwendungen adressieren: die möglichst schnelle Token-Ausgabe, die maßgeblich darüber entscheidet, wie unmittelbar ein KI-Agent reagiert. 36

Ein wichtiger Hinweis zum Groq-Deal

Die häufige Beschreibung, Nvidia habe Groq für 20 Milliarden US-Dollar gekauft, ist nach der verfügbaren Berichterstattung nicht ganz korrekt. Demnach schloss Nvidia eine Vereinbarung zur nicht exklusiven Lizenzierung der Groq-Technologie und stellte wichtige Mitarbeiter ein – darunter Gründer Jonathan Ross und Präsident Sunny Madra. Groq blieb anschließend als eigenständiges Unternehmen aktiv und nahm weiteres Kapital auf. 5

Nicht ausreichend belegt sind hingegen konkrete Angaben zu 256 Chips pro Rack, 500 MB On-Chip-SRAM pro Chip, einer Fertigung durch Samsung im Gegensatz zur GPU-Produktion bei TSMC sowie angeblichen Reaktionen von AMD, Cerebras oder OpenAI. Auch weitergehende Details zu einem geplanten Einsatz von Vera-CPUs durch SpaceXAI – etwa für bestimmte Werkzeuge, Simulationen oder Satellitenanwendungen – lassen sich aus den vorliegenden Belegen nicht zuverlässig ableiten. Belegt ist lediglich, dass SpaceXAI Vera-CPUs für Anwendungen mit KI-Agenten einsetzen will. 7