Was die ersten Jalapeño-Benchmarks von OpenAI tatsächlich zeigen

OpenAIs erste ausführliche Messergebnisse zu Jalapeño enthalten eine klare, aber begrenzte Aussage: Der speziell entwickelte Chip könnte große Sprachmodelle bei hoher Auslastung energieeffizienter und mit geringerer Antwortlatenz betreiben als die konkret verglichenen Nvidia-Systeme GB200 und GB300. Auf dem öffentlichen InferenceX-Benchmark von SemiAnalysis meldete OpenAI 1,5- bis 1,9-mal mehr KI-Arbeit pro Watt und eine 1,7- bis 3,6-mal geringere End-to-End-Latenz bei drei Open-Weight-Modellen.

Das ist für ein Unternehmen mit enormem KI-Anfragevolumen relevant. Es beweist jedoch weder, dass Jalapeño GPUs generell ersetzt, noch dass ChatGPT automatisch 3,6-mal schneller oder günstiger wird. Die Tests waren eng gefasst, der Chip ist ausschließlich für Inferenz ausgelegt, und die Zahlen stammen im Wesentlichen aus OpenAIs Messungen auf Engineering-Silizium. 14

Die wichtigsten Ergebnisse

OpenAI verglich Jalapeño auf der InferenceX-Suite von SemiAnalysis mit Nvidia-Systemen auf Basis von GB200 und GB300. InferenceX soll den gesamten Ablauf beim Bearbeiten einer KI-Anfrage messen – nicht nur die rohe Rechenleistung. Für die Effizienzangaben normalisierte OpenAI die Ergebnisse anhand der veröffentlichten Leistungswerte der jeweiligen Beschleuniger.

Gemeldet wurden folgende Vorteile:

• 1,5- bis 1,9-mal mehr KI-Arbeit pro Watt bei maximalem Durchsatz.
• 1,7- bis 3,6-mal geringere End-to-End-Latenz.
• 2,1- bis 4,1-mal höhere Leistung bei stark interaktiven Workloads, jeweils an von OpenAI ausgewählten Betriebspunkten. 4

Der größte in den vorliegenden Ergebnissen ausgewiesene Latenzunterschied trat bei DeepSeek R1 670B auf: Jalapeño bearbeitete eine Anfrage in 1,65 Sekunden, das System auf Basis von GB300 benötigte 5,99 Sekunden. 1112

Diese Werte sind relative Benchmark-Ergebnisse und keine Zusage für eine entsprechende Verkürzung realer ChatGPT-Antwortzeiten oder eine Senkung von API-Preisen. In der Praxis hängen die Resultate unter anderem vom Modell, der Serving-Software, dem Batching, dem Netzwerk, der Kontextlänge, der Antwortlänge sowie vom angestrebten Verhältnis zwischen Latenz und Durchsatz ab.

Welche Modelle und Workloads wurden getestet?

Zum Einsatz kamen drei öffentlich verfügbare Modelle mit offenen Gewichten:

Modell	Nvidia-Vergleichssystem	Gemeldetes Jalapeño-Ergebnis
GPT-OSS 120B	GB200	Rund 1,9-mal mehr Arbeit pro Watt; 1,03 statt 1,80 Sekunden End-to-End-Latenz
DeepSeek R1 670B	GB300	Rund 1,7-mal mehr Arbeit pro Watt; 1,65 statt 5,99 Sekunden Latenz
Kimi K2.5 1T	GB300	Rund 1,5-mal mehr Arbeit pro Watt; 1,56 statt 5,31 Sekunden Latenz

Die genannten Werte stammen aus veröffentlichten Benchmark-Zusammenfassungen und nicht aus einer vollständig unabhängig reproduzierten Gesamtreihe. 61112

Getestet wurde nominal ein Single-Turn-Workload mit 8.000 Eingabetoken und 1.000 Ausgabetoken. Das schafft vergleichbare Bedingungen, bildet aber nicht alle Arten von KI-Datenverkehr ab. Offen bleiben beispielsweise Fragen zu mehrstufigen Dialogen, Tool-Aufrufen, Agenten-Workflows, unterschiedlich langen Antworten, Batching unter Produktionsbedingungen und sehr langen Kontexten. 813

Zudem wurden konkrete Hard- und Softwarekonfigurationen vermessen. Änderungen an Compilern, Kernels, Quantisierung, Scheduling, Modellarchitektur oder Nvidias Laufzeitumgebung könnten den Abstand vergrößern oder verkleinern.

Was steckt in einem Jalapeño-System?

Jalapeño ist ein anwendungsspezifischer integrierter Schaltkreis – ein ASIC –, den OpenAI gemeinsam mit Broadcom für die Inferenz großer Sprachmodelle entwickelt hat. Anders als eine vielseitig programmierbare GPU ist er auf den Betrieb bereits trainierter Modelle und die Generierung von Antworten spezialisiert. 15

Für ein System auf Rack-Ebene werden unter anderem folgende Eckdaten genannt:

• 128 Beschleunigerchips pro System.
• Rund 1,7 ExaFLOPS Rechenleistung bei 4-Bit-Berechnungen.
• Etwa 27 Terabyte High-Bandwidth-Memory (HBM) im Gesamtsystem.
• Eine Chip-Leistungsaufnahme von 700 Watt, verglichen mit veröffentlichten Werten von 1.200 Watt für GB200- und 1.400 Watt für GB300-Beschleuniger. 121419

Die gemeldete B0-Version verfügt auf Chipebene über einen Compute-Die in maximaler Reticle-Größe, gefertigt in TSMCs N3P-Prozess, und erreicht laut Angaben 13,4 PFLOPS MXFP4-Rechenleistung. 18

Der Ansatz betrifft nicht nur den einzelnen Chip. Speicher, Verbindungen, Netzwerk und die Kommunikation innerhalb des Racks sind entscheidend, wenn sehr große Modelle auf viele Beschleuniger verteilt werden müssen. Jalapeño ist daher eher als Plattform für ein komplettes Inferenzsystem zu verstehen. 1819

Entwicklung in neun Monaten – welche Rolle spielte KI?

OpenAI und Broadcom sollen vom Konzept bis zum Tape-out – also bis zur Übergabe des finalen Chip-Layouts an die Fertigung – ungefähr neun Monate benötigt haben. Für einen leistungsfähigen Spezialchip ist das ein ungewöhnlich kurzer Zeitraum. 720

KI-gestützte Werkzeuge waren Teil des Entwicklungsprozesses. Daraus folgt jedoch nicht, dass ein KI-Modell den Prozessor autonom entworfen und gefertigt hätte. Beteiligt waren weiterhin menschliche Architektur- und Entwicklungsteams, Broadcoms Halbleiter- und Implementierungsexpertise, Fertigungspartner sowie Teams für die Systemintegration. 713

Die belastbarere Schlussfolgerung lautet: OpenAI konnte sein Wissen über die Arbeitsweise großer Sprachmodelle – ergänzt durch KI-Werkzeuge im Entwicklungsprozess – nutzen, um Hardware und Software gezielt auf einen bestimmten Serving-Einsatz zuzuschneiden. Diese Spezialisierung kann die Effizienz steigern, geht aber zulasten der Flexibilität einer programmierbaren GPU.

Warum Jalapeño nur für Inferenz gedacht ist

Jalapeño soll trainierte Modelle ausführen, nicht neue Frontier-Modelle trainieren. Für Training, Forschung, Experimente und Workloads, die sich nicht gut auf eine festgelegte Inferenzarchitektur abbilden lassen, wird OpenAI deshalb weiterhin programmierbare Beschleuniger – vor allem GPUs – benötigen. 813

Das schränkt auch die Bedeutung der Aussage ein, Jalapeño „schlage Nvidia“. Der ASIC kann bei ausgewählten Inferenzmetriken vor den getesteten Nvidia-Konfigurationen liegen, während Nvidia-Hardware an anderer Stelle im Rechen-Stack von OpenAI unverzichtbar bleibt. Ein Spezialchip kann für eine vorhersehbare Aufgabe mit hohem Volumen hervorragend geeignet sein, ohne die vielseitigere Plattform für Training und schnelle Modelländerungen zu ersetzen.

Was die Benchmarks nicht beweisen

Die Ergebnisse sollten als „besser in diesen gemeldeten Tests“ gelesen werden – nicht als „insgesamt das beste KI-System“. Mehrere Einschränkungen sind wichtig:

• Die Durchläufe nutzten einen festen, vergleichsweise einfachen Single-Turn-Workload und nicht die gesamte Bandbreite des Produktionsverkehrs. 1112
• Die veröffentlichten Zahlen stammen aus OpenAIs Tests auf Engineering-Silizium. SemiAnalysis-bezogene Berichte beschreiben zwar eine Überprüfung der Durchläufe im OpenAI-Labor, die zugrunde liegenden Messwerte wurden jedoch weiterhin von OpenAI bereitgestellt. 214
• Die Effizienz wurde anhand veröffentlichter Chip-Leistungswerte normalisiert. Das ist für einen Vergleich nützlich, entspricht aber keiner vollständigen Analyse von Rechenzentrumskosten oder Gesamtenergieverbrauch. 11
• Compiler, Kernel, Laufzeitumgebungen, Quantisierung, Batching, Netzwerk, Scheduling und Nvidias Software können sich weiterentwickeln und die Ergebnisse verändern.
• Der Vergleich belegt keine Leistung gegenüber allen neueren oder künftig erscheinenden Beschleunigern, darunter Nvidias Produkte nach Blackwell sowie aktuelle Systeme von Google, Amazon, Microsoft, AMD und anderen Anbietern. 238

Aus den vorliegenden Zahlen lässt sich daher weder eine allgemeine Kostensenkung um 50 Prozent noch ein niedrigerer API-Preis oder eine unmittelbare Verdrängung von Nvidia ableiten. Belegt sind Leistungs- und Effizienzvorteile unter bestimmten Testbedingungen – nicht weitreichende kommerzielle Schlussfolgerungen.

Wann setzt OpenAI Jalapeño ein?

OpenAI will Jalapeño bis Ende 2026 in der eigenen Infrastruktur einsetzen. Eine Produktion in größerem Volumen und ein breiterer Rollout werden für 2027 erwartet. Langfristig ist eine Plattform für Rechenzentren im Gigawatt-Maßstab mit Microsoft und weiteren Infrastrukturpartnern über mehrere Chipgenerationen hinweg geplant. 16

Der Chip ist in erster Linie für OpenAIs eigenen Bedarf gedacht und nicht als frei verkäuflicher Prozessor. Unternehmen außerhalb von OpenAI sollten deshalb nicht damit rechnen, Jalapeño-Hardware kaufen oder kurzfristig eine öffentliche Jalapeño-Cloud-Instanz mieten zu können. 16

Die interne Nutzung erlaubt es OpenAI, den Chip auf eigene Modelle, Kernel und Serving-Systeme zu optimieren. Gleichzeitig entfallen viele Pflichten eines klassischen Chipanbieters – etwa Kundensupport, Ökosystempflege, Vertrieb und der Umgang mit potenziellen Kunden und Wettbewerbern. Diese strategische Einordnung ist eine Interpretation des Einsatzmodells; bestätigt ist der Plan zur internen Nutzung statt zum externen Chipverkauf. 16

Jalapeño im Wettbewerb um KI-Chips

Jalapeño ist am besten als Baustein einer umfassenderen Full-Stack-Strategie von OpenAI zu verstehen. Dazu gehören Cloud-Kapazitäten von Microsoft und anderen Partnern, Nvidia-Klasse-GPUs für flexible und trainingsintensive Aufgaben sowie eigene Chips für stabile Inferenz-Workloads, bei denen sich Spezialisierung lohnt. OpenAI nennt in seinem Compute-Portfolio Microsoft, Nvidia, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy und SoftBank.

Damit folgt OpenAI einem breiteren Branchentrend zur vertikalen Integration: Google entwickelt TPUs, Amazon bietet Trainium und Inferentia, Microsoft hat Maia, AMD konkurriert mit vielseitigen KI-GPUs, und Nvidia liefert weiterhin breit programmierbare Systeme. Auch Anthropic arbeitet über seine Cloud-Beziehungen an zunehmend maßgeschneiderter Infrastruktur. Die vorliegenden Benchmark-Daten erlauben jedoch keinen direkten Leistungsvergleich mit den Systemen von Anthropic.

Die kurzfristige strategische Wirkung ist deshalb nuancierter als die Erzählung vom GPU-Ersatz. Jalapeño könnte OpenAI mehr Kontrolle über Inferenzkosten, Latenz, Lieferketten und die eigene Hardware-Roadmap geben. Nvidia bleibt für Training und Flexibilität wichtig, während OpenAIs Spezialchip eine zusätzliche Option für vorhersehbare, hochvolumige Serving-Workloads schafft. 813