OpenAIs Jalapeño-Chip schlägt Nvidia Blackwell bei der Inferenz – aber nicht überall

OpenAIs erste veröffentlichten Ergebnisse für den Jalapeño-Chip sind ein gezieltes Signal, kein Rundumschlag gegen Nvidia: Der speziell für KI-Inferenz entwickelte ASIC soll bei ausgewählten Tests mehr Arbeit pro Watt leisten und Antworten schneller ausliefern als Nvidia-Systeme mit GB200 und GB300. Für Betreiber großer Rechenzentren ist das relevant, weil Stromverbrauch, Kühlung und Netzkapazität zunehmend die Kosten des Modellbetriebs bestimmen. 57

Jalapeño ist damit jedoch kein allgemeiner Ersatz für Nvidia-GPUs. Der Chip wurde für einen enger definierten Einsatzbereich optimiert – das erklärt einen Teil seines Vorteils, begrenzt aber zugleich seine Flexibilität. 56

Wofür Jalapeño entwickelt wurde

Jalapeño ist ein „Application-Specific Integrated Circuit“ (ASIC), also ein anwendungsspezifischer Chip, den OpenAI gemeinsam mit Broadcom für die Inferenz großer Sprachmodelle entwickelt hat. Inferenz bezeichnet den Betrieb eines bereits trainierten Modells – etwa wenn ein Chatbot eine Antwort erzeugt. Das Training, bei dem ein Modell zunächst erstellt wird, ist davon zu unterscheiden. 619

Ein ASIC kann bei häufig wiederkehrenden und gut vorhersehbaren Aufgaben effizienter arbeiten als ein vielseitiger Prozessor. Dafür ist er weniger leicht an neue Modelle, Algorithmen oder völlig andere Anwendungen anzupassen. Nvidia-GPUs decken dagegen Training, Feinabstimmung, Inferenz und zahlreiche weitere KI-Workloads ab. 56

Die gemeldeten Leistungs- und Verbrauchswerte

OpenAI verglich Jalapeño mit Systemen auf Basis von Nvidia GB200 und GB300. Zum Einsatz kamen drei öffentlich verfügbare Modelle: GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T von Moonshot AI. Über diese Vergleiche hinweg meldete OpenAI bei maximalem Durchsatz 1,5- bis 1,9-mal mehr KI-Arbeit pro Watt sowie eine 1,7- bis 3,6-mal niedrigere End-to-End-Latenz. 5713

Die Einzelwerte zeigen, wie stark die Ergebnisse je nach Modell ausfallen:

• Bei GPT-OSS 120B erreichte Jalapeño laut den veröffentlichten Daten 85.448 gemischte Tokens pro Sekunde und Kilowatt, verglichen mit 44.960 beim GB200-System – ein Vorteil von etwa 1,9 zu 1. Die End-to-End-Latenz lag bei 1,03 statt 1,80 Sekunden. 7
• Bei DeepSeek R1 670B kam Jalapeño auf 19.641 gemischte Tokens pro Sekunde und Kilowatt, das GB300-System auf 11.781. Das entspricht rund 1,7-mal mehr Arbeit pro Watt. Die Latenz wurde mit 1,65 gegenüber 5,99 Sekunden angegeben. 7
• Bei Kimi K2.5 1T meldete OpenAI 18.195 gemischte Tokens pro Sekunde und Kilowatt für Jalapeño und 11.862 für GB300 – ungefähr 1,5-mal mehr Arbeit pro Watt. 7

Bei besonders interaktiven Betriebsmodi, bei denen eine schnelle Antwort wichtiger ist als maximaler Gesamtdurchsatz, bezifferte OpenAI den Leistungsvorteil auf das 2,1- bis 4,1-Fache. 413

Auch beim Chip-Verbrauch liegt Jalapeño auf dem Papier niedriger: Die Nennleistung beträgt 700 Watt. Für die verglichenen GB200- und GB300-Beschleuniger werden 1.200 beziehungsweise 1.400 Watt angegeben. OpenAI zufolge blieb die gemessene Dauerleistung von Jalapeño in den getesteten Szenarien bei höchstens 550 Watt. 61213

Das bedeutet nicht automatisch, dass die Gesamtkosten eines Rechenzentrums im selben Verhältnis sinken. Ein effizienterer Beschleuniger kann aber den Bedarf an Strom, Kühlung und Energieverteilung reduzieren. Bei OpenAIs erwarteter Größenordnung liegt darin der zentrale wirtschaftliche Anreiz für maßgeschneiderte Inferenz-Chips. 5

Wie belastbar ist der Vergleich?

Die Tests liefen mit der öffentlichen InferenceX-Benchmark von SemiAnalysis. Gemessen wurde die End-to-End-Bereitstellung mehrerer Modelle und Betriebsmodi – also nicht nur ein theoretischer Spitzenwert des Chips. Das macht die Ergebnisse für den praktischen Modellbetrieb aussagekräftiger. 7

Trotzdem handelt es sich um von OpenAI veröffentlichte Resultate und nicht um ein unabhängig wiederholtes, vollständig neutrales Branchenurteil. Die Zahlen sind daher ein wichtiger Hinweis, aber noch kein endgültiger Beweis für einen dauerhaften Vorsprung. 45

Der wichtigste Vorbehalt betrifft den Speicher: Jalapeño verwendet HBM4, während die getesteten GB200- und GB300-Systeme diese Speichertechnologie nicht einsetzen. SemiAnalysis bewertete den Vergleich deshalb als unvollständig und nicht vollständig fair. 5

Das ist bei großen Sprachmodellen besonders relevant, weil Speicherkapazität und Speicherbandbreite die Inferenzleistung stark beeinflussen können. Nvidias Rubin-Plattform nutzt ebenfalls HBM4 und wäre damit ein zeitlich und technologisch passenderer Vergleich. Aus Jalapeños Vorsprung gegenüber GB200 und GB300 folgt deshalb nicht, dass der Chip auch Rubin schlagen wird. 517

Hinzu kommt der unterschiedliche Zweck der Systeme. Jalapeño ist ein Inferenz-ASIC, während Nvidia-GPUs auch für Training, Feinabstimmung, Forschung und wechselnde Modellarchitekturen eingesetzt werden können. Ein spezialisierter Chip ist vor allem dann attraktiv, wenn das Ziel-Workload stabil genug ist, um die geringere Flexibilität zu rechtfertigen. 520

Start Ende 2026, größerer Ausbau 2027

OpenAI will Jalapeño bis Ende 2026 in sehr kleinen Stückzahlen in der eigenen Recheninfrastruktur einsetzen. Ein deutlich umfangreicherer Ausbau ist für 2027 vorgesehen. 1133

Das Projekt ist als Plattform über mehrere Chipgenerationen angelegt. OpenAI zufolge befinden sich bereits die zweite und dritte Generation in Entwicklung. Broadcom beschreibt zudem eine Roadmap für Rechenzentren im Gigawatt-Maßstab mit Microsoft und weiteren Partnern. 31130

Die Strategie geht über den einzelnen Chip hinaus: OpenAI will Modelle, Inferenzsoftware, Speicher, Netzwerke, Systeme und Silizium gemeinsam optimieren. Eine solche vertikale Abstimmung kann Latenzen und Betriebskosten senken, macht die Hardware aber weniger universell einsetzbar. 3633

Der kurze Entwicklungszyklus ist bemerkenswert, doch ein schneller Tape-out ist noch keine bewiesene Serienproduktion. Fertigungsausbeute, Systemintegration, Software-Reife, Lieferfähigkeit und die Unterstützung künftiger Modelle werden darüber entscheiden, ob aus dem Benchmark-Vorteil ein dauerhafter Infrastrukturvorteil wird. Die verfügbaren Berichte bestätigen den geplanten Start, nicht jedoch die spätere Produktionsgröße. 3033

Warum Nvidia nicht sofort ersetzt wird

OpenAI hat klargestellt, dass das Unternehmen Nvidia für das Training und weiterhin als Rechenpartner nutzen will. 411

Das ist strategisch nachvollziehbar. Das Training von Spitzenmodellen erfordert flexible Systeme, die sich an neue Architekturen, Algorithmen und Experimente anpassen lassen. Nvidia verfügt zudem über das CUDA-Software-Ökosystem sowie über Netzwerke und komplette Rechenzentrumssysteme. 5

Jalapeño ist daher eher eine gezielte Verlagerung bestimmter Aufgaben als ein vollständiger GPU-Ausstieg. OpenAI könnte den Chip für wiederkehrende, planbare Inferenz-Workloads einsetzen, bei denen das Unternehmen Modelle, Software und Infrastruktur selbst kontrolliert. Nvidia bleibt für Training, Forschung, Modelliteration und besonders variable Aufgaben wichtig. 45

Huang spielt die Gefahr für Nvidia herunter – mit einem differenzierten Argument

Nvidia-Chef Jensen Huang kann den Wert eines spezialisierten ASICs bei einem eng definierten Inferenztest relativieren, ohne zu behaupten, dass solche Chips grundsätzlich bedeutungslos seien. Nvidias Argument lautet im Kern: Kunden kaufen nicht nur Rechenleistung für eine einzelne Aufgabe, sondern eine flexible Plattform. GPUs können Modelle trainieren, feinjustieren und ausführen, während sich Modelle und Software verändern. CUDA, Netzwerktechnik und komplette Systemlösungen erweitern diesen Vorteil über den reinen Chipvergleich hinaus. 5

Auch die zunächst begrenzte Verfügbarkeit schmälert die unmittelbare Bedrohung. Jalapeño wird anfangs in OpenAIs eigener Infrastruktur eingesetzt und ist nicht als allgemein verfügbare Alternative gedacht, die Kunden weltweit selbst kaufen und betreiben können. 14

Die Ankündigung verändert deshalb zunächst eher OpenAIs Verhandlungsposition bei Inferenz-Hardware, als dass sie den gesamten Markt für KI-Rechenleistung umkrempelt. OpenAI zeigt eine mögliche Alternative für einen Teil seiner Workloads, beendet seine Abhängigkeit von Nvidia aber nicht.

Was Jalapeño für Nvidia und den Markt bedeuten könnte

Analysten sehen in Jalapeño einen Beleg dafür, dass ein von einem großen KI-Anbieter entwickelter ASIC bei ausgewählten Inferenzaufgaben mit Blackwell-Systemen mithalten oder sie bei der Effizienz übertreffen kann. Das könnte Nvidia besonders im schnell wachsenden Inferenzgeschäft unter Druck setzen, da große Betreiber ihre Betriebskosten senken und ihre Abhängigkeit von einem einzelnen Lieferanten verringern wollen. 1732

OpenAI ist mit dieser Strategie nicht allein. Auch Google, AWS und Meta werden als große Technologieunternehmen genannt, die eigene KI-Chips entwickeln. Das verstärkt den Trend zu Hardware, die auf bestimmte Workloads zugeschnitten ist. 5

Wahrscheinlicher als ein sofortiger Zusammenbruch des GPU-Marktes ist eine stärkere Aufteilung:

• Spezialisierte ASICs könnten für stabile, volumenstarke Inferenzaufgaben großer Plattformen attraktiv werden.
• Nvidia-GPUs dürften bei Training, schneller Modellentwicklung, heterogenen Workloads und überall dort stark bleiben, wo Flexibilität und das Software-Ökosystem entscheidend sind. 520
• Eigene Chips verschaffen großen Kunden zusätzlichen Spielraum bei Verhandlungen über künftige GPU-Käufe, weil sie einen Teil der planbaren Inferenznachfrage selbst abdecken können.

Die entscheidende Frage lautet nun, ob Jalapeños gemeldete Vorteile auch bei faireren Vergleichen, neuen Modellen und einem Einsatz im Produktionsmaßstab bestehen bleiben. Der derzeitige Kenntnisstand erlaubt eine engere, aber wichtige Schlussfolgerung: OpenAI hat gezeigt, dass maßgeschneidertes Silizium bei ausgewählten Inferenz-Workloads mit Blackwell konkurrieren kann. Nvidia bleibt jedoch im übrigen KI-Rechenstack tief verankert.