AntwortenVeröffentlicht19 Quellen
OpenAIs Jalapeño: Mehr KI-Leistung pro Watt als Nvidia GB200 und GB300?
OpenAI meldet für Jalapeño 1,5 bis 1,9 mal mehr KI Leistung pro Watt und 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als bei den verglichenen Nvidia Systemen. Bei DeepSeek R1 soll Jalapeño rund 700 Token pro Sekunde und Nutzer erreicht haben – gegenüber 169 bei Nvidia GB300.
Veröffentlicht vonBearbeitet mit GPT-5.6 LunaBilder erstellt mit GPT Image 1.5
Forschungsantwort
Wichtige Erkenntnisse
- OpenAI meldet für Jalapeño 1,5 bis 1,9 mal mehr KI Leistung pro Watt und 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als bei den verglichenen Nvidia Systemen.
- Bei DeepSeek R1 soll Jalapeño rund 700 Token pro Sekunde und Nutzer erreicht haben – gegenüber 169 bei Nvidia GB300.
- Jalapeño ist für Inferenz, nicht für das Training von KI Modellen ausgelegt. OpenAI plant zunächst einen begrenzten internen Einsatz bis Ende 2026 und keinen Verkauf an externe Kunden.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAIs erster eigener KI-Beschleuniger trägt den feurigen Namen Jalapeño – und soll bei einer zentralen Aufgabe besonders stark sein: der schnellen und energieeffizienten Bereitstellung großer Sprachmodelle. In den jüngsten, von OpenAI veröffentlichten InferenceX-Tests erzielte der Chip laut Unternehmen mehr KI-Leistung pro Watt, niedrigere Ende-zu-Ende-Latenzen und sehr hohe interaktive Token-Raten im Vergleich zu Nvidia-Systemen auf Basis von GB200 und GB300. Getestet wurde mit GPT‑OSS 120B, DeepSeek R1 und Kimi K2.5 1T. 3
4
Die entscheidende Einschränkung: Es handelt sich um frühe, von OpenAI selbst berichtete Ergebnisse unter einer definierten InferenceX-Konfiguration. Daraus lässt sich kein allgemeingültiger Vergleich für sämtliche Produktiv-Workloads oder für künftige Nvidia-Plattformen ableiten. 4
7
Was Jalapeño in den Tests erreicht haben soll
Über alle drei getesteten Modelle hinweg meldet OpenAI bei Spitzen-Durchsatz 1,5- bis 1,9-mal mehr KI-Leistung pro Watt sowie eine 1,7- bis 3,6-mal niedrigere Ende-zu-Ende-Latenz als bei den Vergleichssystemen. Für besonders interaktive Anwendungen soll der Leistungsvorsprung zwischen dem 2,1- und 4,1-Fachen liegen. 3
Die wichtigsten Einzelwerte:
GPT‑OSS 120B gegen Nvidia GB200: Jalapeño kam laut OpenAI auf 85.448 Einheiten gemischten Spitzendurchsatzes pro Kilowatt, gegenüber 44.960 beim GB200. Die Ende-zu-Ende-Latenz lag demnach bei 1,03 Sekunden statt 1,80 Sekunden. Beim minimalen Abstand zwischen zwei Tokens wurden 0,69 Millisekunden erreicht – umgerechnet rund 1.459 Token pro Sekunde und Nutzer, gegenüber 535 beim GB200.
4
DeepSeek R1 MXFP4 gegen Nvidia GB300: OpenAI meldet 19.641 Einheiten gemischten Spitzendurchsatzes pro Kilowatt, verglichen mit 11.781 beim GB300. Die Ende-zu-Ende-Latenz betrug 1,65 statt 5,99 Sekunden. Beim minimalen Token-Abstand waren es ungefähr 700 Token pro Sekunde und Nutzer, gegenüber 169 beim GB300.
6
Kimi K2.5 MXFP4 gegen Nvidia GB300: Hier berichtet OpenAI von 1,5-mal mehr Spitzendurchsatz pro Kilowatt, einer 3,4-mal niedrigeren Ende-zu-Ende-Latenz und etwa 694 Token pro Sekunde und Nutzer. Der GB300 kam in diesem Vergleich auf 182.
„Token pro Sekunde und Nutzer“ beschreibt vor allem die wahrgenommene Reaktionsgeschwindigkeit einer einzelnen Anfrage. Der Wert misst also nicht nur, wie viele Token ein kompletter Rack-Verbund bei hoher paralleler Auslastung erzeugen kann. Für Chatbots, Programmierassistenten und agentische Anwendungen ist dieser Unterschied relevant: Eine hohe Gesamtkapazität hilft wenig, wenn einzelne Antworten trotzdem zäh erscheinen.
Warum ein Spezialchip schneller sein kann
Jalapeño ist als Beschleuniger speziell für die Inferenz großer Sprachmodelle konzipiert – also für das Ausführen eines bereits trainierten Modells. Im Gegensatz dazu sind GPUs wie Nvidias Produkte vielseitiger und werden sowohl für Training als auch für Inferenz eingesetzt. OpenAI entwickelte die Architektur, Broadcom übernahm die technische Umsetzung des Chips und die Vernetzung, während Celestica an Platinen, Racks und der Systemintegration beteiligt war. 17
32
Das Design ist auf Rack-Ebene als großer, zusammenhängender Netzwerkbereich ausgelegt. OpenAI zufolge können Modellzustände – darunter der sogenannte KV-Cache – möglichst lokal abgelegt und gehalten werden. Dadurch soll weniger Datenverkehr zwischen den Chips entstehen, was Kommunikationspausen bei der Texterzeugung reduziert. 4
6
Außerdem trennt das System die beiden Inferenzphasen Prefill und Decode nicht in starre, voneinander getrennte Ressourcenpools. Stattdessen sollen Rechenleistung, Speicher und Netzwerk flexibel für beide Phasen nutzbar sein. Beim Prefill wird die Eingabe verarbeitet; diese Phase ist vergleichsweise rechenintensiv. Beim Decode entsteht die Antwort Token für Token, wobei häufig Speicherbewegungen und Bandbreite zum Engpass werden. 4
6
Die öffentlich verfügbaren technischen Angaben sind allerdings unvollständig. Eine technische Beschreibung nennt ein System mit 128 Chips, etwa 1,7 ExaFLOPS und 27 Terabyte HBM-Speicher. OpenAIs Benchmark-Ankündigung enthält jedoch keine vollständige Material- und Komponentenliste des Racks und nicht genügend Details, um alle Ergebnisse unabhängig nachzustellen. 4
OpenAI setzte bei der Entwicklung selbst KI ein
Nach Angaben des Unternehmens vergingen vom ersten Entwurf bis zum sogenannten Tape-out – dem Übergang des Chipdesigns in die Fertigung – nur neun Monate. Für einen modernen Spezialbeschleuniger ist das ein ungewöhnlich kurzer Entwicklungszyklus. 17
21
OpenAI erklärt zudem, eigene Modelle hätten bei der Architekturentwicklung, Implementierung, Messung, Verifikation, Optimierung von Rechenschaltungen und beim Programmieren geholfen. Codex mit GPT‑Astra habe dabei innerhalb von zwei Monaten drei ursprünglich nicht eingeplante Open-Weight-Modelle auf ein hohes Leistungsniveau gebracht.
Für ausgewählte Attention- und Mixture-of-Experts-Blöcke von GPT‑OSS seien die von KI erzeugten Implementierungen laut OpenAI 1,5- bis 1,8-mal schneller gewesen als bestehende, von Menschen geschriebene Implementierungen. Diese Werte beziehen sich allerdings auf einzelne Bausteine und nicht auf die Leistung eines vollständigen Modells im Produktivbetrieb. 4
Die Grenzen der Benchmark-Aussage
Die Schlagzeile „OpenAI schlägt Nvidia“ wäre daher zu pauschal. Mehrere Faktoren schränken die Vergleichbarkeit ein.
Jalapeño ist ein Inferenzbeschleuniger – keine Trainings-GPU
Jalapeño soll trainierte Modelle bereitstellen, ist aber nicht für das Training von Modellen ausgelegt. OpenAI wird deshalb weiterhin Nvidia-, AMD- und andere Beschleuniger für Trainingsaufgaben sowie für Teile der Inferenzkapazität benötigen. 4
6
Der Chip ist damit eher eine spezialisierte Ergänzung der Infrastruktur als ein vollständiger Ersatz für die GPU-Systeme, die OpenAI in unterschiedlichen Bereichen einsetzt.
Getestet wurde ein relativ enges Nutzungsszenario
Zum Einsatz kam der öffentliche InferenceX-Benchmark von SemiAnalysis. Er basiert auf nominalen Einzelanfragen mit 8.000 Eingabe- und 1.000 Ausgabetokens. Gemessen wird die vollständige Bearbeitung einer Anfrage; außerdem wurden die Systeme auf eine vergleichbare Nutzererfahrung abgestimmt und anhand veröffentlichter Chip-Leistungswerte normalisiert. 4
7
SemiAnalysis erklärte, die Durchläufe im OpenAI-Labor beobachtet zu haben, den vollständigen Benchmark-Satz aber nicht selbst ausgeführt zu haben. Zudem teste das Szenario weder längere Kontexte noch mehrstufige Agenten-Workloads, Routing, Prefix-Caching, Cache-Verwaltung oder das Auslagern von Daten. Solche Software- und Serving-Entscheidungen können die Leistung in der Praxis deutlich verändern. 6
Die Leistungsaufnahme beeinflusst den Watt-Vergleich
OpenAI gibt für Jalapeño eine Package-Leistung von 700 Watt an und erklärt, die dauerhaft gemessene Leistungsaufnahme habe bei den getesteten Workloads höchstens 550 Watt betragen. Für GB200 und GB300 wurden modellierte Werte von 1.200 beziehungsweise 1.400 Watt verwendet. Der gemeldete Vorteil pro Watt hängt deshalb teilweise vom Workload, vom Messpunkt und von der Methode zur Erfassung des Stromverbrauchs ab. 4
Der Nvidia-Vergleich ist eine Momentaufnahme
Verglichen wurde Jalapeño mit den zum jeweiligen Zeitpunkt besten verfügbaren Ergebnissen auf Basis von GB200 oder GB300. Bis OpenAI den eigenen Chip in größerem Umfang einsetzt, könnten jedoch neuere Nvidia-Systeme die relevanteren Vergleichspartner sein.
Nvidia veröffentlicht außerdem DeepSeek-R1-Ergebnisse für GB300 nach der abweichenden Offline-Methode von MLPerf. Diese Werte sollten nicht direkt mit Jalapeños interaktiven Angaben zu Token pro Nutzer verglichen werden. 1
2
4
Einsatzplan und Konkurrenzstrategie
OpenAI plant, bis Ende 2026 eine begrenzte Zahl Jalapeño-basierter Systeme in der eigenen Recheninfrastruktur einzusetzen. 2027 soll die Kapazität steigen. Nach Angaben des Unternehmens befindet sich eine zweite Generation bereits in intensiver Entwicklung; eine dritte Generation nimmt ebenfalls Gestalt an. 4
6
Für externe Unternehmen ist Jalapeño vorerst nicht erhältlich. Der OpenAI-Hardwarechef Richard Ho sagte, die interne Nachfrage sei so hoch, dass ein Verkauf oder eine Vermietung an externe Kunden derzeit nicht vorgesehen sei. 6
Die Strategie lautet damit zunächst: Nvidia und AMD ergänzen, nicht verdrängen. Für das Training bleibt OpenAI auf universellere Beschleuniger angewiesen, weshalb die künftige Infrastruktur voraussichtlich aus verschiedenen Chiptypen bestehen wird. Google entwickelt bereits TPUs für Training und Inferenz. Auch Amazon und Microsoft bauen eigene KI-Chips; Anthropic hat ebenfalls an eigenen Designs gearbeitet beziehungsweise entsprechende Pläne beschrieben. 6
Fazit: Ein starker Spezialist, aber noch kein Nvidia-Ersatz
Die frühen Jalapeño-Ergebnisse deuten darauf hin, dass ein auf bestimmte Workloads zugeschnittener Beschleuniger bei der Bereitstellung großer Sprachmodelle Vorteile erzielen kann – insbesondere bei Energieeffizienz, Antwortzeit und der Zahl der pro Nutzer gelieferten Token.
Die belastbarere Schlussfolgerung ist jedoch enger: OpenAI meldet einen Vorsprung bei ausgewählten Modellen, in einem konkreten InferenceX-Szenario und gegenüber bestimmten GB200- und GB300-Konfigurationen. Noch offen ist, wie sich Jalapeño bei breiterem Produktivverkehr, langen Kontexten, mehrstufigen Agenten, anderen Software-Stacks, trainingsnahen Aufgaben und den Nvidia-Systemen schlägt, die zum Zeitpunkt des großflächigen Einsatzes verfügbar sein werden.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „OpenAIs Jalapeño: Mehr KI-Leistung pro Watt als Nvidia GB200 und GB300?“?
OpenAI meldet für Jalapeño 1,5 bis 1,9 mal mehr KI Leistung pro Watt und 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als bei den verglichenen Nvidia Systemen.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
OpenAI meldet für Jalapeño 1,5 bis 1,9 mal mehr KI Leistung pro Watt und 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als bei den verglichenen Nvidia Systemen. Bei DeepSeek R1 soll Jalapeño rund 700 Token pro Sekunde und Nutzer erreicht haben – gegenüber 169 bei Nvidia GB300.
Was soll ich als nächstes in der Praxis tun?
Jalapeño ist für Inferenz, nicht für das Training von KI Modellen ausgelegt. OpenAI plant zunächst einen begrenzten internen Einsatz bis Ende 2026 und keinen Verkauf an externe Kunden.
Quellen
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch