AntwortenVeröffentlicht15 Quellen
OpenAIs Jalapeño-Chip schlägt Nvidia in ersten Inferenztests
OpenAI zufolge erzielte Jalapeño in den getesteten Inferenz Workloads 1,5 bis 1,9 mal mehr KI Leistung pro Watt und eine 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als die verglichenen Nvidia Systeme. Beim Modell GPT‑OSS 120B meldete OpenAI gegenüber einem GB200 1.459 statt 535 Tokens pro Sekunde und Nutzer sowi...
Veröffentlicht vonBilder erstellt mit GPT Image 1.5
Forschungsantwort
Wichtige Erkenntnisse
- OpenAI zufolge erzielte Jalapeño in den getesteten Inferenz Workloads 1,5 bis 1,9 mal mehr KI Leistung pro Watt und eine 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als die verglichenen Nvidia Systeme.
- Beim Modell GPT‑OSS 120B meldete OpenAI gegenüber einem GB200 1.459 statt 535 Tokens pro Sekunde und Nutzer sowie eine 1,9 mal höhere Spitzenleistung pro Kilowatt.
- Bei DeepSeek R1 erreichte Jalapeño laut OpenAI rund 700 Tokens pro Sekunde und Nutzer – gegenüber 169 beim verglichenen GB300.
- Jalapeño ist als auf Large Language Modelle (LLMs) spezialisierter Inferenzbeschleuniger konzipiert, nicht als universell einsetzbarer Grafikprozessor.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI präsentiert Jalapeño als seinen ersten gemeinsam mit Broadcom entwickelten Spezialchip für die Inferenz – also das Ausführen bereits trainierter KI-Modelle. In den veröffentlichten Tests soll der Beschleuniger gegenüber Nvidia-Systemen mit GB200- und GB300-Chips sowohl energieeffizienter als auch schneller reagieren.
Wichtig ist die Einordnung: Die Ergebnisse wurden von OpenAI veröffentlicht und basieren auf bestimmten Konfigurationen und Workloads. Sie sind daher ein frühes Signal für die Leistungsfähigkeit des Designs, aber kein unabhängiger Beleg dafür, dass Jalapeño bei jeder KI-Anwendung überlegen ist. 4
7
Was die Benchmarks zeigen
OpenAI testete Jalapeño mit GPT‑OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. Über alle drei Modelle hinweg meldete das Unternehmen 1,5- bis 1,9-mal mehr KI-Leistung pro Watt bei Spitzen-Durchsatz sowie eine 1,7- bis 3,6-mal niedrigere Ende-zu-Ende-Latenz als bei den jeweiligen Vergleichssystemen. 4
Besonders deutlich fallen die Unterschiede bei interaktiven Anwendungen aus, bei denen Nutzer nicht nur möglichst viele Anfragen insgesamt, sondern schnelle Antworten erwarten:
GPT‑OSS 120B gegen Nvidia GB200: OpenAI meldete eine 1,9-mal höhere gemischte Spitzenleistung pro Kilowatt – 85.448 gegenüber 44.960. Die Ende-zu-Ende-Latenz lag demnach bei 1,03 statt 1,80 Sekunden. Beim geringsten Zeitabstand zwischen zwei Tokens kam Jalapeño auf 0,69 Millisekunden, entsprechend 1.459 Tokens pro Sekunde und Nutzer. Der GB200 erreichte 1,87 Millisekunden beziehungsweise 535 Tokens pro Sekunde und Nutzer.
4
DeepSeek R1 MXFP4 gegen Nvidia GB300: Hier gab OpenAI eine 1,7-mal höhere Spitzenleistung pro Kilowatt an – 19.641 gegenüber 11.781 – und eine 3,6-mal geringere Ende-zu-Ende-Latenz von 1,65 statt 5,99 Sekunden. Der minimale Token-Abstand betrug 1,43 Millisekunden, also etwa 700 Tokens pro Sekunde und Nutzer, gegenüber 169 beim GB300.
Kimi K2.5 MXFP4 gegen Nvidia GB300: In diesem Test lag die Spitzenleistung pro Kilowatt laut OpenAI 1,5-mal höher, während die Ende-zu-Ende-Latenz 3,4-mal niedriger ausfiel. Beim minimalen Token-Abstand wurden rund 694 gegenüber 182 Tokens pro Sekunde und Nutzer angegeben.
Die Kennzahl „Tokens pro Sekunde und Nutzer“ beschreibt dabei vor allem, wie flüssig eine einzelne interaktive Sitzung läuft. Sie ist nicht direkt mit den maximalen Token-Durchsatzwerten aus Offline-Benchmarks gleichzusetzen. Nvidia veröffentlicht etwa eigene DeepSeek-R1-Ergebnisse nach der MLPerf-Methodik; diese messen ein anderes Szenario und sollten nicht unmittelbar mit Jalapeños interaktiven Werten verglichen werden. 2
4
Warum der Chip schneller und sparsamer sein soll
Jalapeño ist nicht einfach ein allgemeiner Grafikprozessor, der für KI-Aufgaben umfunktioniert wurde. OpenAI beschreibt ihn als Beschleuniger, der speziell für die Anforderungen großer Sprachmodelle entwickelt wurde. OpenAI lieferte den architektonischen Entwurf, Broadcom übernahm unter anderem die Umsetzung des Siliziums und die Vernetzung, während Celestica für Platinen-, Rack- und Systemintegration zuständig war. 1
Ein zentraler Ansatz ist, Modellzustände – einschließlich des sogenannten KV-Caches – möglichst lokal zu platzieren und zu halten. Dadurch sollen Daten weniger häufig zwischen Chips verschoben werden. Weniger Datenbewegung kann Kommunikationsengpässe reduzieren, die bei großen verteilten KI-Systemen einen erheblichen Teil der Laufzeit und des Energieverbrauchs ausmachen. 4
OpenAI will außerdem nicht die Rechenressourcen für die beiden Inferenzphasen Prefill und Decode strikt voneinander trennen. Beim Prefill wird der Eingabeprompt verarbeitet; diese Phase ist typischerweise rechenintensiv. Beim Decode werden die Antwort-Tokens nacheinander erzeugt, wobei vor allem Speicherbandbreite eine wichtige Rolle spielt. Laut OpenAI sollen dieselben flexibel nutzbaren Rechen-, Speicher- und Netzwerkressourcen beide Phasen bedienen. 4
Die öffentlich genannten technischen Details bleiben begrenzt. Ein technischer Bericht beschreibt ein System mit 128 Chips, rund 1,7 ExaFLOPS und 27 Terabyte HBM-Speicher. OpenAIs Benchmark-Beitrag enthält jedoch keine vollständige Liste aller Komponenten eines Racks. 4
Entwicklung in nur neun Monaten
Nach Angaben von OpenAI vergingen vom ersten Entwurf bis zum sogenannten Tape-out – der Übergabe des Chipdesigns an die Fertigung – nur neun Monate. Das Unternehmen bezeichnet diesen Zeitraum als außergewöhnlich schnell für einen fortschrittlichen Hochleistungs-ASIC. 1
Dabei kamen auch OpenAIs eigene KI-Modelle zum Einsatz. Sie halfen laut Unternehmen bei Designaufgaben, der Untersuchung von Implementierungsvarianten, Messungen, Verifikation, der Optimierung von Rechenschaltungen und der Programmierung. Mit Codex und GPT‑Astra habe OpenAI zudem drei zunächst nicht eingeplante Open-Weight-Modelle innerhalb von zwei Monaten auf ein hohes Leistungsniveau gebracht. Bei ausgewählten Attention- und Mixture-of-Experts-Blöcken von GPT‑OSS seien KI-generierte Implementierungen 1,5- bis 1,8-mal schneller gewesen als zuvor von Menschen geschriebene Versionen. Diese Angaben beziehen sich allerdings auf einzelne Bausteine, nicht auf die Leistung vollständiger Modelle. 4
Was die Ergebnisse nicht aussagen
Jalapeño wurde für Inferenz entwickelt, nicht für das Training von KI-Modellen. OpenAI wird deshalb auch künftig auf Nvidia-, AMD- und andere Beschleuniger für das Training sowie für einen Teil seiner Inferenzkapazität angewiesen sein. 6
Die Tests liefen auf der öffentlichen InferenceX-Suite von SemiAnalysis. Verwendet wurden nominale Einzelsitzungen mit 8.000 Eingabe- und 1.000 Ausgabe-Tokens; gemessen wurde die vollständige Verarbeitung einer Anfrage. Die Systeme wurden bei vergleichbarer Nutzererfahrung gegenübergestellt und anhand veröffentlichter Chip-Leistungsangaben normalisiert. 4
7
Auch die Leistungsaufnahme ist ein wichtiger Vorbehalt. OpenAI führt Jalapeño mit 700 Watt Paketleistung, erklärte aber, die gemessene Dauerleistung habe bei diesen Workloads bei höchstens 550 Watt gelegen. Für GB200 und GB300 wurden 1.200 beziehungsweise 1.400 Watt angesetzt. Der Vorteil pro Watt hängt deshalb auch davon ab, welche Leistungswerte und Abgrenzungen in die Rechnung einfließen. 4
SemiAnalysis gab an, Testläufe in OpenAIs Labor beobachtet zu haben, führte die komplette Benchmark-Suite jedoch nicht selbst aus. Zudem weist das Analyseunternehmen darauf hin, dass ein einzelner 8.000-zu-1.000-Token-Test keine längeren Kontexte, mehrstufige Agenten-Workloads, Routing, Prefix-Caching, Cache-Verwaltung oder das Auslagern von Daten abbildet. Diese Faktoren können die Leistung in realen Produktionsumgebungen deutlich verändern. 4
Der Vergleich ist außerdem zeitlich begrenzt: GB200 und GB300 gehören zur Blackwell-Generation von Nvidia. Bis Jalapeño in größerem Umfang eingesetzt wird, könnten neuere Nvidia-Plattformen die relevanteren Vergleichsprodukte sein. 2
4
Kein Verkauf an externe Kunden geplant
OpenAI plant zunächst einen begrenzten Einsatz von Jalapeño in der eigenen Recheninfrastruktur bis Ende 2026. Im Jahr 2027 soll die Kapazität ausgebaut werden. Eine zweite Generation befinde sich bereits in intensiver Entwicklung, während die Arbeiten an einer dritten Generation anliefen. 4
6
Ein Verkauf des Chips an externe Kunden ist derzeit nicht vorgesehen. OpenAIs Hardwarechef Richard Ho sagte, die interne Nachfrage sei so hoch, dass sich ein externes Angebot nicht abzeichne. 6
Strategisch soll Jalapeño Nvidia und AMD daher zunächst ergänzen, nicht ersetzen. Der Chip verschafft OpenAI mehr Kontrolle über Kosten, Energieverbrauch und die Optimierung eigener Inferenzsysteme – löst aber nicht den Bedarf an leistungsfähiger Hardware für das Training großer Modelle.
Damit reiht sich OpenAI in einen breiteren Trend zur vertikalen Integration ein. Google entwickelt und nutzt bereits TPUs für Training und Inferenz, Amazon und Microsoft arbeiten an eigenen KI-Chips, und auch Anthropic hat ein internes Chipdesign-Projekt angekündigt. Jalapeños aktueller Vorsprung bezieht sich dabei eng auf LLM-Inferenz in den veröffentlichten Benchmark-Konfigurationen – nicht auf den gesamten KI-Hardwaremarkt. 6
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „OpenAIs Jalapeño-Chip schlägt Nvidia in ersten Inferenztests“?
OpenAI zufolge erzielte Jalapeño in den getesteten Inferenz Workloads 1,5 bis 1,9 mal mehr KI Leistung pro Watt und eine 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als die verglichenen Nvidia Systeme.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
OpenAI zufolge erzielte Jalapeño in den getesteten Inferenz Workloads 1,5 bis 1,9 mal mehr KI Leistung pro Watt und eine 1,7 bis 3,6 mal niedrigere Ende zu Ende Latenz als die verglichenen Nvidia Systeme. Beim Modell GPT‑OSS 120B meldete OpenAI gegenüber einem GB200 1.459 statt 535 Tokens pro Sekunde und Nutzer sowie eine 1,9 mal höhere Spitzenleistung pro Kilowatt.
Was soll ich als nächstes in der Praxis tun?
Bei DeepSeek R1 erreichte Jalapeño laut OpenAI rund 700 Tokens pro Sekunde und Nutzer – gegenüber 169 beim verglichenen GB300.
Quellen
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...