AnswersPublished15 sources
OpenAI’s Jalapeño-chip claimt hogere snelheid en efficiëntie dan Nvidia
OpenAI zegt dat Jalapeño, de eerste custom accelerator die het samen met Broadcom ontwikkelde, de geteste Nvidia GB200 en GB300 systemen overtreft in energie efficiëntie en reactiesnelheid. In de geteste modellen rapporteerde OpenAI 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to end latenti...
Gepubliceerd doorAfbeeldingen gegenereerd met GPT Image 1.5
Research answer
Key takeaways
- OpenAI zegt dat Jalapeño, de eerste custom accelerator die het samen met Broadcom ontwikkelde, de geteste Nvidia GB200 en GB300 systemen overtreft in energie efficiëntie en reactiesnelheid.
- In de geteste modellen rapporteerde OpenAI 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to end latentie dan de vergelijkingssystemen.
- Bij DeepSeek R1 kwam Jalapeño volgens OpenAI uit op ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij GB300.
- De resultaten komen uit een beperkte, door OpenAI gerapporteerde InferenceX test en zijn geen onafhankelijke, één op één meting van alle productieworkloads.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI zegt dat zijn eigen Jalapeño-chip in specifieke inference-tests sneller en energiezuiniger presteert dan rack-systemen met Nvidia’s GB200 en GB300. Het gaat om de eerste accelerator die OpenAI samen met Broadcom ontwikkelde voor het uitvoeren van grote taalmodellen, oftewel AI-inference: het genereren van antwoorden door een al getraind model.
De cijfers zijn opvallend, maar moeten voorzichtig worden gelezen. Het zijn vroege, door OpenAI gerapporteerde resultaten op geselecteerde workloads — geen onafhankelijke vergelijking van alle AI-toepassingen in productie. 4
7
Wat lieten de benchmarks zien?
OpenAI testte Jalapeño met GPT‑OSS 120B, DeepSeek R1 670B en Kimi K2.5 1T. Over die drie modellen rapporteerde het bedrijf:
- 1,5 tot 1,9 keer meer AI-werk per watt bij maximale doorvoer;
- 1,7 tot 3,6 keer lagere end-to-end-latentie dan de vergeleken Nvidia-systemen.
4
Bij GPT‑OSS 120B tegenover GB200 meldde OpenAI een piekdoorvoer van 85.448 tegenover 44.960 eenheden per kilowatt — een voordeel van 1,9 keer. De end-to-end-latentie bedroeg 1,03 seconde tegenover 1,80 seconde, oftewel 1,7 keer lager. De minimale tijd tussen tokens kwam uit op 0,69 milliseconde, wat neerkomt op 1.459 tokens per seconde per gebruiker. GB200 kwam in die test uit op 1,87 milliseconde, of 535 tokens per seconde per gebruiker. 4
Bij DeepSeek R1 in MXFP4-formaat vergeleek OpenAI Jalapeño met GB300. Daar rapporteerde het 19.641 tegenover 11.781 eenheden piekdoorvoer per kilowatt, een voordeel van 1,7 keer. De end-to-end-latentie was 1,65 seconde tegenover 5,99 seconde. De minimale tijd tussen tokens bedroeg 1,43 milliseconde: ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij GB300. 4
Voor Kimi K2.5 in MXFP4-formaat meldde OpenAI 1,5 keer meer doorvoer per kilowatt en 3,4 keer lagere end-to-end-latentie dan GB300. Bij de minimale tijd tussen tokens kwam Jalapeño uit op ongeveer 694 tokens per seconde per gebruiker, tegenover 182 bij het Nvidia-systeem. 4
Waarom zou Jalapeño sneller zijn?
Jalapeño is geen algemene GPU die achteraf voor taalmodellen is aangepast. Het is een accelerator die specifiek voor LLM-inference is ontworpen. OpenAI werkte aan het acceleratorontwerp, Broadcom aan de implementatie van het silicium en de netwerktechnologie, en Celestica aan de integratie van printplaten, racks en complete systemen. 1
Het systeem is op rackschaal opgebouwd rond een groot, onderling verbonden netwerkdomein. Daardoor kan een workload binnen één systeem blijven. Modelstatus, waaronder de zogenoemde KV-cache, wordt volgens OpenAI lokaal geplaatst en behouden. Dat moet onnodige gegevensverplaatsing tussen chips en communicatievertragingen beperken. 4
Jalapeño splitst prefill en decode bovendien niet op in twee aparte pools met hardware. Dezelfde flexibele reken-, geheugen- en netwerkbronnen moeten beide fasen afhandelen. Dat is relevant omdat het verwerken van de prompt vooral rekenkracht vraagt, terwijl het stap voor stap genereren van nieuwe tokens vooral afhankelijk is van geheugenbandbreedte. 4
De publiek beschikbare informatie over de volledige systeemconfiguratie blijft beperkt. Een technisch rapport beschrijft een systeem met 128 chips, ongeveer 1,7 exaFLOPS en 27 terabyte HBM-geheugen. De benchmarkpublicatie van OpenAI bevat echter geen volledige materiaallijst van het rack. 4
Ontwikkeld in negen maanden — met hulp van AI
OpenAI zegt dat Jalapeño in slechts negen maanden van het eerste ontwerp naar de productiestap (tape-out) ging. Het bedrijf noemt dat een uitzonderlijk korte ontwikkelcyclus voor een geavanceerde ASIC. 1
OpenAI gebruikte zijn eigen modellen bij onder meer ontwerpwerk, implementatieverkenning, metingen, verificatie, optimalisatie van rekencircuits en programmering. Volgens het bedrijf hielp Codex met GPT‑Astra om drie modellen met open gewichten die aanvankelijk niet op de planning stonden binnen twee maanden performant te laten draaien. Bij geselecteerde attention- en mixture-of-experts-blokken van GPT‑OSS waren door AI gegenereerde implementaties 1,5 tot 1,8 keer sneller dan bestaande implementaties die door mensen waren geschreven. Die cijfers gelden voor afzonderlijke bouwblokken en niet voor volledige modellen. 4
Belangrijke kanttekeningen bij de vergelijking
Jalapeño is bedoeld voor inference, niet voor het trainen van modellen. OpenAI blijft daarom Nvidia-, AMD- en andere accelerators nodig hebben voor training en voor een deel van de inferencecapaciteit. 6
De test gebruikte InferenceX, een openbare benchmark van SemiAnalysis. Het scenario bestond uit één beurt met een invoer van 8.000 tokens en een uitvoer van 1.000 tokens. De benchmark meet de volledige afhandeling van een verzoek en vergelijkt systemen bij een vergelijkbare gebruikerservaring, genormaliseerd op basis van de gepubliceerde chipvermogens. 4
7
OpenAI vermeldt voor Jalapeño een pakketvermogen van 700 watt, maar zegt dat het gemeten langdurige verbruik tijdens deze workloads op of onder 550 watt lag. Voor GB200 en GB300 werd respectievelijk gerekend met 1.200 en 1.400 watt. De winst per watt hangt daardoor mede af van de gekozen workload en van de manier waarop het vermogen wordt berekend. 4
SemiAnalysis zegt dat het runs in het lab van OpenAI heeft bijgewoond, maar niet zelf de volledige benchmarkreeks heeft uitgevoerd. De organisatie waarschuwt bovendien dat het één-beurtscenario van InferenceX geen langere contexten, gesprekken met meerdere beurten, agentworkloads, routing, prefix caching, cachebeheer of offloadgedrag test. Zulke factoren kunnen de prestaties in echte productieomgevingen aanzienlijk beïnvloeden. 4
Ook is de vergelijking tijdgebonden. GB200 en GB300 zijn commerciële systemen uit Nvidia’s Blackwell-generatie, terwijl toekomstige Nvidia-platforms mogelijk relevantere concurrenten zijn wanneer Jalapeño op grotere schaal wordt uitgerold. Nvidia rapporteert daarnaast DeepSeek R1-resultaten voor GB300 volgens de offline methodologie van MLPerf. Die cijfers zijn niet rechtstreeks vergelijkbaar met de interactieve tokens-per-gebruiker-resultaten van Jalapeño. 2
4
Wanneer komt de chip beschikbaar?
OpenAI plant een beperkte inzet van Jalapeño-systemen in de eigen rekeninfrastructuur tegen het einde van 2026. In 2027 moet die capaciteit worden uitgebreid. Een tweede generatie is volgens OpenAI al volop in ontwikkeling, terwijl een derde generatie wordt voorbereid. 4
6
Externe verkoop staat voorlopig niet op de planning. Richard Ho, vicepresident hardware bij OpenAI, zei dat de interne vraag zo groot is dat het bedrijf geen ruimte ziet voor verkoop aan andere klanten. 6
Jalapeño moet Nvidia en AMD dus vooral aanvullen, niet volledig vervangen. De chip is bovendien maar voor één helft van de AI-infrastructuur ontworpen: inference. OpenAI zegt Nvidia en andere partners breed te blijven inzetten, vooral voor training. 4
6
De stap plaatst OpenAI wel nadrukkelijk in dezelfde race naar verticale integratie als Google, Amazon en Microsoft, die al eigen AI-chips ontwikkelen of gebruiken. Anthropic heeft eveneens gezegd aan een eigen chipontwerp te werken. De huidige claim van OpenAI is echter beperkt: Jalapeño zou vooral bij LLM-inference sterk presteren onder de bekendgemaakte benchmarkconfiguraties. 6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAI’s Jalapeño-chip claimt hogere snelheid en efficiëntie dan Nvidia"?
OpenAI zegt dat Jalapeño, de eerste custom accelerator die het samen met Broadcom ontwikkelde, de geteste Nvidia GB200 en GB300 systemen overtreft in energie efficiëntie en reactiesnelheid.
What are the key points to validate first?
OpenAI zegt dat Jalapeño, de eerste custom accelerator die het samen met Broadcom ontwikkelde, de geteste Nvidia GB200 en GB300 systemen overtreft in energie efficiëntie en reactiesnelheid. In de geteste modellen rapporteerde OpenAI 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to end latentie dan de vergelijkingssystemen.
What should I do next in practice?
Bij DeepSeek R1 kwam Jalapeño volgens OpenAI uit op ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij GB300.
Sources
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
axios.comOpenAI says its Jalapeño chip bests Nvidia, others