AnswersPublished19 sources
OpenAI claimt dat eigen Jalapeño-chip Nvidia GB200 en GB300 overtreft bij AI-inferentie
OpenAI rapporteert in InferenceX tests 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to endlatentie dan de vergeleken Nvidia GB200 en GB300 systemen. Bij DeepSeek R1 kwam Jalapeño volgens OpenAI uit op ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij de Nvidia GB300.
Gepubliceerd doorBewerkt met GPT-5.6 LunaAfbeeldingen gegenereerd met GPT Image 1.5
Research answer
Key takeaways
- OpenAI rapporteert in InferenceX tests 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to endlatentie dan de vergeleken Nvidia GB200 en GB300 systemen.
- Bij DeepSeek R1 kwam Jalapeño volgens OpenAI uit op ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij de Nvidia GB300.
- Jalapeño is ontworpen voor inferentie, niet voor het trainen van modellen. OpenAI wil de chip vanaf eind 2026 beperkt intern inzetten en verwacht in 2027 meer capaciteit.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI zegt dat zijn eerste zelf ontworpen AI-accelerator, Jalapeño, in recente inferentietests aanzienlijk efficiënter en sneller was dan de Nvidia GB200- en GB300-systemen waarmee de chip werd vergeleken. Volgens het bedrijf leverde Jalapeño meer AI-werk per watt, een lagere end-to-endlatentie en opvallend hoge interactieve token-snelheden bij GPT‑OSS 120B, DeepSeek R1 en Kimi K2.5 1T. 3
4
De belangrijke nuance: dit zijn vroege, door OpenAI gerapporteerde resultaten binnen een specifieke InferenceX-configuratie. Ze vormen geen onafhankelijke, universele vergelijking van alle productieworkloads of van Nvidia-platforms die later beschikbaar komen. 4
7
Wat de benchmarks laten zien
Over de drie geteste modellen rapporteerde OpenAI 1,5 tot 1,9 keer meer AI-werk per watt bij maximale doorvoer en 1,7 tot 3,6 keer lagere end-to-endlatentie dan bij de vergelijkingssystemen. Voor sterk interactieve workloads lag de gerapporteerde prestatiewinst tussen 2,1 en 4,1 keer. 3
De meest concrete resultaten per model:
GPT‑OSS 120B tegenover Nvidia GB200: Jalapeño behaalde volgens OpenAI 85.448 eenheden gemengde piekdoorvoer per kilowatt, tegenover 44.960 voor GB200. De end-to-endlatentie bedroeg 1,03 seconde, tegenover 1,80 seconde. De minimale tijd tussen tokens was 0,69 milliseconde, goed voor ongeveer 1.459 tokens per seconde per gebruiker; GB200 kwam uit op 535.
4
DeepSeek R1 MXFP4 tegenover Nvidia GB300: Jalapeño leverde naar verluidt 19.641 eenheden gemengde piekdoorvoer per kilowatt, tegenover 11.781 voor GB300. De end-to-endlatentie was 1,65 seconde, tegenover 5,99 seconden. Bij de minimale tijd tussen tokens rapporteerde OpenAI ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij GB300.
6
Kimi K2.5 MXFP4 tegenover Nvidia GB300: OpenAI rapporteerde 1,5 keer meer piekdoorvoer per kilowatt, 3,4 keer lagere end-to-endlatentie en ongeveer 694 tokens per seconde per gebruiker, tegenover 182 bij GB300.
Waarom tokens per seconde per gebruiker ertoe doen
De maatstaf ‘tokens per seconde per gebruiker’ gaat over de ervaren snelheid van één verzoek: hoe snel verschijnen nieuwe tokens in een chatantwoord, codevoorstel of agenttaak? Dat is iets anders dan de totale hoeveelheid tokens die een heel datacenter onder zware parallelle belasting kan verwerken.
Voor interactieve AI-diensten is dat verschil belangrijk. Een systeem kan op totale doorvoer goed scoren, maar toch traag aanvoelen als afzonderlijke gebruikers lang op het volgende token moeten wachten.
Waarom een gespecialiseerde chip sneller kan zijn
Jalapeño is geen algemene GPU die zowel voor training als inferentie wordt ingezet. Het is een accelerator die specifiek is ontworpen voor het uitvoeren van al getrainde grote taalmodellen. OpenAI ontwierp de architectuur, Broadcom verzorgde de implementatie van het silicium en de netwerkonderdelen, en Celestica hielp met het ontwerp van borden, racks en de systeemintegratie. 17
32
Het ontwerp is gericht op systemen op rackschaal, met een groot onderling verbonden netwerkdomein waarin een workload zoveel mogelijk binnen één systeem blijft. OpenAI zegt dat modelstatus, waaronder de KV-cache, lokaal wordt geplaatst en behouden waar dat kan. Daardoor hoeft er minder data tussen chips te worden verplaatst en ontstaan er minder communicatievertragingen tijdens het genereren. 4
6
Ook worden de twee belangrijke fasen van inferentie niet in vaste, afzonderlijke resourcepools ondergebracht. Compute, geheugen en netwerkcapaciteit kunnen volgens OpenAI flexibel voor zowel prefill als decode worden gebruikt. Prefill verwerkt de prompt en is relatief rekenintensief; decode genereert vervolgens antwoordtokens één voor één en wordt vaak beperkt door geheugentoegang en bandbreedte. 4
6
De openbaar beschikbare technische informatie blijft beperkt. Een technische beschrijving spreekt over een systeem met 128 chips, ongeveer 1,7 exaflops en 27 TB HBM-geheugen. OpenAI publiceerde echter geen volledige stuklijst van het rack en ook niet genoeg details om alle resultaten onafhankelijk te reproduceren. 4
Ontwikkeld in negen maanden, met hulp van AI
OpenAI zegt dat Jalapeño in negen maanden van het eerste ontwerp naar de zogenaamde manufacturing tape-out ging: het moment waarop het definitieve chipontwerp naar de productiefase wordt gestuurd. Dat is uitzonderlijk snel voor een geavanceerde maatwerkaccelerator. 17
21
Volgens OpenAI hielpen zijn modellen bij ontwerpverkenning, implementatie, metingen, verificatie, optimalisatie van rekenkundige schakelingen en programmering. Het bedrijf zegt bovendien dat Codex met GPT‑Astra drie eerder niet geplande open modellen binnen twee maanden op hoge prestaties wist te brengen.
Bij geselecteerde attention- en mixture-of-experts-blokken van GPT‑OSS zouden door AI gegenereerde implementaties 1,5 tot 1,8 keer sneller zijn geweest dan bestaande implementaties die door mensen waren geschreven. Die cijfers gelden voor specifieke chipblokken en niet voor de prestaties van complete modellen in een productiesysteem. 4
De belangrijkste beperkingen van de test
De kop “OpenAI verslaat Nvidia” is dus te breed als conclusie. De resultaten moeten in hun context worden gelezen.
Jalapeño is voor inferentie, niet voor training
Jalapeño is bedoeld om getrainde modellen te bedienen. De chip is niet ontworpen voor modeltraining. OpenAI verwacht daarom Nvidia-, AMD- en andere accelerators te blijven gebruiken voor training en voor een deel van zijn inferentiecapaciteit. 4
6
Jalapeño is daarmee vooral een gespecialiseerde aanvulling op OpenAI’s infrastructuur, geen volledige vervanger van GPU-systemen.
De workload was relatief smal
De vergelijking gebruikte de openbare InferenceX-benchmark van SemiAnalysis. De test bestond uit nominale single-turnverzoeken met een invoer van 8.000 tokens en een uitvoer van 1.000 tokens. De volledige verwerking van elk verzoek werd gemeten, terwijl de systemen op gebruikerservaring werden afgestemd en de resultaten werden genormaliseerd met gepubliceerde chipvermogens. 4
7
SemiAnalysis zegt dat het de runs in OpenAI’s laboratorium heeft bijgewoond, maar niet zelf de volledige benchmarksuite heeft uitgevoerd. De organisatie waarschuwt ook dat deze opzet geen langere contexten, meerturnige agentworkloads, routing, prefix caching, cachebeheer of offloadgedrag test. Zulke software- en serveerkeuzes kunnen de prestaties in de praktijk aanzienlijk beïnvloeden. 6
De manier waarop stroom wordt geteld speelt mee
OpenAI noemt voor Jalapeño een pakketvermogen van 700 watt en zegt dat het gemeten continue verbruik bij de geteste workloads maximaal ongeveer 550 watt bedroeg. Voor GB200 en GB300 werden gemodelleerde waarden van respectievelijk 1.200 en 1.400 watt gebruikt.
De voorsprong per watt hangt daardoor niet alleen af van de chip zelf, maar ook van de workload, het meetpunt en de gekozen methode voor de vermogensberekening. 4
De Nvidia-vergelijking is tijdgebonden
OpenAI vergeleek Jalapeño met de beste beschikbare resultaten voor GB200 en GB300 op dat moment. Tegen de tijd dat Jalapeño op grotere schaal wordt ingezet, kunnen nieuwere Nvidia-systemen een relevantere vergelijking vormen.
Nvidia publiceert daarnaast DeepSeek R1-resultaten voor GB300 met de offline methodologie van MLPerf. Die cijfers mogen niet rechtstreeks worden vergeleken met Jalapeño’s interactieve resultaten in tokens per gebruiker, omdat het om verschillende testmethoden gaat. 1
2
4
Inzet en concurrentiestrategie
OpenAI plant een beperkte inzet van Jalapeño in zijn eigen computerinfrastructuur tegen het einde van 2026. In 2027 moet de capaciteit worden uitgebreid. Het bedrijf zegt dat een tweede generatie al volop in ontwikkeling is en dat een derde generatie vorm begint te krijgen. 4
6
Voorlopig wordt Jalapeño geen chip die andere bedrijven kunnen kopen of huren. Richard Ho, hoofd hardware bij OpenAI, zei dat de interne vraag zo groot is dat externe verkoop niet wordt voorzien. 6
De strategie is daarom eerder aanvullen dan onmiddellijk vervangen. OpenAI blijft algemene accelerators nodig hebben voor training, waardoor zijn toekomstige infrastructuur waarschijnlijk uit verschillende soorten chips zal bestaan.
Daarmee sluit OpenAI aan bij een bredere ontwikkeling in de sector. Google ontwikkelt TPU’s voor training en inferentie, Amazon en Microsoft bouwen eigen AI-chips en Anthropic heeft eveneens een traject voor eigen silicium beschreven. 6
Conclusie
De eerste Jalapeño-resultaten suggereren dat een accelerator die specifiek op taalmodel-inferentie is afgestemd, algemene systemen kan overtreffen op precies de punten die voor interactieve AI-diensten belangrijk zijn: energie-efficiëntie, responstijd en de snelheid waarmee individuele gebruikers tokens ontvangen.
Maar de beschikbare gegevens ondersteunen een beperktere conclusie dan dat OpenAI Nvidia definitief heeft verslagen. De gerapporteerde voorsprong geldt voor geselecteerde modellen, een specifieke InferenceX-workload en vergelijkingen met GB200- en GB300-configuraties. Hoe Jalapeño presteert bij breder productieverkeer, langere contexten, agenttaken, andere softwarestacks, traininggerelateerde workloads en de Nvidia-systemen die tegen die tijd beschikbaar zijn, moet nog blijken.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAI claimt dat eigen Jalapeño-chip Nvidia GB200 en GB300 overtreft bij AI-inferentie"?
OpenAI rapporteert in InferenceX tests 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to endlatentie dan de vergeleken Nvidia GB200 en GB300 systemen.
What are the key points to validate first?
OpenAI rapporteert in InferenceX tests 1,5 tot 1,9 keer meer AI werk per watt en 1,7 tot 3,6 keer lagere end to endlatentie dan de vergeleken Nvidia GB200 en GB300 systemen. Bij DeepSeek R1 kwam Jalapeño volgens OpenAI uit op ongeveer 700 tokens per seconde per gebruiker, tegenover 169 bij de Nvidia GB300.
What should I do next in practice?
Jalapeño is ontworpen voor inferentie, niet voor het trainen van modellen. OpenAI wil de chip vanaf eind 2026 beperkt intern inzetten en verwacht in 2027 meer capaciteit.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch