Wat de eerste Jalapeño-benchmarks van OpenAI werkelijk laten zien

OpenAI heeft zijn eerste uitgebreide resultaten met Jalapeño gepubliceerd. De kernclaim: de zelf ontwikkelde chip kan grote taalmodellen mogelijk met minder energie en een lagere responstijd laten draaien dan de specifieke Nvidia GB200- en GB300-systemen waarmee hij werd vergeleken.

Op SemiAnalysis’ openbare InferenceX-benchmark rapporteerde OpenAI 1,5 tot 1,9 keer meer AI-werk per watt en 1,7 tot 3,6 keer lagere eind-tot-eindlatentie voor drie open gewichten-modellen.

Dat is een opvallend resultaat voor een bedrijf dat op enorme schaal AI-verzoeken verwerkt. Het bewijst echter niet dat Jalapeño overal een snellere of goedkopere vervanger voor GPU’s is. De test was beperkt, de chip is uitsluitend voor inference bedoeld en de cijfers werden hoofdzakelijk door OpenAI zelf gegenereerd op engineering-silicon. 14

De belangrijkste benchmarkresultaten

OpenAI vergeleek Jalapeño via InferenceX met systemen op basis van Nvidia’s GB200 en GB300. Deze benchmark probeert het volledige proces van het afhandelen van een AI-verzoek te meten. Voor de efficiëntiecijfers normaliseerde OpenAI de resultaten aan de hand van de gepubliceerde vermogenswaarden van de accelerators.

In de gerapporteerde tests behaalde Jalapeño:

• 1,5 tot 1,9 keer meer AI-werk per watt bij maximale doorvoer dan de vergeleken Nvidia-systemen;
• 1,7 tot 3,6 keer lagere eind-tot-eindlatentie;
• 2,1 tot 4,1 keer hogere prestaties bij sterk interactieve workloads, volgens de door OpenAI geselecteerde meetpunten. 4

Het grootste latentieverschil zat volgens de aangeleverde resultaten bij DeepSeek R1 670B. Jalapeño voltooide een verzoek in 1,65 seconden, tegenover 5,99 seconden op het systeem met GB300. 1112

Dit zijn relatieve benchmarkresultaten, geen belofte dat ChatGPT voortaan evenredig sneller antwoordt of dat API-prijzen dalen. De prestaties in de praktijk hangen onder meer af van het model, de servingsoftware, batching, netwerken, de lengte van de context en de hoeveelheid gegenereerde tekst.

Welke modellen en workloads zijn getest?

De benchmark omvatte drie publiek beschikbare modellen met open gewichten:

Model	Nvidia-vergelijking	Gerapporteerd resultaat voor Jalapeño
GPT-OSS 120B	GB200	Ongeveer 1,9 keer meer werk per watt; 1,03 tegenover 1,80 seconden eind-tot-eindlatentie
DeepSeek R1 670B	GB300	Ongeveer 1,7 keer meer werk per watt; 1,65 tegenover 5,99 seconden latentie
Kimi K2.5 1T	GB300	Ongeveer 1,5 keer meer werk per watt; 1,56 tegenover 5,31 seconden latentie

Deze cijfers zijn afkomstig uit gepubliceerde samenvattingen van de benchmark en niet uit een volledig, onafhankelijk gereproduceerde testreeks. 61112

De workload was nominaal single-turn, met 8.000 invoertokens en 1.000 uitvoertokens. Dat maakt een gecontroleerde vergelijking mogelijk, maar vertegenwoordigt niet alle soorten AI-verkeer. Zo blijven vragen open over gesprekken met meerdere beurten, toolgebruik, agent-workflows, antwoorden met variabele lengte, batching en verzoeken met een zeer lange context. 813

Bovendien werden specifieke hardware- en softwareconfiguraties gemeten. Nieuwe compilers, kernels, quantisatie, planningsmethoden, modelarchitecturen of aanpassingen aan Nvidia’s softwarestack kunnen de omvang van het verschil veranderen.

Hoe ziet het Jalapeño-systeem eruit?

Jalapeño is een application-specific integrated circuit, oftewel een ASIC, die OpenAI samen met Broadcom ontwikkelde voor inference met grote taalmodellen. In tegenstelling tot een algemene GPU is de chip geoptimaliseerd voor het uitvoeren van getrainde modellen en het genereren van antwoorden. 15

De gerapporteerde specificaties op rackschaal zijn:

• 128 accelerators per racksysteem;
• ongeveer 1,7 exaFLOPS aan 4-bit-berekeningen;
• circa 27 terabyte high-bandwidth memory (HBM) in het systeem;
• een chipvermogen van 700 watt, tegenover gepubliceerde waarden van 1.200 watt voor GB200- en 1.400 watt voor GB300-accelerators. 121419

De gerapporteerde B0-versie gebruikt op chipniveau een compute-die op reticlegrootte, geproduceerd met TSMC’s N3P-proces, en heeft een opgegeven capaciteit van 13,4 PFLOPS aan MXFP4-berekeningen. 18

De architectuur is ontworpen als een compleet systeem, niet als een losse accelerator. Geheugen, interconnects, netwerkverbindingen en communicatie tussen racks zijn cruciaal wanneer zeer grote modellen over veel chips moeten worden verdeeld. 1819

In negen maanden ontworpen — met hulp van AI?

OpenAI en Broadcom zouden volgens de berichtgeving in ongeveer negen maanden van concept naar tape-out zijn gegaan. Voor een krachtige, aangepaste chip is dat een uitzonderlijk korte ontwikkeltijd. 720

AI-ondersteunde engineering maakte deel uit van het ontwerpproces. Dat betekent niet dat een AI-model de processor volledig zelfstandig heeft ontworpen en geproduceerd. Het werk omvatte nog altijd menselijke architectuur- en engineeringteams, Broadcoms implementatie in silicium, productiepartners en integratie van het complete systeem. 713

De meest verdedigbare conclusie is dat OpenAI zijn kennis van taalmodel-workloads — en AI-tools binnen de engineeringworkflow — gebruikte om hardware en software gezamenlijk af te stemmen op een specifiek servingdoel. Die specialisatie kan de efficiëntie verhogen, maar vermindert ook de flexibiliteit ten opzichte van een programmeerbare GPU.

Waarom Jalapeño alleen voor inference is bedoeld

Jalapeño is ontworpen om getrainde modellen te bedienen, niet om nieuwe frontiermodellen te trainen. OpenAI blijft daarom programmeerbare accelerators nodig hebben, vooral GPU’s, voor modeltraining, onderzoek, experimenten en workloads die niet goed passen bij een vaste inference-architectuur. 813

Dat beperkt ook de betekenis van de claim dat OpenAI Nvidia zou “verslaan”. Jalapeño kan in bepaalde inferencemaatstaven beter presteren dan de geteste Nvidia-configuraties, terwijl Nvidia-hardware elders in OpenAI’s infrastructuur onmisbaar blijft. Een gespecialiseerde ASIC kan uitblinken in één voorspelbare taak met een groot volume, zonder het bredere platform voor training en snelle modelwijzigingen te vervangen.

Wat bewijzen deze benchmarks níét?

De resultaten moeten worden gelezen als “beter in deze gerapporteerde tests”, niet als “het beste AI-systeem in het algemeen”. Belangrijke kanttekeningen zijn:

• De tests gebruikten een vaste, relatief eenvoudige single-turn-workload en niet het volledige spectrum aan productiegebruik. 1112
• De gepubliceerde cijfers kwamen uit tests van OpenAI op engineering-silicon. SemiAnalysis-gerelateerde berichtgeving beschrijft dat runs in het lab van OpenAI zijn geverifieerd, maar de onderliggende cijfers waren nog steeds door OpenAI aangeleverd. 214
• De efficiëntie werd genormaliseerd op basis van gepubliceerde chipvermogens. Dat is nuttig voor een vergelijking, maar staat niet gelijk aan een volledige analyse van datacenterkosten of energieverbruik. 11
• Resultaten kunnen veranderen door updates aan compilers, kernels, runtimes, quantisatie, batching, netwerken en Nvidia-software.
• De vergelijking zegt niets over de prestaties tegenover alle nieuwere of toekomstige accelerators, waaronder Nvidia’s producten na Blackwell en recente systemen van Google, Amazon, Microsoft, AMD en andere aanbieders. 238

Er is op basis van deze resultaten dan ook geen grond voor de claim dat OpenAI zijn kosten universeel met 50 procent verlaagt, dat API-prijzen gegarandeerd dalen of dat Nvidia onmiddellijk uit de infrastructuur verdwijnt. Het bewijs ondersteunt prestatie- en efficiëntieclaims onder bepaalde omstandigheden — geen bredere commerciële conclusies.

Wanneer zet OpenAI Jalapeño in?

OpenAI wil Jalapeño tegen eind 2026 in zijn eigen infrastructuur gaan inzetten. Volumeproductie en een bredere uitrol worden voor 2027 verwacht. Op langere termijn gaat het om datacenters op gigawattschaal met Microsoft en andere infrastructuurpartners, verspreid over meerdere chipgeneraties. 16

De chip is in de eerste plaats bedoeld voor OpenAI’s eigen vraag en wordt niet gepositioneerd als een commercieel verkrijgbare processor. Externe bedrijven moeten op basis van deze aankondigingen dus niet verwachten dat ze Jalapeño-hardware kunnen kopen of een openbare cloudinstantie met Jalapeño kunnen huren. 16

Door de hardware intern te houden kan OpenAI de chip afstemmen op zijn eigen modellen, kernels en servingplatforms. Het bedrijf vermijdt daarmee ook de ondersteuning, software-ecosysteem, verkoop en concurrentieverplichtingen die horen bij een traditionele chipleverancier. Dat laatste is een strategische interpretatie; het bevestigde plan is interne inzet en geen externe verkoop. 16

Waar past Jalapeño in de chipstrategie?

Jalapeño is het best te begrijpen als één onderdeel van OpenAI’s bredere, geïntegreerde computeportfolio. De onderneming combineert capaciteit van Microsoft en andere cloudpartners met Nvidia-achtige GPU’s voor flexibele en trainingsintensieve workloads, en met eigen silicon voor stabiele inference-taken waarbij specialisatie voordeel kan opleveren. OpenAI noemt in zijn computeportfolio Microsoft, Nvidia, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy en SoftBank.

Die aanpak past in een bredere beweging binnen de sector. Google ontwikkelt TPU’s, Amazon biedt Trainium en Inferentia, Microsoft heeft Maia en AMD concurreert met algemene AI-GPU’s. Nvidia blijft ondertussen leverancier van breed programmeerbare systemen. Anthropic werkt via zijn cloudrelaties eveneens aan steeds verder aangepaste infrastructuur, al bieden de aangeleverde benchmarkgegevens geen directe prestatievergelijking met de systemen van Anthropic.

De strategische impact op korte termijn is daarom genuanceerder dan een verhaal over de vervanging van GPU’s. Jalapeño kan OpenAI meer controle geven over inferentie-economie, latentie, toelevering en de eigen hardware-roadmap. Nvidia blijft belangrijk voor training en flexibiliteit, terwijl de aangepaste chip OpenAI een gespecialiseerde optie geeft voor voorspelbare, grootschalige serving-workloads. 813