OpenAIs første detaljerede resultater for Jalapeño fremsætter en afgrænset, men interessant påstand: Den specialdesignede chip kan muligvis køre store sprogmodeller med lavere strømforbrug og kortere svartid end de konkrete Nvidia GB200- og GB300-systemer, som OpenAI sammenlignede med.
På SemiAnalysis’ offentlige InferenceX-benchmark rapporterede OpenAI 1,5–1,9 gange mere AI-arbejde pr. watt og 1,7–3,6 gange lavere end-to-end-latenstid på tværs af tre open-weight-modeller.
Det er et væsentligt resultat for en virksomhed, der håndterer enorme mængder AI-forespørgsler. Men det er ikke det samme som at bevise, at Jalapeño er en hurtigere eller billigere erstatning for GPU’er i alle situationer. Testene var snævre, chippen er udviklet udelukkende til inference, og tallene blev primært genereret af OpenAI på engineering-silicium. 14
De vigtigste benchmarkresultater
OpenAI sammenlignede Jalapeño med Nvidias GB200- og GB300-systemer på InferenceX, der forsøger at måle hele processen fra en AI-forespørgsel modtages, til svaret er klar. Effektivitetstallene blev normaliseret ud fra acceleratorernes offentliggjorte strømforbrug.
På tværs af de rapporterede tests opnåede Jalapeño:
- 1,5–1,9 gange mere AI-arbejde pr. watt ved maksimal gennemstrømning end de sammenlignede Nvidia-systemer.
- 1,7–3,6 gange lavere end-to-end-latenstid.
- 2,1–4,1 gange højere ydeevne på meget interaktive arbejdsbelastninger ved OpenAIs udvalgte driftspunkter. 4
Den største latenstidssforskel i de fremlagte resultater blev rapporteret for DeepSeek R1 670B. Her gennemførte Jalapeño en forespørgsel på 1,65 sekunder mod 5,99 sekunder på det GB300-baserede system. 1112
Tallene er relative benchmarkresultater – ikke et løfte om tilsvarende kortere svartider i ChatGPT eller lavere API-priser. Den faktiske ydeevne afhænger blandt andet af modellen, serveringssoftwaren, batching, netværk, kontekstlængde, svarlængde samt om målet er lav latenstid eller høj gennemstrømning.
Hvilke modeller og arbejdsbelastninger blev testet?
Benchmarken omfattede tre offentligt tilgængelige open-weight-modeller:
| Model |
Nvidia-sammenligning |
Rapporteret resultat for Jalapeño |
| GPT-OSS 120B |
GB200 |
Omkring 1,9 gange mere arbejde pr. watt; 1,03 sekunder mod 1,80 sekunder i end-to-end-latenstid |
| DeepSeek R1 670B |
GB300 |
Omkring 1,7 gange mere arbejde pr. watt; 1,65 sekunder mod 5,99 sekunder i latenstid |
| Kimi K2.5 1T |
GB300 |
Omkring 1,5 gange mere arbejde pr. watt; 1,56 sekunder mod 5,31 sekunder i latenstid |
Tallene ovenfor stammer fra offentliggjorte benchmarkresumeer og ikke fra en fuldt uafhængigt gentaget test af hele testsuiten. 61112
Arbejdsbelastningen var nominelt single-turn med 8.000 inputtokens og 1.000 outputtokens. Det giver en kontrolleret sammenligning, men repræsenterer ikke alle former for AI-trafik i produktion. Testen siger blandt andet ikke meget om flertrådede samtaler, værktøjskald, agentarbejde, svar med varierende længde, batching eller forespørgsler med meget lang kontekst. 813
Benchmarken målte desuden bestemte kombinationer af hardware og software. Ændringer i compilere, kernels, kvantisering, planlægning, modelarkitektur eller Nvidias runtime-stack kan derfor ændre størrelsen på forskellen.
Hvordan ser Jalapeños rack-design ud?
Jalapeño er en ASIC – en applikationsspecifik integreret kreds – som OpenAI har udviklet sammen med Broadcom til inference på store sprogmodeller. I modsætning til en mere alsidig GPU er den optimeret til at køre allerede trænede modeller og generere svar. 15
De rapporterede specifikationer for systemet omfatter:
- 128 acceleratorchips pr. rack-system.
- Omkring 1,7 exaFLOPS i 4-bit-beregninger.
- Cirka 27 TB high-bandwidth memory (HBM) på tværs af systemet.
- En chipklassificering på 700 watt, sammenlignet med de offentliggjorte tal på 1.200 watt for GB200-acceleratorer og 1.400 watt for GB300-acceleratorer. 121419
På chipniveau bruger den rapporterede B0-version en compute-die i retikelstørrelse, fremstillet hos TSMC på N3P-processen, og er angivet til 13,4 PFLOPS MXFP4-beregninger. 18
Arkitekturen er tænkt som et komplet system frem for blot en enkelt accelerator. Hukommelse, forbindelser, netværk og kommunikation på rack-niveau er afgørende, når meget store modeller skal fordeles på mange chips. 1819
Hvordan blev chippen udviklet så hurtigt?
OpenAI og Broadcom gik ifølge rapporterne fra koncept til tape-out på omkring ni måneder. Det er en usædvanligt kort tidsplan for en avanceret specialchip. 720
AI-assisteret udvikling indgik i designprocessen, men det betyder ikke, at en AI-model selvstændigt designede og fremstillede processoren. Udviklingen involverede fortsat menneskelige arkitekt- og ingeniørteams, Broadcoms arbejde med halvlederimplementering, produktionspartnere og integration af det færdige system. 713
Den mere præcise konklusion er, at OpenAI har brugt sin viden om LLM-arbejdsbelastninger – sammen med AI-værktøjer i ingeniørarbejdet – til at udvikle hardware og software omkring et snævert serveringsmål. Specialiseringen kan forbedre effektiviteten, men den gør også chippen mindre fleksibel end en programmerbar GPU.
Hvorfor er Jalapeño kun til inference?
Jalapeño er udviklet til at køre trænede modeller, ikke til at træne nye frontier-modeller. OpenAI vil derfor fortsat have brug for programmerbare acceleratorer, især GPU’er, til modeltræning, forskning, eksperimenter og arbejdsbelastninger, der ikke passer godt til en fast specialiseret inference-chip. 813
Det begrænser også betydningen af formuleringen om at “slå Nvidia”. Jalapeño kan være hurtigere end de testede Nvidia-konfigurationer på udvalgte inference-målinger, samtidig med at Nvidia-hardware fortsat er afgørende andre steder i OpenAIs infrastruktur. En ASIC kan være særdeles effektiv til en forudsigelig opgave i stort volumen uden at erstatte den bredere platform, der understøtter træning og hurtige modelændringer.
Hvad beviser benchmarken ikke?
Resultaterne bør læses som “bedre i disse rapporterede tests” – ikke som “det bedste AI-system generelt”. Flere forbehold er vigtige:
- Testene brugte en fast og forholdsvis enkel single-turn-arbejdsbelastning frem for hele bredden af trafik i produktion. 1112
- De offentliggjorte tal kom fra OpenAIs egne tests på engineering-silicium. SemiAnalysis-relateret rapportering beskriver, at kørslerne blev verificeret i OpenAIs laboratorium, men de underliggende tal blev stadig leveret af OpenAI. 214
- Effektiviteten blev normaliseret ud fra de offentliggjorte strømklassifikationer for chipsene. Det er nyttigt til sammenligning, men svarer ikke til en komplet analyse af datacenterets samlede energi- eller driftsomkostninger. 11
- Resultaterne kan ændre sig, når compilere, kernels, runtime-systemer, kvantisering, batching, netværk og Nvidias software bliver opdateret.
- Sammenligningen fastslog ikke Jalapeños ydeevne over for alle nyere eller kommende acceleratorer, herunder Nvidias produkter efter Blackwell-generationen og de nyeste systemer fra Google, Amazon, Microsoft, AMD eller andre leverandører. 238
Der er derfor heller ikke grundlag for at konkludere, at chippen generelt vil halvere omkostningerne, garantere lavere API-priser eller medføre en hurtig udfasning af Nvidia. Den tilgængelige dokumentation understøtter ydeevne- og effektivitetspåstande under bestemte betingelser – ikke bredere kommercielle konklusioner.
Hvornår tager OpenAI Jalapeño i brug?
OpenAI planlægger at begynde udrulningen af Jalapeño i sin egen infrastruktur inden udgangen af 2026. Volumenproduktion og en bredere udrulning forventes i 2027. Den langsigtede plan omfatter datacentre i gigawatt-skala sammen med Microsoft og andre infrastrukturpartnere på tværs af flere chipgenerationer. 16
Chippen er først og fremmest tiltænkt OpenAIs interne behov og skal ikke sælges som en almindelig processor til andre virksomheder. Udefrakommende kunder bør derfor ikke forvente at kunne købe Jalapeño-hardware eller leje en offentlig Jalapeño-cloudinstans på baggrund af annonceringen. 16
Ved at holde hardwaren internt kan OpenAI optimere den til egne modeller, kernels og serveringssystemer. Det betyder også, at virksomheden undgår nogle af de krav til softwaresupport, kundehåndtering, salg og økosystem, der følger med at blive en traditionel chipleverandør. Det sidste er en strategisk fortolkning af modellen; det bekræftede er, at chippen skal bruges internt frem for at blive solgt eksternt. 16
Hvor passer Jalapeño ind i AI-chipkapløbet?
Jalapeño bør ses som én del af OpenAIs bredere strategi for databehandling på tværs af hele stakken. Virksomheden kombinerer cloudkapacitet fra Microsoft og andre partnere, Nvidia-lignende GPU’er til fleksible og træningstunge opgaver samt egenudviklet silicium til stabile inference-opgaver, hvor specialisering kan betale sig. OpenAI beskriver selv sin portefølje som omfattende Microsoft, Nvidia, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy og SoftBank.
Tilgangen afspejler en bredere udvikling i branchen. Google har udviklet TPU’er, Amazon tilbyder Trainium og Inferentia, Microsoft har Maia, AMD konkurrerer med generelle AI-GPU’er, og Nvidia leverer fortsat bredt programmerbare systemer. Anthropic arbejder også på en stadig mere specialiseret infrastruktur gennem sine cloudpartnerskaber, selv om de tilgængelige benchmarkdata ikke giver en direkte præstationssammenligning med Anthropics systemer.
Den kortsigtede strategiske betydning er derfor mere nuanceret end en fortælling om, at GPU’er bliver erstattet. Jalapeño kan give OpenAI større kontrol over omkostninger, latenstid, forsyning og den fremtidige hardwareplan. Nvidia forbliver samtidig vigtig til træning og fleksibel forskning, mens OpenAIs egen chip giver virksomheden en specialiseret mulighed til de forudsigelige inference-opgaver i stort volumen, som fylder en stor del af dens infrastrukturbehov. 813
