AnswersPublished15 sources
OpenAIs Jalapeño-brikke skal slå Nvidia på fart og energieffektivitet
OpenAI rapporterer at Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt enn de sammenlignede Nvidia systemene, og 1,7–3,6 ganger lavere ende til ende forsinkelse. I en GPT OSS 120B test mot GB200 målte OpenAI 1 459 token/s per bruker, mot 535 token/s per bruker for Nvidia systemet.
Publisert avBilder generert med GPT Image 1.5
Research answer
Key takeaways
- OpenAI rapporterer at Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt enn de sammenlignede Nvidia systemene, og 1,7–3,6 ganger lavere ende til ende forsinkelse.
- I en GPT OSS 120B test mot GB200 målte OpenAI 1 459 token/s per bruker, mot 535 token/s per bruker for Nvidia systemet.
- Mot GB300 leverte Jalapeño ifølge OpenAI rundt 700 token/s per bruker på DeepSeek R1, mot 169 token/s per bruker.
- Resultatene er leverandørrapporterte og gjelder en bestemt InferenceX test – ikke en uavhengig måling av alle AI arbeidslaster i produksjon.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI hevder at Jalapeño, selskapets første spesialutviklede akselerator laget sammen med Broadcom, kan levere både lavere energibruk og raskere svar enn de sammenlignede Nvidia-systemene basert på GB200 og GB300. Testene gjelder AI-inferens – kjøringen av ferdigtrente modeller – og ikke trening av nye modeller. 4
7
Det er samtidig viktig å lese resultatene med forbehold: Dette er tidlige, leverandørrapporterte tall fra bestemte testoppsett. De er ikke en uavhengig, direkte sammenligning av alle AI-arbeidslaster i produksjon.
Hva viste testene?
På tvers av GPT-OSS 120B, DeepSeek R1 670B og Kimi K2.5 1T rapporterte OpenAI 1,5–1,9 ganger mer AI-arbeid per watt ved maksimal gjennomstrømming. Ende-til-ende-forsinkelsen – tiden fra en forespørsel sendes til hele svaret er levert – var 1,7–3,6 ganger lavere enn for sammenligningssystemene. 4
For GPT-OSS 120B sammenlignet med Nvidia GB200 oppga OpenAI disse tallene: 4
- 1,9 ganger høyere maksimal blandet gjennomstrømming per kilowatt: 85 448 mot 44 960.
- 1,7 ganger lavere ende-til-ende-forsinkelse: 1,03 sekunder mot 1,80 sekunder.
- 0,69 millisekunder mellom hvert token ved laveste målte intervall, tilsvarende 1 459 token per sekund per bruker. GB200-systemet lå på 1,87 millisekunder, eller 535 token per sekund per bruker.
For DeepSeek R1 med MXFP4-formatet, sammenlignet med GB300, rapporterte OpenAI: 4
- 1,7 ganger høyere gjennomstrømming per kilowatt: 19 641 mot 11 781.
- 3,6 ganger lavere ende-til-ende-forsinkelse: 1,65 sekunder mot 5,99 sekunder.
- 1,43 millisekunder mellom tokenene, tilsvarende rundt 700 token per sekund per bruker, mot 169 for GB300.
I testen av Kimi K2.5 med MXFP4 oppga selskapet 1,5 ganger høyere maksimal gjennomstrømming per watt, 3,4 ganger lavere ende-til-ende-forsinkelse og omtrent 694 mot 182 token per sekund per bruker ved laveste tokenintervall. 4
En brikke laget spesielt for språkmodeller
Jalapeño er ikke en generell GPU som senere er tilpasset språkmodeller. Den er utviklet spesifikt for inferens av store språkmodeller. OpenAI sto for akseleratordesignet, Broadcom bidro med silisiumimplementering og nettverk, mens Celestica håndterte integrasjon av kort, rack og system. 1
Den oppgitte rackdesignen bruker et stort, sammenkoblet nettverksområde slik at en arbeidslast kan holdes innenfor ett system. Modelltilstanden, blant annet den såkalte KV-cachen, plasseres og beholdes lokalt for å redusere flytting av data mellom brikker og unødvendige kommunikasjonsstopp. 4
OpenAI sier også at Jalapeño ikke deler opp «prefill» og «decode» i separate ressursgrupper. De samme fleksible ressursene for beregning, minne og nettverk skal håndtere begge fasene. Prefill er i hovedsak krevende for beregning, mens dekoding – den løpende genereringen av nye token – i større grad er avhengig av minnebåndbredde. 4
De offentlige opplysningene om systemet er ellers begrensede. En teknisk rapport beskriver et system med 128 brikker, rundt 1,7 exaFLOPS og 27 TB HBM-minne, men OpenAIs eget benchmarkinnlegg inneholder ikke en komplett oversikt over alle komponentene i racket. 4
OpenAI brukte også AI i utviklingen
OpenAI sier at selskapet gikk fra den første designen til «tape-out» – tidspunktet da et ferdig brikkedesign sendes til produksjon – på ni måneder. Selskapet omtaler dette som en svært rask utviklingssyklus for en avansert ASIC-brikke. 1
OpenAIs egne modeller ble brukt til blant annet design, utforsking av implementasjoner, målinger, verifisering, optimalisering av regnekretser og programmering. Selskapet sier at Codex sammen med GPT-Astra fikk tre åpne modeller som opprinnelig ikke var planlagt, opp på høyt ytelsesnivå i løpet av to måneder. For enkelte oppmerksomhets- og mixture-of-experts-blokker i GPT-OSS var AI-genererte implementasjoner 1,5–1,8 ganger raskere enn eksisterende løsninger skrevet av mennesker. Dette gjelder imidlertid enkeltblokker, ikke komplette modeller. 4
Hvor sterke er sammenligningene?
Testene ble kjørt med SemiAnalysis’ offentlige InferenceX-suite. Oppsettet brukte nominelt enkeltstående forespørsler med 8 000 token inn og 1 000 token ut, og målte hele prosessen med å betjene forespørselen. Systemene ble sammenlignet ved tilsvarende brukeropplevelse og normalisert etter publiserte effekttall for brikkene. 4
7
OpenAI oppgir Jalapeño til 700 watt i pakkeeffekt, men sier at den målte, vedvarende effekten var 550 watt eller lavere i disse arbeidslastene. GB200 og GB300 ble modellert med henholdsvis 1 200 og 1 400 watt. Det betyr at fordelen per watt påvirkes av både arbeidslasten og hvordan strømforbruket regnes ut. 4
SemiAnalysis sier at de observerte kjøringer i OpenAIs laboratorium, men ikke selv gjennomførte hele benchmarkserien. Organisasjonen påpeker også at InferenceX-oppsettet med én enkelt forespørsel på 8 000/1 000 token ikke tester lengre kontekster, flertrinnssamtaler, agentarbeidslaster, ruting, gjenbruk av prefikscache, cachehåndtering eller avlastning til andre systemer. Slike forhold kan påvirke ytelsen betydelig i reell drift. 4
Nvidias egne tall kan heller ikke sammenlignes direkte med Jalapeño-resultatene. Nvidia rapporterer for eksempel gjennomstrømming for DeepSeek R1 på GB300 under MLPerf Inference, som bruker en annen, såkalt offline-metode. Jalapeño-tallene gjelder interaktiv ytelse målt som token per bruker. 2
4
Skal ikke selges til andre
OpenAI planlegger en begrenset utrulling i sin egen databehandlingsinfrastruktur innen utgangen av 2026, med større kapasitet i 2027. Selskapet sier at andre generasjon allerede er langt inne i utviklingen, mens arbeidet med tredje generasjon så vidt har startet. 4
6
Brikken skal etter planen ikke selges eksternt. OpenAIs maskinvareansvarlige Richard Ho har sagt at den interne etterspørselen er for høy til at selskapet ser for seg salg til andre kunder. 6
Jalapeño er dermed først og fremst et supplement til Nvidia og AMD, ikke en full erstatning. OpenAI vil fortsatt bruke akseleratorer fra Nvidia og andre partnere, særlig fordi Jalapeño er laget for inferens og ikke trening. 4
6
Google har allerede egne TPU-brikker for både trening og inferens, mens Amazon og Microsoft utvikler egne AI-brikker. Anthropic har også sagt at selskapet bygger opp et internt arbeid med brikkedesign. Jalapeño plasserer dermed OpenAI i den samme bredere konkurransen om å kontrollere mer av AI-infrastrukturens maskinvare og programvare. Foreløpig gjelder selskapets ytelsesfortrinn likevel bare LLM-inferens i de publiserte testkonfigurasjonene. 6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAIs Jalapeño-brikke skal slå Nvidia på fart og energieffektivitet"?
OpenAI rapporterer at Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt enn de sammenlignede Nvidia systemene, og 1,7–3,6 ganger lavere ende til ende forsinkelse.
What are the key points to validate first?
OpenAI rapporterer at Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt enn de sammenlignede Nvidia systemene, og 1,7–3,6 ganger lavere ende til ende forsinkelse. I en GPT OSS 120B test mot GB200 målte OpenAI 1 459 token/s per bruker, mot 535 token/s per bruker for Nvidia systemet.
What should I do next in practice?
Mot GB300 leverte Jalapeño ifølge OpenAI rundt 700 token/s per bruker på DeepSeek R1, mot 169 token/s per bruker.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer