AnswersPublished19 sources
OpenAIs Jalapeño-brikke hevder å være raskere enn Nvidias toppsystemer
OpenAI sier Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt og 1,7–3,6 ganger lavere ende til ende forsinkelse enn de sammenlignede Nvidia GB200 og GB300 systemene i InferenceX tester. For DeepSeek R1 rapporterte OpenAI rundt 700 token per sekund per bruker på Jalapeño, mot 169 på GB300 ved kortest mulig tid...
Publisert avRedigert med GPT-5.6 LunaBilder generert med GPT Image 1.5
Research answer
Key takeaways
- OpenAI sier Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt og 1,7–3,6 ganger lavere ende til ende forsinkelse enn de sammenlignede Nvidia GB200 og GB300 systemene i InferenceX tester.
- For DeepSeek R1 rapporterte OpenAI rundt 700 token per sekund per bruker på Jalapeño, mot 169 på GB300 ved kortest mulig tid mellom tokenene.
- Jalapeño er utviklet for inferens, ikke trening. OpenAI planlegger begrenset intern utrulling innen utgangen av 2026, ikke salg til eksterne kunder.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAIs første spesialbygde akselerator, Jalapeño, leverte ifølge selskapets nyeste tester mer AI-arbeid per watt, lavere ende-til-ende-forsinkelse og svært høy interaktiv tokenhastighet sammenlignet med Nvidia GB200- og GB300-systemer. OpenAI sier fordelene viste seg på GPT‑OSS 120B, DeepSeek R1 og Kimi K2.5 1T. 3
4
Det viktige forbeholdet er at dette er tidlige, selskapspubliserte resultater fra en bestemt InferenceX-konfigurasjon – ikke en uavhengig og universell sammenligning av alle produksjonslaster for kunstig intelligens eller av Nvidias nåværende og kommende plattformer. 4
7
Dette viste Jalapeño-testene
På tvers av de tre modellene rapporterte OpenAI 1,5–1,9 ganger mer AI-arbeid per watt ved maksimal gjennomstrømming og 1,7–3,6 ganger lavere ende-til-ende-forsinkelse enn sammenligningssystemene. For svært interaktive arbeidslaster oppga selskapet en ytelsesfordel på 2,1–4,1 ganger. 3
De tydeligste resultatene modell for modell var:
GPT‑OSS 120B mot Nvidia GB200: Jalapeño nådde rapportert 85 448 enheter for maksimal blandet gjennomstrømming per kilowatt, mot 44 960 for GB200. OpenAI rapporterte også 1,03 sekunders ende-til-ende-forsinkelse, mot 1,80 sekunder, samt en korteste tid mellom token på 0,69 millisekund. Det tilsvarer rundt 1 459 token per sekund per bruker, mot 535 på GB200.
4
DeepSeek R1 MXFP4 mot Nvidia GB300: Jalapeño leverte rapportert 19 641 enheter for maksimal blandet gjennomstrømming per kilowatt, mot 11 781 for GB300. Ende-til-ende-forsinkelsen var 1,65 sekunder, sammenlignet med 5,99 sekunder. Ved kortest mulig tid mellom token rapporterte OpenAI rundt 700 token per sekund per bruker, mot 169 på GB300.
6
Kimi K2.5 MXFP4 mot Nvidia GB300: OpenAI rapporterte 1,5 ganger høyere maksimal gjennomstrømming per kilowatt, 3,4 ganger lavere ende-til-ende-forsinkelse og rundt 694 token per sekund per bruker, sammenlignet med 182 på GB300.
«Token per sekund per bruker» er et mål på interaktivitet. Det beskriver hvor raskt en enkelt forespørsel mottar genererte token, og ikke bare hvor mange token en hel serverrack kan produsere under tung, parallell belastning. Forskjellen er viktig for chat, programmering og agentbaserte tjenester, der opplevd respons også er en del av brukeropplevelsen.
Hvorfor en spesialbrikke kan være raskere
Jalapeño er en akselerator laget spesielt for inferens med store språkmodeller, i stedet for en generell GPU som er tilpasset både trening og inferens. OpenAI utviklet arkitekturen, Broadcom sto for implementering av silisium og nettverk, mens Celestica bidro med kort-, rack- og systemintegrasjon. 17
32
Rackdesignet er bygget rundt et stort, sammenkoblet nettverksdomene som skal gjøre det mulig å holde en arbeidslast innenfor ett system. OpenAI sier at modellenes tilstand – blant annet KV-cachen, som lagrer informasjon fra tidligere beregninger – så langt som mulig plasseres og beholdes lokalt. Det reduserer databevegelsen mellom brikkene og kommunikasjonsstans som kan forsinke tekstgenereringen. 4
6
Systemet deler heller ikke opp prefylling og dekoding i to faste ressursbasseng. OpenAI beskriver i stedet beregning, minne og nettverk som fleksible ressurser som kan brukes i begge inferensfasene. Prefylling behandler brukerens ledetekst og er relativt beregningsintensiv. Dekoding genererer svaret token for token og begrenses ofte av minneflytting og båndbredde. 4
6
De offentlige tekniske detaljene er fortsatt mangelfulle. Én teknisk beskrivelse omtaler et system med 128 brikker, rundt 1,7 exaflops og 27 TB HBM-minne, men OpenAIs benchmark-kunngjøring inneholder ikke en komplett oversikt over komponentene i racket eller nok informasjon til at alle resultatene kan gjenskapes uavhengig. 4
OpenAI sier AI bidro til å designe brikken
OpenAI sier Jalapeño gikk fra den første designfasen til «tape-out» – tidspunktet da et brikkedesign sendes til produksjon – på ni måneder. Det er en uvanlig kort tidslinje for en avansert spesialbrikke. 17
21
Selskapet sier også at egne modeller bidro til designutforskning, implementering, målinger, verifisering, optimalisering av regnekretser og programmering. OpenAI rapporterte at Codex med GPT‑Astra hjalp selskapet med å få tre tidligere ikke planlagte åpne modeller opp på høyt ytelsesnivå i løpet av to måneder. For utvalgte oppmerksomhets- og mixture-of-experts-blokker i GPT‑OSS sa selskapet at AI-genererte implementeringer var 1,5–1,8 ganger raskere enn eksisterende, menneskeskrevne implementeringer. Tallene gjelder utvalgte blokker, ikke komplette resultater for modellservering. 4
Begrensningene i testen
Jalapeños sterke overskrifter må leses i riktig sammenheng.
En inferensakselerator – ikke en trenings-GPU
Jalapeño er laget for å kjøre ferdigtrente modeller. Den er ikke utviklet for modelltrening, og OpenAI forventer derfor fortsatt å bruke Nvidia, AMD og andre akseleratorer til trening og deler av inferenskapasiteten. 4
6
Jalapeño er dermed et spesialisert tillegg til OpenAIs infrastruktur, ikke en komplett erstatning for GPU-systemene som brukes på tvers av selskapets arbeidslaster.
Testen brukte en smal serveringsprofil
Sammenligningen brukte SemiAnalysis’ offentlige InferenceX-benchmark, med nominelle enkeltstående forespørsler som inneholdt 8 000 token i input og 1 000 token i output. Testen målte hele prosessen fra forespørsel til svar, sammenlignet systemene ved samme brukeropplevelse og normaliserte resultatene etter oppgitte effektverdier for brikkene. 4
7
SemiAnalysis sier de observerte kjøringer i OpenAIs laboratorium, men ikke gjennomførte hele benchmarkserien selv. Analyseselskapet påpeker også at oppsettet ikke tester lengre kontekst, flertrinns agentarbeid, ruting, prefikscaching, cache-håndtering eller avlasting. Slike programvare- og serveringsvalg kan ha stor betydning for ytelsen i produksjon. 6
Effektmålingen påvirker resultatet per watt
OpenAI oppgir Jalapeño til 700 watt pakkeeffekt og sier at den målte, vedvarende effekten var 550 watt eller lavere i de testede arbeidslastene. Sammenligningen brukte modellerte tall på 1 200 watt for GB200 og 1 400 watt for GB300. Den rapporterte fordelen per watt avhenger derfor delvis av arbeidslasten, målepunktet og metoden for å føre effektregnskap. 4
Nvidia-sammenligningen er tidsavgrenset
Testene sammenlignet Jalapeño med de beste tilgjengelige GB200- eller GB300-resultatene på det aktuelle tidspunktet. Nyere Nvidia-systemer kan imidlertid være mer relevante sammenligningspunkter når Jalapeño tas i bruk i større skala. Nvidia rapporterer også resultater for GB300 og DeepSeek R1 med MLPerfs andre, frakoblede testmetode. Disse tallene bør ikke sammenlignes direkte med Jalapeños interaktive resultater for token per bruker. 1
2
4
Utrulling og konkurransestrategi
OpenAI planlegger en begrenset utrulling av Jalapeño i selskapets egen databehandlingsinfrastruktur innen utgangen av 2026, med større kapasitet i 2027. Selskapet sier at generasjon to er langt kommet i utviklingen, mens generasjon tre nå begynner å ta form. 4
6
Foreløpig er Jalapeño en intern plattform som eksterne selskaper ikke kan kjøpe eller leie. OpenAIs maskinvaresjef Richard Ho har sagt at den interne etterspørselen er for høy til at eksternt salg er aktuelt. 6
Strategien er derfor å supplere Nvidia og AMD, ikke å erstatte dem med det første. OpenAI trenger fortsatt generelle akseleratorer til trening, og den fremtidige infrastrukturen vil trolig bestå av flere ulike typer brikker. Google utvikler allerede TPU-er for trening og inferens, mens Amazon og Microsoft har bygget egne AI-brikker. Anthropic har også omtalt et arbeid med å utvikle spesialtilpasset silisium. 6
Konklusjonen
De tidlige Jalapeño-resultatene tyder på at en akselerator skreddersydd for en bestemt arbeidslast kan slå generelle systemer på målene som betyr mest for interaktiv kjøring av store språkmodeller: energieffektivitet, total responstid og antall token som leveres til hver bruker.
Men dokumentasjonen støtter en smalere konklusjon enn at «OpenAI har slått Nvidia». Forspranget gjelder utvalgte modeller, en bestemt InferenceX-arbeidslast og en sammenligning med GB200- og GB300-konfigurasjoner. Det gjenstår å se hvordan Jalapeño fungerer på bredere produksjonstrafikk, agenter med lengre kontekst, andre programvarestakker, treningsnære arbeidslaster og Nvidia-systemene som er tilgjengelige når OpenAIs utrulling øker.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAIs Jalapeño-brikke hevder å være raskere enn Nvidias toppsystemer"?
OpenAI sier Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt og 1,7–3,6 ganger lavere ende til ende forsinkelse enn de sammenlignede Nvidia GB200 og GB300 systemene i InferenceX tester.
What are the key points to validate first?
OpenAI sier Jalapeño leverte 1,5–1,9 ganger mer AI arbeid per watt og 1,7–3,6 ganger lavere ende til ende forsinkelse enn de sammenlignede Nvidia GB200 og GB300 systemene i InferenceX tester. For DeepSeek R1 rapporterte OpenAI rundt 700 token per sekund per bruker på Jalapeño, mot 169 på GB300 ved kortest mulig tid mellom tokenene.
What should I do next in practice?
Jalapeño er utviklet for inferens, ikke trening. OpenAI planlegger begrenset intern utrulling innen utgangen av 2026, ikke salg til eksterne kunder.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch