AnswersPublished19 sources
OpenAI hävdar att Jalapeño slår Nvidias GB200 och GB300 i AI-inferens
OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre total svarstid än de jämförda Nvidia systemen i InferenceX tester. För DeepSeek R1 rapporterade OpenAI cirka 700 token per sekund och användare på Jalapeño, jämfört med 169 på GB300 vid kortast möjliga tid mellan token.
Publicerad avRedigerad med GPT-5.6 LunaBilder genererade med GPT Image 1.5
Research answer
Key takeaways
- OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre total svarstid än de jämförda Nvidia systemen i InferenceX tester.
- För DeepSeek R1 rapporterade OpenAI cirka 700 token per sekund och användare på Jalapeño, jämfört med 169 på GB300 vid kortast möjliga tid mellan token.
- Jalapeño är utvecklat för inferens, inte träning. OpenAI planerar en begränsad intern utrullning före slutet av 2026 och räknar med större kapacitet under 2027.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI säger att företagets första egenutvecklade AI-accelerator, Jalapeño, har gett tydliga resultat i de senaste inferenstesterna: mer AI-arbete per watt, lägre total svarstid och mycket höga interaktiva tokenhastigheter jämfört med Nvidia-systemen GB200 och GB300. Enligt OpenAI syntes fördelarna i tester med GPT‑OSS 120B, DeepSeek R1 och Kimi K2.5 1T. 3
4
Det finns dock en viktig brasklapp. Resultaten är tidiga och rapporterade av OpenAI själva, och gäller en specifik konfiguration i benchmarksviten InferenceX. De utgör inte en oberoende eller universell jämförelse av alla produktionslaster för AI – och inte heller av alla nuvarande och framtida Nvidia-plattformar. 4
7
Så såg resultaten ut
Över de tre modellerna rapporterade OpenAI 1,5–1,9 gånger mer AI-arbete per watt vid maximal genomströmning och 1,7–3,6 gånger lägre total svarstid än jämförelsesystemen. För särskilt interaktiva arbetslaster uppgav företaget prestandavinster på 2,1–4,1 gånger. 3
De tydligaste resultaten per modell var följande:
GPT‑OSS 120B jämfört med Nvidia GB200: Jalapeño nådde enligt OpenAI 85 448 enheter blandad toppgenomströmning per kilowatt, jämfört med 44 960 för GB200. Den totala svarstiden var 1,03 sekunder mot 1,80 sekunder. Vid kortast uppmätta tid mellan token motsvarade resultatet omkring 1 459 token per sekund och användare, jämfört med 535 på GB200.
4
DeepSeek R1 MXFP4 jämfört med Nvidia GB300: Jalapeño levererade enligt uppgifterna 19 641 enheter blandad toppgenomströmning per kilowatt, mot 11 781 för GB300. Den totala svarstiden var 1,65 sekunder jämfört med 5,99 sekunder. Vid kortast tid mellan token rapporterade OpenAI cirka 700 token per sekund och användare, mot 169 på GB300.
6
Kimi K2.5 MXFP4 jämfört med Nvidia GB300: OpenAI rapporterade 1,5 gånger högre toppgenomströmning per kilowatt, 3,4 gånger lägre total svarstid och cirka 694 token per sekund och användare, jämfört med 182 på GB300.
Måttet ”token per sekund och användare” handlar om interaktivitet. Det beskriver hur snabbt en enskild förfrågan får nya genererade token – inte bara hur många token ett helt racksystem kan producera när många användare kör parallellt. Skillnaden är viktig för chatt, kodning och AI-agenter, där upplevd snabbhet är en del av själva användarupplevelsen.
Varför ett specialiserat chip kan vara snabbare
Jalapeño är byggt specifikt för inferens med stora språkmodeller, snarare än att vara en generell GPU som anpassats för både träning och inferens. OpenAI stod för arkitekturen, Broadcom för kiselimplementering och nätverk, och Celestica för kort-, rack- och systemintegration. 17
32
På racknivå är systemet utformat kring ett stort sammanhängande nätverksområde där en arbetslast i möjligaste mån kan hållas inom samma system. OpenAI säger att modellens tillstånd, inklusive KV-cachen, placeras och behålls lokalt när det går. Det minskar mängden data som måste flyttas mellan chippen och kan begränsa kommunikationsstopp som annars bromsar textgenereringen. 4
6
Systemet delar inte heller upp inferensen i två fasta resursgrupper för så kallad prefill respektive decode. I stället beskriver OpenAI beräkningskraft, minne och nätverk som resurser som kan användas flexibelt i båda faserna. Prefill bearbetar användarens prompt och är relativt beräkningsintensivt, medan decode genererar svaret token för token och ofta begränsas av minnesrörelser och bandbredd. 4
6
De offentliga tekniska detaljerna är fortfarande begränsade. En teknisk beskrivning nämner ett system med 128 chip, omkring 1,7 exaflops och 27 terabyte HBM-minne. OpenAIs benchmarkinlägg innehåller däremot inte en fullständig lista över rackets komponenter eller tillräckligt med information för att alla resultat ska kunna återskapas oberoende. 4
OpenAI säger att AI hjälpte till att bygga chipet
OpenAI uppger att Jalapeño gick från den första designen till så kallad tape-out – steget då chipdesignen skickas till tillverkning – på nio månader. Det är en ovanligt kort tidsplan för en avancerad specialutvecklad accelerator. 17
21
Företaget säger också att dess AI-modeller användes för designutforskning, implementation, mätning, verifiering, optimering av aritmetikkretsar och programmering. OpenAI uppger att Codex tillsammans med GPT‑Astra på två månader hjälpte till att ge tre tidigare oplanerade modeller med öppna vikter hög prestanda.
I utvalda uppmärksamhets- och mixture-of-experts-block för GPT‑OSS ska AI-genererade implementationer ha varit 1,5–1,8 gånger snabbare än befintliga implementationer skrivna av människor. Siffrorna gäller enskilda block – inte kompletta resultat för modellserving. 4
Här finns begränsningarna
Jalapeños stora försprång bör läsas i sitt sammanhang.
Det är en inferensaccelerator – inte en tränings-GPU
Jalapeño är avsett för att köra redan tränade modeller. Det är inte utvecklat för modellträning, vilket innebär att OpenAI även framöver räknar med att använda Nvidia, AMD och andra acceleratorer för träning och delar av inferenskapaciteten. 4
6
Chipet är därför ett specialiserat tillskott till OpenAIs infrastruktur, inte en fullständig ersättare för de GPU-system som används för företagets olika arbetslaster.
Testet använde en begränsad arbetslast
Jämförelsen byggde på SemiAnalysis offentliga InferenceX-benchmark och använde nominella enskilda förfrågningar med 8 000 token indata och 1 000 token utdata. Testet mätte hela processen från förfrågan till svar, jämförde systemen utifrån likvärdig användarupplevelse och normaliserade resultaten med hjälp av publicerade effektvärden för chippen. 4
7
SemiAnalysis uppgav att organisationen bevittnade körningar i OpenAIs laboratorium, men inte själv genomförde hela benchmarksviten. Den varnade också för att upplägget inte testar längre kontextfönster, flerturnsbaserade agentarbetslaster, routing, prefixcachning, cachehantering eller offload. Sådana val i mjukvara och serverlogik kan påverka prestandan i verklig drift betydligt. 6
Effektmätningen påverkar resultatet per watt
OpenAI anger Jalapeño till 700 watt i paketförbrukning och säger att den uppmätta kontinuerliga förbrukningen låg på högst 550 watt i de testade arbetslasterna. För jämförelsen användes modellerade värden på 1 200 watt för GB200 och 1 400 watt för GB300. Det rapporterade försprånget per watt beror därför delvis på arbetslasten, var i systemet effekten mäts och hur effektförbrukningen räknas. 4
Nvidia-jämförelsen är tidsbunden
Tester jämförde Jalapeño med de bästa tillgängliga resultaten för GB200 eller GB300 vid tidpunkten. När Jalapeño väl byggs ut i större skala kan nyare Nvidia-system vara mer relevanta jämförelseobjekt. Nvidia rapporterar dessutom resultat för GB300 och DeepSeek R1 med MLPerf Inferences andra, offlinebaserade metod. De siffrorna bör inte jämföras direkt med Jalapeños interaktiva mått för token per användare. 1
2
4
Planerna för utrullning och konkurrensen
OpenAI planerar en begränsad utrullning av Jalapeño i den egna beräkningsinfrastrukturen före slutet av 2026. Större kapacitet väntas under 2027. Företaget säger att en andra generation är långt gången i utvecklingen och att en tredje generation redan börjar ta form. 4
6
För närvarande är Jalapeño en intern plattform och inte ett chip som andra företag kan köpa eller hyra. OpenAIs hårdvaruchef Richard Ho har sagt att den interna efterfrågan är så stor att extern försäljning inte är aktuell. 6
Strategin är alltså att komplettera Nvidia och AMD, inte att omedelbart ersätta dem. OpenAI behöver fortfarande generella acceleratorer för modellträning, och den framtida infrastrukturen väntas förbli heterogen.
Google utvecklar redan TPU-chip för både träning och inferens. Amazon och Microsoft har byggt egna AI-chip, medan Anthropic också har beskrivit ett arbete med egenutvecklad hårdvara. 6
Slutsatsen: starkt resultat, men ingen total Nvidia-seger
De tidiga resultaten antyder att en accelerator som är skräddarsydd för en viss typ av arbetslast kan slå generella system på de mått som är viktigast för interaktiv drift av stora språkmodeller: energieffektivitet, total svarstid och hur snabbt token når varje användare.
Men underlaget stödjer en snävare slutsats än att ”OpenAI har besegrat Nvidia”. Försprånget gäller utvalda modeller, en specifik InferenceX-arbetslast och jämförelser med vissa GB200- och GB300-konfigurationer. Det återstår att se hur Jalapeño fungerar med bredare produktionstrafik, längre kontexter, agentarbetslaster, andra mjukvarustackar, träningsnära användning och de Nvidia-system som finns när OpenAIs utrullning växer.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAI hävdar att Jalapeño slår Nvidias GB200 och GB300 i AI-inferens"?
OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre total svarstid än de jämförda Nvidia systemen i InferenceX tester.
What are the key points to validate first?
OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre total svarstid än de jämförda Nvidia systemen i InferenceX tester. För DeepSeek R1 rapporterade OpenAI cirka 700 token per sekund och användare på Jalapeño, jämfört med 169 på GB300 vid kortast möjliga tid mellan token.
What should I do next in practice?
Jalapeño är utvecklat för inferens, inte träning. OpenAI planerar en begränsad intern utrullning före slutet av 2026 och räknar med större kapacitet under 2027.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch