AnswersPublished15 sources
Vad visade OpenAI:s Jalapeño-chip mot Nvidia GB200 och GB300?
OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre slut till slut fördröjning än de jämförda Nvidia systemen. I ett test med DeepSeek R1 nådde Jalapeño omkring 700 token per sekund och användare, jämfört med 169 för GB300.
Publicerad avBilder genererade med GPT Image 1.5
Research answer
Key takeaways
- OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre slut till slut fördröjning än de jämförda Nvidia systemen.
- I ett test med DeepSeek R1 nådde Jalapeño omkring 700 token per sekund och användare, jämfört med 169 för GB300.
- Jalapeño är byggt specifikt för inferens – alltså att köra färdigtränade AI modeller – och inte för modellträning.
- Resultaten baseras på InferenceX, en offentlig benchmarksvit med relativt korta, enkelvändiga förfrågningar.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI hävdar att företagets specialbyggda inferenschip Jalapeño kan ge snabbare svar och bättre energieffektivitet än jämförbara Nvidia-system baserade på GB200 och GB300. I de presenterade testerna var fördelen tydlig på tre stora språkmodeller: GPT‑OSS 120B, DeepSeek R1 670B och Kimi K2.5 1T. 4
7
Det är dock viktigt att skilja på rapporterade benchmarkresultat och en oberoende jämförelse av all AI-drift. OpenAI stod bakom testkörningarna, och SemiAnalysis bevittnade körningar i OpenAI:s labb men körde inte själv hela testsviten. 4
Så stora var de rapporterade vinsterna
Över de tre testade modellerna uppger OpenAI att Jalapeño gav 1,5–1,9 gånger mer AI-arbete per watt vid maximal genomströmning. Samtidigt var slut-till-slut-fördröjningen 1,7–3,6 gånger lägre än för jämförelsesystemen. För särskilt interaktiva arbetslaster uppger bolaget dessutom 2,1–4,1 gånger högre prestanda. 4
7
GPT‑OSS 120B mot GB200
I jämförelsen med Nvidia GB200 rapporterade OpenAI följande för GPT‑OSS 120B: 4
- 1,9 gånger högre genomströmning per kilowatt: 85 448 jämfört med 44 960.
- 1,7 gånger lägre slut-till-slut-fördröjning: 1,03 sekunder jämfört med 1,80 sekunder.
- Kortare tid mellan token: 0,69 millisekunder, motsvarande 1 459 token per sekund och användare, jämfört med 1,87 millisekunder eller 535 token per sekund och användare.
Tid mellan token är ett mått på hur snabbt nya delar av ett AI-svar kommer efter den första responsen. Det påverkar hur följsamt svaret känns i exempelvis en chatt.
DeepSeek R1 mot GB300
För DeepSeek R1 i MXFP4-format jämfördes Jalapeño med GB300. OpenAI uppgav: 4
- 1,7 gånger högre genomströmning per kilowatt: 19 641 jämfört med 11 781.
- 3,6 gånger lägre slut-till-slut-fördröjning: 1,65 sekunder jämfört med 5,99 sekunder.
- 1,43 millisekunder mellan token: omkring 700 token per sekund och användare, jämfört med 169 för GB300.
Kimi K2.5 mot GB300
I testet med Kimi K2.5 i MXFP4-format rapporterade OpenAI 1,5 gånger högre genomströmning per watt och 3,4 gånger lägre slut-till-slut-fördröjning än GB300. Vid den kortaste tiden mellan token låg resultatet på omkring 694 token per sekund och användare, jämfört med 182. 4
Ett chip byggt för inferens – inte träning
Jalapeño är inte tänkt att vara en generell grafikprocessor som anpassats för AI. Det är i stället en accelerator som från början är utformad för LLM-inferens, det vill säga att köra en redan tränad stor språkmodell och generera svar. 1
OpenAI har stått för acceleratorns utformning, Broadcom för bland annat kiseldesign och nätverksteknik, och Celestica för integreringen av kretskort, rack och kompletta system. 1
Den presenterade rackdesignen använder ett stort sammanhängande nätverksområde. Tanken är att modellens tillstånd, inklusive KV-cache – information som sparas under genereringen av ett svar – ska kunna ligga lokalt i systemet. Det minskar behovet av att flytta data mellan chip och kan därmed begränsa kommunikationsfördröjningar. 4
Till skillnad från vissa andra AI-system delar Jalapeño enligt OpenAI inte upp så kallad prefill och decode i separata resurskluster. Prefill är den beräkningstunga fas där systemet läser in frågan, medan decode är den mer minnesbandbreddskrävande fas där svaret genereras token för token. Jalapeño ska i stället använda samma flexibla resurser för beräkning, minne och nätverk i båda faserna. 4
Den offentliga informationen om systemets fullständiga specifikationer är fortfarande begränsad. En teknisk rapport beskriver ett system med 128 chip, omkring 1,7 exaflop och 27 terabyte HBM-minne, men OpenAI:s eget benchmarkinlägg innehåller ingen komplett materialförteckning för racket. 4
OpenAI säger att AI hjälpte till att bygga chipet
OpenAI uppger att företaget gick från den första designen till så kallad tape-out – steget då chipdesignen skickas till tillverkning – på nio månader. Bolaget beskriver det som en exceptionellt snabb cykel för en avancerad ASIC, alltså en specialutformad krets. 1
Företagets modeller användes bland annat för designarbete, implementationstester, mätning, verifiering, optimering av räknekretsar och programmering. OpenAI säger också att Codex tillsammans med GPT‑Astra gjorde det möjligt att på två månader få tre modeller med öppna vikter att prestera på hög nivå, trots att de inte hade varit planerade från början. 4
I vissa utvalda block för GPT‑OSS:s attention- och mixture-of-experts-delar var AI-genererade implementationer enligt OpenAI 1,5–1,8 gånger snabbare än befintliga implementationer skrivna av människor. Det är dock resultat på blocknivå, inte siffror för hela modeller. 4
Därför måste siffrorna tolkas försiktigt
Benchmarken var SemiAnalysis offentliga InferenceX-svit. Testet använde nominellt enkelvändiga förfrågningar med 8 000 token indata och 1 000 token utdata, och mätte hela processen från förfrågan till levererat svar. Systemen jämfördes vid en likvärdig användarupplevelse och normaliserades efter publicerade effektvärden för chipen. 4
7
Effektredovisningen spelar stor roll. OpenAI anger Jalapeños paketeffekt till 700 watt, men säger att den uppmätta kontinuerliga effekten låg på högst 550 watt i dessa arbetslaster. GB200 och GB300 modellerades till 1 200 respektive 1 400 watt. Skillnaden i hur effekt räknas kan därför påverka fördelen per watt. 4
SemiAnalysis har dessutom påpekat att InferenceX:s upplägg inte testar längre kontexter, flerturnsagenter, routing, prefixcachning, cachehantering eller offload. Sådana faktorer kan få stor betydelse i verkliga AI-tjänster. 4
Jämförelsen är också tidsbunden. GB200 och GB300 tillhör Nvidias Blackwell-generation, medan nyare Nvidia-plattformar kan vara mer relevanta konkurrenter när Jalapeño byggs ut. Nvidia har exempelvis redovisat DeepSeek R1-resultat för GB300 med MLPerf:s offline-metodik, men de siffrorna kan inte jämföras direkt med Jalapeños interaktiva mått i token per användare. 2
4
Ska ersätta Nvidia? Inte enligt OpenAI
Jalapeño är avsett för inferens och kan därför inte ersätta de acceleratorer OpenAI använder för träning. Företaget säger att det även fortsättningsvis kommer att använda Nvidia-, AMD- och andra partnerlösningar, både för träning och för delar av inferenskapaciteten. 4
6
OpenAI planerar en begränsad utrullning i den egna datorkapaciteten i slutet av 2026 och större kapacitet under 2027. En andra generation uppges vara långt gången i utvecklingen, medan arbetet med en tredje generation har inletts. 4
6
Chipet ska enligt OpenAI:s hårdvaruchef Richard Ho inte säljas externt. Den interna efterfrågan är för hög för att företaget i nuläget ska kunna planera för externa kunder. 6
Strategiskt placerar Jalapeño ändå OpenAI i samma vertikala kapplöpning som Google, Amazon och Microsoft, som redan utvecklar egna AI-chip. Anthropic har också sagt att företaget bygger upp ett eget chipdesignarbete. OpenAI:s nuvarande fördel är däremot ett smalt påstående: bättre inferens på de redovisade modellerna och testkonfigurationerna – inte ett bevis på att Jalapeño är snabbare eller billigare i alla AI-sammanhang. 6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Vad visade OpenAI:s Jalapeño-chip mot Nvidia GB200 och GB300?"?
OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre slut till slut fördröjning än de jämförda Nvidia systemen.
What are the key points to validate first?
OpenAI uppger att Jalapeño levererade 1,5–1,9 gånger mer AI arbete per watt och 1,7–3,6 gånger lägre slut till slut fördröjning än de jämförda Nvidia systemen. I ett test med DeepSeek R1 nådde Jalapeño omkring 700 token per sekund och användare, jämfört med 169 för GB300.
What should I do next in practice?
Jalapeño är byggt specifikt för inferens – alltså att köra färdigtränade AI modeller – och inte för modellträning.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer