AnswersPublished19 sources
Jalapeño od OpenAI v testech překonalo systémy Nvidia. Zatím ale jen v úzce vymezeném scénáři
OpenAI uvádí, že Jalapeño v testech InferenceX zpracoval 1,5–1,9× více práce AI na watt a dosáhl o 1,7–3,6× nižší latence než srovnávané systémy Nvidia GB200 a GB300. U modelu DeepSeek R1 dosáhl Jalapeño při minimální prodlevě mezi tokeny přibližně 700 tokenů za sekundu na uživatele, zatímco GB300 podle OpenAI zvlád...
PublikovalUpraveno pomocí GPT-5.6 LunaObrázky vytvořeny pomocí GPT Image 1.5
Research answer
Key takeaways
- OpenAI uvádí, že Jalapeño v testech InferenceX zpracoval 1,5–1,9× více práce AI na watt a dosáhl o 1,7–3,6× nižší latence než srovnávané systémy Nvidia GB200 a GB300.
- U modelu DeepSeek R1 dosáhl Jalapeño při minimální prodlevě mezi tokeny přibližně 700 tokenů za sekundu na uživatele, zatímco GB300 podle OpenAI zvládl 169.
- Jalapeño je navrženo pro inferenci, nikoli trénování modelů. OpenAI plánuje omezené nasazení ve vlastní infrastruktuře do konce roku 2026 a externí prodej zatím nechystá.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI zveřejnilo první podrobnější výsledky svého vlastního akcelerátoru Jalapeño, který vznikl ve spolupráci s Broadcomem. Firma tvrdí, že v testech inference dosáhl vyššího výkonu na watt, nižší odezvy a výrazně lepší interaktivity než srovnávané systémy Nvidia GB200 a GB300. Výsledky se týkaly modelů GPT‑OSS 120B, DeepSeek R1 a Kimi K2.5 1T. 3
4
Důležitá výhrada: jde o rané výsledky zveřejněné samotným OpenAI v konkrétní konfiguraci benchmarku InferenceX. Nejde o nezávislé a univerzální srovnání všech produkčních zátěží ani o důkaz, že Jalapeño překonává každou současnou či budoucí platformu Nvidia. 4
7
Co Jalapeño ukázalo v testech
Napříč třemi testovanými modely OpenAI uvádí 1,5–1,9× více práce AI na watt při špičkové propustnosti a 1,7–3,6× nižší latenci od začátku do konce požadavku než u porovnávaných systémů. U vysoce interaktivních scénářů měl být výkon vyšší 2,1–4,1×. 3
Nejvýraznější výsledky podle jednotlivých modelů:
GPT‑OSS 120B proti Nvidia GB200: Jalapeño dosáhlo podle OpenAI 85 448 jednotek smíšené propustnosti na kilowatt při špičkovém výkonu, zatímco GB200 44 960. Celková latence činila 1,03 sekundy oproti 1,80 sekundy. Při minimální době mezi tokeny vychází Jalapeño na 0,69 milisekundy, tedy přibližně 1 459 tokenů za sekundu na uživatele, oproti 535 u GB200.
4
DeepSeek R1 MXFP4 proti Nvidia GB300: Jalapeño podle zveřejněných údajů dosáhlo 19 641 jednotek smíšené propustnosti na kilowatt, zatímco GB300 11 781. Latence od začátku do konce byla 1,65 sekundy oproti 5,99 sekundy. Při minimální době mezi tokeny OpenAI uvádí zhruba 700 tokenů za sekundu na uživatele, zatímco GB300 169.
6
Kimi K2.5 MXFP4 proti Nvidia GB300: OpenAI uvádí 1,5× vyšší špičkovou propustnost na kilowatt, 3,4× nižší celkovou latenci a přibližně 694 tokenů za sekundu na uživatele oproti 182 u GB300.
Ukazatel „tokeny za sekundu na uživatele“ měří především pocitovou svižnost konkrétního požadavku. Neříká jen, kolik tokenů dokáže celý serverový systém vyprodukovat při vysokém počtu souběžných požadavků. To je podstatné u chatovacích aplikací, programovacích asistentů a agentních systémů, kde uživatel vnímá hlavně rychlost, s jakou začíná a pokračuje odpověď.
Proč může být specializovaný čip rychlejší
Jalapeño je akcelerátor určený přímo pro inferenci velkých jazykových modelů, tedy pro jejich provoz po natrénování. Nejde o univerzální GPU přizpůsobené současně pro trénování i inferenci. Architekturu navrhlo OpenAI, Broadcom zajistil implementaci čipu a síťové prvky a Celestica přispěla návrhem desek, racků a systémovou integrací. 17
32
Rackový systém je navržen jako velká propojená síťová doména, v níž může zátěž pokud možno zůstat uvnitř jediného systému. OpenAI uvádí, že lokálně umísťuje a uchovává stav modelu včetně KV cache. Tím se má omezit přesouvání dat mezi čipy a komunikační prodlevy, které mohou zpomalovat generování odpovědí. 4
6
Jalapeño zároveň pevně neodděluje prostředky pro fáze prefill a decode. Výpočetní výkon, paměť i síťové prostředky mají být podle OpenAI sdílené a vzájemně zastupitelné. Prefill zpracovává vstupní prompt a bývá náročnější na výpočet, zatímco decode generuje odpověď token po tokenu a často naráží na přesuny dat a propustnost paměti. 4
6
Veřejně dostupné technické údaje jsou stále neúplné. Jeden z technických popisů hovoří o systému se 128 čipy, přibližně 1,7 exaFLOPS a 27 TB paměti HBM. Samotné oznámení benchmarku od OpenAI ale neobsahuje kompletní seznam komponent racku ani dostatek detailů k nezávislému zopakování všech výsledků. 4
Čip vznikl za devět měsíců i s pomocí AI
OpenAI tvrdí, že Jalapeño prošlo od prvního návrhu až k odeslání do výroby, takzvanému tape-outu, za devět měsíců. U pokročilého specializovaného akcelerátoru jde o mimořádně krátký vývojový cyklus. 17
21
Firma zároveň uvádí, že její modely pomáhaly s průzkumem návrhu, implementací, měřením, ověřováním, optimalizací aritmetických obvodů i programováním. OpenAI tvrdí, že Codex s modelem GPT‑Astra pomohl během dvou měsíců dostat tři původně neplánované open-weight modely na vysokou úroveň výkonu.
U vybraných bloků pozornosti a mixture-of-experts architektury modelu GPT‑OSS měly implementace vytvořené s pomocí AI dosahovat 1,5–1,8× vyšší rychlosti než dosavadní implementace napsané lidmi. Tato čísla se týkají konkrétních bloků, nikoli celého systému pro obsluhu modelu. 4
Výsledky mají několik zásadních omezení
Jalapeño není trénovací GPU
Čip je určen pro provoz již natrénovaných modelů, nikoli pro jejich trénování. OpenAI proto očekává, že pro trénink a část své inferenční kapacity bude dál využívat Nvidia, AMD a další akcelerátory. 4
6
Jalapeño tak představuje specializované rozšíření infrastruktury OpenAI, nikoli úplnou náhradu GPU systémů používaných napříč různými typy zátěží.
Benchmark testoval úzký profil zátěže
Srovnání využilo veřejný benchmark InferenceX od společnosti SemiAnalysis. Testovací požadavky měly nominálně podobu jedné konverzace s 8 000 vstupními a 1 000 výstupními tokeny. Měřilo se obsloužení celého požadavku, systémy byly porovnávány při srovnatelném uživatelském zážitku a výsledky byly normalizovány pomocí zveřejněných hodnot příkonu čipů. 4
7
SemiAnalysis uvedla, že běhy sledovala v laboratoři OpenAI, ale kompletní sadu benchmarků sama nespouštěla. Zároveň upozornila, že test neprověřuje delší kontexty, vícekrokové agentní úlohy, směrování požadavků, prefix caching, správu cache ani přesouvání dat mimo akcelerátor. Právě tyto softwarové a provozní volby mohou v reálném nasazení výkon výrazně změnit. 6
Výsledek na watt závisí i na metodice měření
OpenAI uvádí příkon pouzdra Jalapeño 700 wattů a tvrdí, že při testovaných úlohách byl dlouhodobě naměřený příkon nejvýše 550 wattů. U GB200 a GB300 srovnání pracovalo s modelovanými hodnotami 1 200, respektive 1 400 wattů. Uváděná výhoda ve výkonu na watt proto částečně závisí na konkrétní zátěži, místě měření a způsobu započítání spotřeby. 4
Srovnání s Nvidií je časově omezené
Test porovnával Jalapeño s nejlepšími dostupnými výsledky systémů GB200 a GB300 v daném okamžiku. Než bude Jalapeño nasazeno ve větším měřítku, mohou být relevantnější novější platformy Nvidia. Nvidia také zveřejňuje výsledky GB300 pro DeepSeek R1 podle odlišné offline metodiky MLPerf. Tyto údaje proto nelze přímo porovnávat s interaktivním ukazatelem tokenů na uživatele, který použilo OpenAI. 1
2
4
Nasazení a konkurenční strategie
OpenAI plánuje omezené nasazení Jalapeño ve vlastní výpočetní infrastruktuře do konce roku 2026. Větší kapacita má následovat v roce 2027. Firma tvrdí, že druhá generace čipu je již ve fázi intenzivního vývoje a třetí generace se začíná rýsovat. 4
6
Prozatím půjde o interní platformu, nikoli o čip, který by si mohly koupit nebo pronajmout jiné firmy. Vedoucí hardwaru OpenAI Richard Ho uvedl, že interní poptávka je příliš vysoká na to, aby firma v současnosti počítala s externím prodejem. 6
Strategie tedy spočívá v doplnění, nikoli okamžitém vytlačení čipů Nvidia a AMD. OpenAI stále potřebuje univerzální akcelerátory pro trénování a její budoucí infrastruktura pravděpodobně zůstane heterogenní. Vlastní AI čipy nebo akcelerátory vyvíjejí také Google pro trénování i inferenci, Amazon a Microsoft; vlastní vývoj čipů popsala rovněž společnost Anthropic. 6
Co z toho plyne
První výsledky naznačují, že akcelerátor navržený pro konkrétní typ zátěže může při provozu velkých jazykových modelů překonat univerzálnější systémy v metrikách, které jsou pro interaktivní služby zásadní: ve spotřebě energie, celkové době odezvy a počtu tokenů doručených jednotlivému uživateli.
Důkazy ale podporují užší závěr než tvrzení, že „OpenAI porazilo Nvidii“. Uváděná výhoda se týká vybraných modelů, konkrétního profilu InferenceX a srovnání s konfiguracemi GB200 a GB300. Teprve širší produkční provoz ukáže, jak si Jalapeño povede u delších kontextů, agentních systémů, odlišných softwarových zásobníků, zátěží souvisejících s trénováním a novějších platforem Nvidia.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño od OpenAI v testech překonalo systémy Nvidia. Zatím ale jen v úzce vymezeném scénáři"?
OpenAI uvádí, že Jalapeño v testech InferenceX zpracoval 1,5–1,9× více práce AI na watt a dosáhl o 1,7–3,6× nižší latence než srovnávané systémy Nvidia GB200 a GB300.
What are the key points to validate first?
OpenAI uvádí, že Jalapeño v testech InferenceX zpracoval 1,5–1,9× více práce AI na watt a dosáhl o 1,7–3,6× nižší latence než srovnávané systémy Nvidia GB200 a GB300. U modelu DeepSeek R1 dosáhl Jalapeño při minimální prodlevě mezi tokeny přibližně 700 tokenů za sekundu na uživatele, zatímco GB300 podle OpenAI zvládl 169.
What should I do next in practice?
Jalapeño je navrženo pro inferenci, nikoli trénování modelů. OpenAI plánuje omezené nasazení ve vlastní infrastruktuře do konce roku 2026 a externí prodej zatím nechystá.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch