Co skutečně ukazují první benchmarky čipu Jalapeño od OpenAI

OpenAI zveřejnilo první podrobnější výsledky svého specializovaného čipu Jalapeño. Firma tvrdí, že při obsluze velkých jazykových modelů dokáže nabídnout nižší spotřebu a rychlejší odezvu než konkrétní systémy Nvidia GB200 a GB300, které použila pro srovnání.

Na veřejném benchmarku InferenceX od společnosti SemiAnalysis OpenAI uvádí 1,5–1,9× více práce na watt a 1,7–3,6× nižší celkovou latenci napříč třemi modely s otevřenými vahami.

Jde o zajímavý výsledek pro firmu, která zpracovává AI požadavky v obrovském měřítku. Neznamená to však, že Jalapeño prokázal univerzální převahu nad GPU nebo že OpenAI okamžitě nahradí hardware Nvidia. Testy byly úzce zaměřené, čip je určen výhradně pro inferenci a většinu výsledků naměřilo samotné OpenAI na prototypovém, takzvaném engineering silicon. 14

Hlavní výsledky benchmarku

OpenAI porovnávalo Jalapeño se systémy Nvidia GB200 a GB300 v benchmarku InferenceX, který měří celý proces obsluhy AI požadavku – od jeho přijetí po dokončení odpovědi. Údaje o efektivitě firma normalizovala podle zveřejněných příkonů akcelerátorů.

V prezentovaných testech Jalapeño dosáhlo:

• 1,5–1,9× více AI práce na watt při špičkové propustnosti než srovnávané systémy Nvidia.
• 1,7–3,6× nižší celkové latence.
• 2,1–4,1× vyššího výkonu u vysoce interaktivních úloh, podle provozních bodů vybraných OpenAI. 4

Největší rozdíl v latenci se objevil u modelu DeepSeek R1 670B. Jalapeño podle zveřejněných údajů dokončilo požadavek za 1,65 sekundy, zatímco systém založený na GB300 potřeboval 5,99 sekundy. 1112

Nejde ale o přímý příslib, že ChatGPT bude uživatelům odpovídat 3,6× rychleji nebo že zlevní API. Skutečný výkon závisí na modelu, obslužném softwaru, dávkování požadavků, síti, délce kontextu, délce odpovědi i na tom, zda je prioritou co nejnižší odezva, nebo maximální propustnost.

Jaké modely a podmínky se testovaly?

Benchmark zahrnoval tři veřejně dostupné modely s otevřenými vahami:

Model	Srovnávaný systém Nvidia	Výsledek uváděný pro Jalapeño
GPT-OSS 120B	GB200	Přibližně 1,9× více práce na watt; latence 1,03 s oproti 1,80 s
DeepSeek R1 670B	GB300	Přibližně 1,7× více práce na watt; latence 1,65 s oproti 5,99 s
Kimi K2.5 1T	GB300	Přibližně 1,5× více práce na watt; latence 1,56 s oproti 5,31 s

Výše uvedené hodnoty vycházejí ze zveřejněných souhrnů benchmarku, nikoli z nezávisle zopakovaného testu celé sady. 61112

Testovaná zátěž byla nominálně jednorázová a pracovala s 8 000 vstupními a 1 000 výstupními tokeny. Takové nastavení usnadňuje kontrolované srovnání, nepokrývá však celou škálu provozu AI služeb. Zůstávají například otázky týkající se vícekrokových konverzací, volání nástrojů, agentních úloh, odpovědí proměnlivé délky, dávkování požadavků a velmi dlouhého kontextu. 813

Výsledek se navíc vztahuje ke konkrétní kombinaci hardwaru a softwaru. Nové překladače, výpočetní jádra, kvantizace, plánování, architektura modelu nebo změny v běhovém prostředí Nvidia mohou velikost rozdílu změnit.

Co nabízí systém Jalapeño na úrovni racku?

Jalapeño je aplikačně specifický integrovaný obvod, tedy ASIC, který OpenAI vyvinulo společně s Broadcomem pro inferenci velkých jazykových modelů. Na rozdíl od univerzálnějšího GPU je optimalizován pro spouštění již natrénovaných modelů a generování odpovědí. 15

Uváděné parametry systému zahrnují:

• 128 akceleračních čipů v jednom rackovém systému.
• Přibližně 1,7 exaFLOPS výpočetního výkonu ve 4bitové přesnosti.
• Zhruba 27 TB paměti s vysokou propustností v rámci celého systému.
• Příkon čipu 700 wattů, zatímco zveřejněné hodnoty pro akcelerátory GB200 a GB300 činí 1 200, respektive 1 400 wattů. 121419

Verze B0 má podle dostupných údajů výpočetní pouzdro o velikosti retiklu, vyrobené technologií TSMC N3P, a dosahuje 13,4 PFLOPS při výpočtech MXFP4. 18

OpenAI proto nepřistupuje k Jalapeño jen jako k samostatnému akcelerátoru. Důležitou součástí návrhu jsou paměti, propojení mezi čipy, síťová infrastruktura a komunikace v rámci racku i mezi racky. U velmi velkých modelů je totiž často nutné rozdělit jeden požadavek mezi velké množství čipů. 1819

Jak rychle čip vznikl a jak pomáhala AI?

OpenAI a Broadcom se podle dostupných informací dostaly od návrhu ke kroku tape-out – tedy k odeslání finálního návrhu do výroby – přibližně za devět měsíců. Na výkonný čip jde o mimořádně krátkou dobu. 720

Součástí vývoje byly také nástroje s podporou umělé inteligence. To však neznamená, že AI model čip samostatně navrhl a vyrobil. Na architektuře a inženýrských úkolech se podílely lidské týmy, Broadcom zajišťoval polovodičovou implementaci a do procesu vstoupili také výrobní partneři a specialisté na integraci celého systému. 713

Přesnější závěr tedy zní, že OpenAI využilo znalost vlastních LLM zátěží a AI nástrojů v inženýrském procesu k návrhu hardwaru a softwaru pro úzce vymezený účel. Taková specializace může zvýšit efektivitu, zároveň ale omezuje flexibilitu ve srovnání s programovatelným GPU.

Proč je Jalapeño pouze pro inferenci?

Jalapeño je navržené pro provoz již natrénovaných modelů, nikoli pro trénování nových průlomových modelů. OpenAI proto bude dál potřebovat programovatelné akcelerátory, především GPU, pro trénink, výzkum, experimentování a úlohy, které se nehodí pro pevněji specializovaný inferenční ASIC. 813

Právě tato skutečnost omezuje význam titulku o „porážce Nvidie“. Jalapeño může v konkrétních inferenčních metrikách překonat testované konfigurace Nvidia, zatímco hardware Nvidia zůstane důležitou součástí výpočetního zázemí OpenAI pro jiné typy práce.

Specializovaný ASIC může být vynikající pro předvídatelnou a vysoce opakovanou úlohu, aniž by nahradil širší platformu potřebnou pro trénování a rychlé změny modelů.

Co benchmark neprokazuje

Výsledky je vhodné číst jako „lepší v těchto konkrétních testech“, nikoli jako tvrzení, že Jalapeño představuje nejlepší AI systém obecně. Podstatných je několik omezení:

• Testy používaly pevně definovanou, relativně jednoduchou jednorázovou zátěž, nikoli celou škálu produkčního provozu. 1112
• Zveřejněná čísla pocházejí z testů OpenAI na prototypovém hardwaru. SemiAnalysis podle dostupných zpráv ověřila běhy přímo v laboratoři OpenAI, samotné podkladové hodnoty však dodalo OpenAI. 214
• Efektivita byla normalizována podle zveřejněných příkonů čipů. To je užitečné pro srovnání, ale nejde o úplný výpočet spotřeby, provozních nákladů ani ceny celého datového centra. 11
• Výsledky se mohou změnit s novými překladači, jádry, runtime prostředím, kvantizací, dávkováním, síťovou konfigurací nebo optimalizacemi softwaru Nvidia.
• Srovnání neukázalo, jak si Jalapeño vede proti všem novějším či teprve chystaným akcelerátorům, včetně produktů Nvidia po generaci Blackwell a nejnovějších systémů Googlu, Amazonu, Microsoftu, AMD nebo dalších výrobců. 238

Z těchto výsledků také nelze vyvozovat univerzální snížení nákladů o 50 %, garantované zlevnění API ani okamžité vytlačení Nvidie z infrastruktury OpenAI. Dostupné podklady podporují tvrzení o výkonu a efektivitě za stanovených podmínek, nikoli takto široké obchodní závěry.

Kdy OpenAI Jalapeño nasadí?

OpenAI plánuje začít Jalapeño nasazovat ve vlastní infrastruktuře do konce roku 2026. Sériová výroba ve větším objemu a širší rozšíření mají následovat v roce 2027. Dlouhodobější plán počítá s datovými centry v gigawattovém měřítku, která bude OpenAI budovat s Microsoftem a dalšími infrastrukturními partnery napříč několika generacemi čipů. 16

Čip je určen především pro interní potřeby OpenAI, nikoli pro prodej jako univerzální procesor. Firmy mimo OpenAI proto podle těchto oznámení nemají očekávat, že si Jalapeño koupí nebo si pronajmou veřejně dostupnou cloudovou instanci založenou na tomto hardwaru. 16

Interní použití umožní OpenAI optimalizovat čip pro vlastní modely, výpočetní jádra a obslužné systémy. Zároveň se firma vyhne povinnostem spojeným s rolí běžného dodavatele polovodičů – například dlouhodobé softwarové podpoře, prodeji, budování ekosystému a konkurenci se zákazníky. Jde však o strategický výklad; potvrzeným plánem je interní nasazení, nikoli externí prodej čipů. 16

Jak Jalapeño zapadá do širší strategie OpenAI?

Jalapeño je nejlepší chápat jako jednu část širšího, takzvaného full-stack přístupu OpenAI k výpočetní infrastruktuře. Firma kombinuje kapacitu Microsoftu a dalších cloudových partnerů, GPU třídy Nvidia pro flexibilní a tréninkové úlohy a vlastní čipy pro stabilní inferenční provoz, kde se specializace může vyplatit. OpenAI ve svém přehledu výpočetního portfolia zmiňuje Microsoft, Nvidia, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy a SoftBank.

Podobným směrem se vydává celý obor. Google vyvíjí TPU, Amazon nabízí Trainium a Inferentia, Microsoft má vlastní akcelerátor Maia, AMD konkuruje univerzálními AI GPU a Nvidia dál dodává široce programovatelné systémy. Anthropic také prostřednictvím cloudových partnerství směřuje k více přizpůsobené infrastruktuře, dostupné podklady však neposkytují přímé výkonnostní srovnání s jeho systémy.

Krátkodobý dopad je proto složitější než příběh o nahrazení GPU. Jalapeño může OpenAI poskytnout větší kontrolu nad náklady a latencí inference, dodávkami hardwaru i vlastním vývojovým plánem. Nvidia přitom zůstane důležitá pro trénování a flexibilní výzkumné úlohy, zatímco vlastní čip nabídne specializovanou možnost pro předvídatelné a velmi objemné nasazení modelů. 813