AnswersPublished15 sources
OpenAI ukázala výsledky čipu Jalapeño: rychlejší inference a vyšší výkon na watt než u Nvidia GB200 a GB300
OpenAI uvádí, že čip Jalapeño v testovaných úlohách inference překonal srovnávané systémy Nvidia GB200 a GB300 ve výkonu na watt i v rychlosti odezvy. Napříč modely GPT‑OSS 120B, DeepSeek R1 670B a Kimi K2.5 1T firma naměřila 1,5–1,9× více AI práce na watt a 1,7–3,6× nižší latenci.
PublikovalObrázky vytvořeny pomocí GPT Image 1.5
Research answer
Key takeaways
- OpenAI uvádí, že čip Jalapeño v testovaných úlohách inference překonal srovnávané systémy Nvidia GB200 a GB300 ve výkonu na watt i v rychlosti odezvy.
- Napříč modely GPT‑OSS 120B, DeepSeek R1 670B a Kimi K2.5 1T firma naměřila 1,5–1,9× více AI práce na watt a 1,7–3,6× nižší latenci.
- U DeepSeek R1 měl Jalapeño dosáhnout přibližně 700 tokenů za sekundu na uživatele oproti 169 tokenům u GB300.
- Jde o rané výsledky zveřejněné výrobcem, nikoli o nezávislé srovnání všech produkčních AI zátěží.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI tvrdí, že její vlastní akcelerátor Jalapeño dokáže při provozu velkých jazykových modelů nabídnout vyšší energetickou efektivitu i rychlejší odezvu než srovnávané rackové systémy Nvidia GB200 a GB300. Výsledky se týkají konkrétních testovaných konfigurací a veřejného benchmarku InferenceX, takže nejde o nezávislé, univerzálně platné měření všech produkčních AI úloh. 4
7
Co ukázaly benchmarky
OpenAI testovala Jalapeño na modelech GPT‑OSS 120B, DeepSeek R1 670B a Kimi K2.5 1T. Napříč těmito úlohami firma uvádí 1,5–1,9× více AI práce na watt při špičkové propustnosti a 1,7–3,6× nižší celkovou latenci než u srovnávaných systémů Nvidia. 4
GPT‑OSS 120B proti GB200
Ve srovnání s Nvidia GB200 OpenAI uvádí:
- 1,9× vyšší špičkovou smíšenou propustnost na kilowatt: 85 448 oproti 44 960;
- 1,7× nižší celkovou latenci: 1,03 sekundy oproti 1,80 sekundy;
- minimální čas mezi tokeny 0,69 milisekundy, což odpovídá 1 459 tokenům za sekundu na uživatele, oproti 1,87 milisekundy a 535 tokenům u GB200.
4
DeepSeek R1 proti GB300
U modelu DeepSeek R1 v režimu MXFP4 OpenAI porovnávala Jalapeño se systémem GB300. Podle zveřejněných údajů dosáhl čip:
- 1,7× vyšší špičkové smíšené propustnosti na kilowatt: 19 641 oproti 11 781;
- 3,6× nižší celkové latence: 1,65 sekundy oproti 5,99 sekundy;
- času mezi tokeny 1,43 milisekundy, tedy přibližně 700 tokenů za sekundu na uživatele, oproti 169 tokenům u GB300.
Kimi K2.5 proti GB300
U modelu Kimi K2.5 v režimu MXFP4 OpenAI uvádí 1,5× vyšší špičkovou propustnost na watt a 3,4× nižší celkovou latenci. Při minimálním času mezi tokeny měl Jalapeño dosáhnout zhruba 694 tokenů za sekundu na uživatele, zatímco GB300 přibližně 182 tokenů. 4
Čím se Jalapeño liší od běžného GPU
Jalapeño není obecný grafický procesor upravený pro AI, ale akcelerátor navržený přímo pro inference velkých jazykových modelů. OpenAI se podílela na návrhu akcelerátoru, Broadcom na implementaci čipu a síťové části a společnost Celestica na integraci desek, racků a celého systému. 1
Zveřejněný návrh pracuje s rozsáhlou propojenou síťovou doménou, v níž může úloha zůstat v rámci jediného systému. Čip se zároveň snaží držet stav modelu včetně KV cache lokálně, aby omezil přesuny dat mezi čipy a zpoždění způsobená komunikací. 4
OpenAI také uvádí, že neodděluje fázi prefill, tedy zpracování vstupního promptu, od fáze decode, při níž model postupně generuje odpověď, do samostatných zdrojových poolů. Obě fáze mají využívat stejné flexibilní výpočetní, paměťové a síťové prostředky. To je důležité, protože zpracování promptu je náročné hlavně na výpočty, zatímco generování tokenů zatěžuje především paměťovou propustnost. 4
Veřejně dostupné informace o přesných parametrech celého systému jsou zatím omezené. Jeden technický popis hovoří o systému se 128 čipy, přibližně 1,7 exaflops výpočetního výkonu a 27 TB paměti HBM. Samotný benchmarkový příspěvek OpenAI však neobsahuje kompletní seznam komponent racku. 4
Vývoj za devět měsíců a role umělé inteligence
OpenAI tvrdí, že se od prvního návrhu dostala k výrobnímu tape-outu — tedy k předání návrhu čipu do výroby — za pouhých devět měsíců. Firma tuto dobu označuje za mimořádně rychlý cyklus pro pokročilý ASIC. 1
Při návrhu a ověřování čipu využívala vlastní modely pro návrhové práce, hledání implementačních variant, měření, verifikaci, optimalizaci aritmetických obvodů i programování. OpenAI uvádí, že Codex s modelem GPT‑Astra během dvou měsíců pomohl dostat tři původně neplánované open-weight modely na vysokou úroveň výkonu. U vybraných bloků pozornosti a mixture-of-experts v GPT‑OSS byly implementace vytvořené umělou inteligencí 1,5–1,8× rychlejší než dosavadní implementace napsané lidmi. Tato čísla se týkají jednotlivých bloků, nikoli celých modelů. 4
Proč je potřeba výsledky číst opatrně
Benchmark využíval veřejnou sadu InferenceX od společnosti SemiAnalysis. Testy simulovaly jednorázové požadavky s vstupem o délce 8 000 tokenů a výstupem o délce 1 000 tokenů a měřily obsluhu celého požadavku. Systémy byly porovnávány při srovnatelné uživatelské zkušenosti a výsledky byly normalizovány podle zveřejněné spotřeby čipů. 4
7
Spotřeba je přitom jedním z důležitých předpokladů. OpenAI uvádí pro Jalapeño příkon pouzdra 700 wattů, zároveň však říká, že při těchto úlohách byla naměřená trvalá spotřeba nejvýše 550 wattů. U GB200 a GB300 byly použity hodnoty 1 200, respektive 1 400 wattů. Výhoda ve výkonu na watt proto závisí také na volbě zátěže a způsobu započítání spotřeby. 4
SemiAnalysis uvedla, že běhy sledovala v laboratoři OpenAI, ale celou benchmarkovou sadu sama neprovedla. Upozornila také, že nastavení InferenceX s jediným požadavkem a poměrem 8 000 vstupních ku 1 000 výstupním tokenům netestuje delší kontexty, vícekolové agentní úlohy, směrování požadavků, ukládání prefixů do cache, správu cache ani odkládání dat. Tyto faktory mohou mít na skutečný produkční výkon výrazný vliv. 4
Srovnání je navíc časově omezené. GB200 a GB300 patří ke komerční generaci Blackwell, zatímco v budoucnu mohou být vhodnějšími soupeři novější platformy Nvidia. Nvidia například zveřejňuje výsledky GB300 pro DeepSeek R1 v metodice MLPerf s offline scénářem. Tyto údaje nelze přímo porovnávat s interaktivním měřením tokenů na uživatele u Jalapeño. 2
4
Kdy se Jalapeño objeví a co to znamená pro Nvidia
OpenAI plánuje omezené nasazení systémů s Jalapeño ve vlastní výpočetní infrastruktuře do konce roku 2026 a větší kapacitu v roce 2027. Druhá generace čipu je podle firmy již intenzivně vyvíjena a začínají se rýsovat i práce na třetí generaci. 4
6
Externím zákazníkům OpenAI Jalapeño prodávat nehodlá. Hardwarový viceprezident společnosti Richard Ho uvedl, že interní poptávka je příliš vysoká na to, aby firma v současnosti počítala s prodejem mimo OpenAI. 6
Nejde tedy o okamžitou náhradu hardwaru Nvidia nebo AMD. Jalapeño má jejich akcelerátory doplnit, především protože je určený pro inference a neřeší trénování modelů. OpenAI proto hodlá dál ve velkém využívat akcelerátory Nvidia i dalších partnerů pro trénování a část inferenčních kapacit. 4
6
V širším kontextu se OpenAI připojuje k trendu vertikální integrace AI infrastruktury. Google už používá vlastní TPU pro trénování i inference, vlastní čipy vyvíjejí také Amazon a Microsoft a Anthropic oznámila snahu vybudovat interní návrhářské kapacity. Současný argument OpenAI pro Jalapeño je však užší: týká se výkonu inference velkých jazykových modelů v konkrétně zveřejněných benchmarkových konfiguracích. 6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAI ukázala výsledky čipu Jalapeño: rychlejší inference a vyšší výkon na watt než u Nvidia GB200 a GB300"?
OpenAI uvádí, že čip Jalapeño v testovaných úlohách inference překonal srovnávané systémy Nvidia GB200 a GB300 ve výkonu na watt i v rychlosti odezvy.
What are the key points to validate first?
OpenAI uvádí, že čip Jalapeño v testovaných úlohách inference překonal srovnávané systémy Nvidia GB200 a GB300 ve výkonu na watt i v rychlosti odezvy. Napříč modely GPT‑OSS 120B, DeepSeek R1 670B a Kimi K2.5 1T firma naměřila 1,5–1,9× více AI práce na watt a 1,7–3,6× nižší latenci.
What should I do next in practice?
U DeepSeek R1 měl Jalapeño dosáhnout přibližně 700 tokenů za sekundu na uživatele oproti 169 tokenům u GB300.
Sources
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer