AnswersPublished19 sources
Jalapeño проти Nvidia: що показали перші тести власного чипа OpenAI
За даними OpenAI, у тестах InferenceX Jalapeño забезпечив у 1,5–1,9 раза більше ШІ роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку, ніж порівнювані системи Nvidia GB200 та GB300. Для DeepSeek R1 OpenAI заявила приблизно про 700 токенів на секунду для одного користувача на Jalapeño проти 169 токенів на секунд...
ОпублікувавВідредаговано за допомогою GPT-5.6 LunaЗображення створено за допомогою GPT Image 1.5
Research answer
Key takeaways
- За даними OpenAI, у тестах InferenceX Jalapeño забезпечив у 1,5–1,9 раза більше ШІ роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку, ніж порівнювані системи Nvidia GB200 та GB300.
- Для DeepSeek R1 OpenAI заявила приблизно про 700 токенів на секунду для одного користувача на Jalapeño проти 169 токенів на секунду на GB300.
- Jalapeño створений для інференсу, а не навчання моделей. OpenAI планує обмежене внутрішнє розгортання до кінця 2026 року й не розглядає зовнішні продажі через високий внутрішній попит.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI оприлюднила перші результати тестування свого спеціалізованого прискорювача Jalapeño. Компанія заявляє, що в обраних сценаріях обробки запитів великих мовних моделей чип забезпечив більше роботи на кожен ват енергії, меншу наскрізну затримку та дуже високу швидкість генерації токенів у порівнянні із системами Nvidia GB200 і GB300. Результати охоплюють GPT‑OSS 120B, DeepSeek R1 та Kimi K2.5 1T. 3
4
Водночас це важливе уточнення: йдеться про ранні результати, оприлюднені самою OpenAI, у конкретній конфігурації тесту InferenceX. Вони не є незалежним універсальним порівнянням усіх виробничих ШІ-навантажень або всіх актуальних і майбутніх платформ Nvidia. 4
7
Які результати показав Jalapeño
У трьох протестованих моделях OpenAI заявила про у 1,5–1,9 раза більше ШІ-роботи на ват за пікової пропускної здатності та у 1,7–3,6 раза меншу наскрізну затримку, ніж у систем порівняння. Для сценаріїв із високими вимогами до інтерактивності перевага, за даними компанії, становила 2,1–4,1 раза. 3
Найпоказовіші результати за моделями такі:
GPT‑OSS 120B проти Nvidia GB200. Jalapeño досяг заявлених 85 448 одиниць змішаної пропускної здатності на кіловат проти 44 960 у GB200. Наскрізна затримка становила 1,03 секунди проти 1,80 секунди. За мінімального часу між токенами OpenAI зафіксувала 0,69 мс — це приблизно 1 459 токенів на секунду для одного користувача проти 535 у GB200.
4
DeepSeek R1 MXFP4 проти Nvidia GB300. Jalapeño показав заявлені 19 641 одиницю змішаної пропускної здатності на кіловат проти 11 781 у GB300. Наскрізна затримка становила 1,65 секунди проти 5,99 секунди. За мінімального часу між токенами OpenAI повідомила приблизно про 700 токенів на секунду для одного користувача проти 169 у GB300.
6
Kimi K2.5 MXFP4 проти Nvidia GB300. OpenAI заявила про у 1,5 раза вищу пікову пропускну здатність на кіловат, у 3,4 раза меншу наскрізну затримку та приблизно 694 токени на секунду для одного користувача проти 182 у GB300.
Показник «токени на секунду для одного користувача» описує інтерактивність: наскільки швидко конкретний запит отримує згенеровані токени. Це не те саме, що загальна кількість токенів, яку серверна стійка може виробити під час обробки великої кількості паралельних запитів. Різниця особливо важлива для чат-ботів, програмування та агентних систем, де швидкість відповіді безпосередньо впливає на сприйняття продукту.
Чому спеціалізований чип може бути швидшим
Jalapeño розробляли саме як прискорювач для інференсу великих мовних моделей, а не як універсальний графічний процесор, пристосований одночасно до навчання та обслуговування готових моделей. OpenAI відповідала за архітектуру, Broadcom — за реалізацію кремнію та мережеву частину, а Celestica — за проєктування плат, стійок і системну інтеграцію. 17
32
Архітектура рівня стійки використовує велику об’єднану мережеву область, у межах якої навантаження має залишатися в одній системі. OpenAI заявляє, що намагається зберігати стан моделі, зокрема KV-кеш, локально, щоб зменшити обмін даними між чипами та затримки комунікації, які можуть сповільнювати генерацію. 4
6
Система також не розділяє підготовку запиту й генерацію відповіді на два постійно відокремлені пули ресурсів. За описом OpenAI, обчислювальні, memory- та мережеві ресурси можуть спільно використовуватися на обох етапах інференсу. Під час prefill система обробляє вхідний запит, що зазвичай потребує значних обчислень. Під час decode вона генерує відповідь токен за токеном, і тут важливішими часто стають переміщення даних та пропускна здатність пам’яті. 4
6
Повні технічні характеристики залишаються непублічними. В одному з технічних описів згадується система зі 128 чипів, приблизно 1,7 ексафлопса та 27 ТБ HBM. Однак у своєму оголошенні про бенчмарки OpenAI не навела повної специфікації стійки, достатньої для незалежного відтворення кожного результату. 4
OpenAI каже, що під час розробки допомагав ШІ
За словами OpenAI, від початкового проєктування Jalapeño до передачі чипа у виробництво — так званого tape-out — минуло дев’ять місяців. Для складного спеціалізованого прискорювача це надзвичайно стислий термін. 17
21
Компанія також заявляє, що її моделі допомагали досліджувати варіанти дизайну, реалізовувати та вимірювати рішення, проводити верифікацію, оптимізувати арифметичні схеми й писати програмний код. OpenAI повідомила, що Codex із GPT‑Astra допоміг менш ніж за два місяці вивести на високий рівень продуктивності три open-weight моделі, які спочатку не планувалися для цієї платформи.
Для окремих блоків уваги та mixture-of-experts у GPT‑OSS компанія заявила, що реалізації, згенеровані за допомогою ШІ, були у 1,5–1,8 раза швидшими за наявні реалізації, написані людьми. Ці цифри стосуються окремих блоків, а не повних результатів обслуговування моделей. 4
Обмеження та застереження щодо тесту
Гучну перевагу Jalapeño варто оцінювати в контексті.
Це прискорювач інференсу, а не GPU для навчання
Jalapeño призначений для запуску вже навчених моделей. Він не розроблявся для навчання, тому OpenAI й надалі очікує використовувати Nvidia, AMD та інші прискорювачі для тренування моделей і частини інфраструктури інференсу. 4
6
Отже, Jalapeño — це спеціалізоване доповнення до інфраструктури OpenAI, а не повна заміна GPU-систем, які потрібні компанії для різних типів навантажень.
Тест охоплював вузький сценарій обслуговування
Для порівняння використали публічний бенчмарк InferenceX від SemiAnalysis. Він передбачав номінальні однокрокові запити з 8 000 токенами на вході та 1 000 токенами на виході. Тест вимірював обслуговування повного запиту, зіставляв системи за користувацьким досвідом і нормалізував результати за опублікованими показниками потужності чипів. 4
7
SemiAnalysis повідомила, що спостерігала за тестовими запусками в лабораторії OpenAI, але не виконувала весь набір тестів самостійно. Також організація застерегла, що конфігурація не перевіряє довші контексти, багатокрокові агентні сценарії, маршрутизацію запитів, кешування префіксів, керування кешем чи offload-операції. Такі програмні рішення та особливості обслуговування можуть суттєво змінити продуктивність у реальному виробничому середовищі. 6
Методика обліку енергії впливає на результат «на ват»
OpenAI вказує для Jalapeño 700 Вт пакетної потужності й заявляє, що під час тестових навантажень стабільно вимірювана потужність становила не більш як 550 Вт. Для GB200 і GB300 у порівнянні використали розрахункові показники 1 200 Вт і 1 400 Вт відповідно. Тому перевага на ват частково залежить від навантаження, точки вимірювання та способу обліку енергії. 4
Порівняння з Nvidia обмежене в часі
Jalapeño порівнювали з найкращими доступними на той момент результатами для GB200 або GB300. Однак до масштабного розгортання Jalapeño актуальнішими можуть стати новіші системи Nvidia. Крім того, Nvidia публікує результати GB300 для DeepSeek R1 за іншою, офлайновою методикою MLPerf. Їх не можна напряму зіставляти з інтерактивними показниками Jalapeño у токенах на користувача. 1
2
4
Розгортання та конкурентна стратегія
OpenAI планує обмежене розгортання Jalapeño у власній обчислювальній інфраструктурі до кінця 2026 року, а у 2027 році очікує збільшити потужності. Компанія заявляє, що друге покоління чипа вже перебуває на просунутій стадії розробки, а робота над третім поколінням лише починається. 4
6
Поки що Jalapeño залишається внутрішньою платформою: інші компанії не можуть придбати або орендувати цей чип. Керівник апаратного напряму OpenAI Річард Хо заявив, що внутрішній попит настільки високий, що про зовнішні продажі наразі не йдеться. 6
Таким чином, стратегія OpenAI полягає не в негайному витісненні Nvidia та AMD, а в доповненні їхніх рішень. Компанії все ще потрібні універсальні прискорювачі для навчання моделей, тому майбутня інфраструктура OpenAI, ймовірно, залишатиметься неоднорідною. Google уже розробляє TPU для навчання та інференсу, Amazon і Microsoft створили власні ШІ-чипи, а Anthropic також описувала роботу над кастомним кремнієм. 6
Що це означає на практиці
Перші результати Jalapeño свідчать, що прискорювач, створений під конкретний тип навантаження, може перевершувати універсальні системи за метриками, які особливо важливі для інтерактивного обслуговування мовних моделей: енергоефективністю, часом повної відповіді та кількістю токенів, що отримує кожен користувач.
Але наявні дані підтримують вужчий висновок, ніж заголовок «OpenAI перемогла Nvidia». Заявлена перевага стосується окремих моделей, конкретного сценарію InferenceX і порівняння з певними конфігураціями GB200 та GB300. Ще належить з’ясувати, як Jalapeño покаже себе на ширшому потоці виробничих запитів, у довгоконтекстних агентних системах, з іншими програмними стеками, у близьких до навчання навантаженнях і на тлі систем Nvidia, доступних на момент масштабного розгортання OpenAI.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño проти Nvidia: що показали перші тести власного чипа OpenAI"?
За даними OpenAI, у тестах InferenceX Jalapeño забезпечив у 1,5–1,9 раза більше ШІ роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку, ніж порівнювані системи Nvidia GB200 та GB300.
What are the key points to validate first?
За даними OpenAI, у тестах InferenceX Jalapeño забезпечив у 1,5–1,9 раза більше ШІ роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку, ніж порівнювані системи Nvidia GB200 та GB300. Для DeepSeek R1 OpenAI заявила приблизно про 700 токенів на секунду для одного користувача на Jalapeño проти 169 токенів на секунду на GB300.
What should I do next in practice?
Jalapeño створений для інференсу, а не навчання моделей. OpenAI планує обмежене внутрішнє розгортання до кінця 2026 року й не розглядає зовнішні продажі через високий внутрішній попит.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch