AnswersPublished15 sources
Jalapeño проти Nvidia: що показали перші тести кастомного чипа OpenAI
OpenAI заявляє, що Jalapeño перевершив системи Nvidia GB200 і GB300 у тестових сценаріях інференсу за енергоефективністю та швидкістю відповіді. На моделях GPT‑OSS 120B, DeepSeek R1 670B і Kimi K2.5 1T чип показав у 1,5–1,9 раза більше роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку.
ОпублікувавЗображення створено за допомогою GPT Image 1.5
Research answer
Key takeaways
- OpenAI заявляє, що Jalapeño перевершив системи Nvidia GB200 і GB300 у тестових сценаріях інференсу за енергоефективністю та швидкістю відповіді.
- На моделях GPT‑OSS 120B, DeepSeek R1 670B і Kimi K2.5 1T чип показав у 1,5–1,9 раза більше роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку.
- У тесті DeepSeek R1 Jalapeño досяг близько 700 токенів за секунду на користувача проти 169 токенів у системи GB300.
- Результати отримано в лабораторних тестах InferenceX із нормованим енергоспоживанням, тому їх не можна безпосередньо переносити на всі реальні AI навантаження.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI заявляє, що її перший кастомний прискорювач, створений спільно з Broadcom, у низці тестів інференсу випередив серверні системи Nvidia GB200 і GB300. За даними компанії, Jalapeño забезпечив більше AI-обчислень на кожен ват спожитої енергії та швидше повертав відповіді користувачам. Водночас це ранні результати, оприлюднені самим розробником, а не незалежне порівняння всіх виробничих сценаріїв. 4
7
Що показали тести
OpenAI тестувала Jalapeño на трьох великих мовних моделях: GPT‑OSS 120B, DeepSeek R1 670B і Kimi K2.5 1T. У сукупності компанія заявила про:
- у 1,5–1,9 раза більше роботи ШІ на ват за пікової пропускної здатності;
- у 1,7–3,6 раза меншу наскрізну затримку — тобто час від надсилання запиту до отримання відповіді.
4
GPT‑OSS 120B проти GB200
У порівнянні з Nvidia GB200 OpenAI зафіксувала для Jalapeño:
- 85 448 проти 44 960 одиниць пікової змішаної пропускної здатності на кіловат — приблизно у 1,9 раза більше;
- наскрізну затримку 1,03 секунди проти 1,80 секунди — у 1,7 раза меншу;
- мінімальний інтервал між токенами 0,69 мс, або 1 459 токенів за секунду на користувача, проти 1,87 мс і 535 токенів за секунду на користувача.
DeepSeek R1 проти GB300
Для DeepSeek R1 у форматі MXFP4 Jalapeño порівнювали із системою GB300. OpenAI повідомила про:
- 19 641 проти 11 781 одиниці пікової змішаної пропускної здатності на кіловат — перевагу приблизно в 1,7 раза;
- затримку 1,65 секунди проти 5,99 секунди — у 3,6 раза меншу;
- інтервал між токенами 1,43 мс, що відповідає приблизно 700 токенам за секунду на користувача, проти 169 у GB300.
Kimi K2.5 проти GB300
На Kimi K2.5 у форматі MXFP4 OpenAI заявила про приблизно у 1,5 раза вищу пікову пропускну здатність на ват і у 3,4 раза меншу наскрізну затримку. За мінімального інтервалу між токенами система показала близько 694 токенів за секунду на користувача проти 182 у GB300. 4
Як влаштований Jalapeño
На відміну від універсального GPU, адаптованого для AI-завдань, Jalapeño створювали спеціально для інференсу великих мовних моделей — запуску вже навченої моделі для обробки запитів. OpenAI відповідала за архітектуру прискорювача, Broadcom — за реалізацію кремнію та мережеву частину, а Celestica — за інтеграцію плат, стійок і готових систем. 1
Розкрита конструкція працює як масштабна система з великим об’єднаним мережевим доменом. Це дає змогу залишати робоче навантаження в межах однієї системи, а стан моделі, зокрема KV-кеш, розміщувати локально. Такий підхід має зменшувати переміщення даних між чипами й затримки через обмін інформацією. 4
Jalapeño також не розділяє ресурси для двох основних фаз інференсу — підготовки контексту (prefill) і генерації токенів (decode). Один і той самий набір обчислювальних, мережевих і пам’яттєвих ресурсів має обслуговувати обидві фази. Це важливо, оскільки prefill переважно навантажує обчислення, тоді як авторегресійна генерація токенів значною мірою залежить від пропускної здатності пам’яті. 4
Повні технічні характеристики системи поки що не оприлюднені. В одному технічному описі згадується конфігурація зі 128 чипів, приблизно 1,7 екзафлопса та 27 ТБ HBM, однак у власній публікації з результатами OpenAI не навела повний перелік компонентів стійки. 4
OpenAI створила чип за дев’ять місяців
Компанія стверджує, що пройшла шлях від початкового проєктування до передачі чипа у виробництво за дев’ять місяців. OpenAI називає такий цикл надзвичайно швидким для сучасної високопродуктивної ASIC-розробки. 1
У роботі над Jalapeño використовувалися й моделі самої OpenAI. Вони допомагали з проєктуванням, перевіркою реалізацій, вимірюваннями, верифікацією, оптимізацією арифметичних схем і програмуванням. За словами компанії, Codex у поєднанні з GPT‑Astra за два місяці допоміг вивести на високий рівень продуктивності три моделі з відкритими вагами, які не планувалися спочатку.
На окремих блоках уваги GPT‑OSS і суміші експертів AI-згенеровані реалізації були у 1,5–1,8 раза швидшими за попередні реалізації, написані людьми. Це показники окремих блоків, а не всієї моделі, тому їх не слід трактувати як загальне прискорення роботи системи. 4
Чому до результатів потрібна обережність
Jalapeño призначений для інференсу, а не навчання моделей. Тому OpenAI й надалі покладатиметься на прискорювачі Nvidia, AMD та інших партнерів для тренування, а також для частини інференсних потужностей. 6
Тести проводилися на публічному наборі InferenceX від SemiAnalysis. Він використовував номінальні однокористувацькі сценарії з 8 000 токенами на вході та 1 000 токенами на виході й вимірював повний процес обслуговування запиту. Системи порівнювали за однакового користувацького досвіду, а показники нормували за опублікованою потужністю чипів. 4
7
В енергетичному порівнянні є важлива деталь: OpenAI вказує для Jalapeño паспортну потужність корпусу 700 Вт, але стверджує, що в цих тестах фактичне тривале споживання становило 550 Вт або менше. Для GB200 і GB300 у розрахунках використовували відповідно 1 200 Вт і 1 400 Вт. Отже, перевага на ват залежить від конкретного навантаження та методики обліку потужності. 4
SemiAnalysis повідомила, що спостерігала за запусками в лабораторії OpenAI, але не проводила весь набір тестів самостійно. Аналітики також застерігають: сценарій InferenceX із одним запитом, 8 000 токенами контексту та 1 000 токенами відповіді не перевіряє довгі контексти, багатокрокових AI-агентів, маршрутизацію, кешування префіксів, керування кешем чи вивантаження даних. У реальних системах ці фактори можуть істотно змінити продуктивність. 4
Порівняння має й часові межі. GB200 і GB300 — комерційні системи покоління Blackwell, тоді як на момент масштабного розгортання Jalapeño новіші платформи Nvidia можуть стати доречнішими конкурентами. Окремі результати Nvidia для DeepSeek R1 на GB300 отримані за іншою, офлайн-методикою MLPerf, тому їх не можна напряму зіставляти з інтерактивними показниками токенів на користувача для Jalapeño. 2
4
Коли Jalapeño з’явиться і чи продаватиме його OpenAI
OpenAI планує обмежене розгортання систем на базі Jalapeño у власній обчислювальній інфраструктурі до кінця 2026 року, а у 2027-му — збільшити доступні потужності. Друге покоління чипа вже перебуває на просунутій стадії розробки, а робота над третім лише набирає обертів. 4
6
Продавати Jalapeño зовнішнім клієнтам OpenAI наразі не планує. Віцепрезидент компанії з апаратного забезпечення Річард Хо пояснив, що внутрішній попит надто високий, щоб розглядати зовнішні продажі. 6
Таким чином, Jalapeño має не замінити Nvidia та AMD, а доповнити їх. OpenAI продовжить масштабно використовувати прискорювачі Nvidia та інших партнерів, особливо для навчання моделей — сфери, яку її новий чип не охоплює. 4
6
У ширшій конкурентній боротьбі OpenAI приєднується до компаній, які створюють власний кремнієвий стек: Google уже має TPU для навчання та інференсу, Amazon і Microsoft розробляють внутрішні AI-чипи, а Anthropic заявляла про власний напрям проєктування чипів. Наразі перевага Jalapeño залишається вузькою: вона стосується інференсу мовних моделей у конкретних оприлюднених конфігураціях і тестах. 6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño проти Nvidia: що показали перші тести кастомного чипа OpenAI"?
OpenAI заявляє, що Jalapeño перевершив системи Nvidia GB200 і GB300 у тестових сценаріях інференсу за енергоефективністю та швидкістю відповіді.
What are the key points to validate first?
OpenAI заявляє, що Jalapeño перевершив системи Nvidia GB200 і GB300 у тестових сценаріях інференсу за енергоефективністю та швидкістю відповіді. На моделях GPT‑OSS 120B, DeepSeek R1 670B і Kimi K2.5 1T чип показав у 1,5–1,9 раза більше роботи на ват і в 1,7–3,6 раза меншу наскрізну затримку.
What should I do next in practice?
У тесті DeepSeek R1 Jalapeño досяг близько 700 токенів за секунду на користувача проти 169 токенів у системи GB300.
Sources
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
axios.comOpenAI says its Jalapeño chip bests Nvidia, others