ОтветыОпубликовано19 источники
Jalapeño от OpenAI обещает более быстрый и экономичный инференс, чем Nvidia GB200 и GB300
В тестах InferenceX OpenAI заявила о 1,5–1,9 кратном росте объема ИИ работы на ватт и снижении сквозной задержки в 1,7–3,6 раза по сравнению с системами Nvidia GB200 и GB300. На DeepSeek R1 Jalapeño показал около 700 токенов в секунду на пользователя против 169 у GB300 при минимальном времени между токенами.
ОпубликовалОтредактировано с помощью GPT-5.6 LunaИзображения созданы с помощью GPT Image 1.5
Ответ на исследование
Ключевые выводы
- В тестах InferenceX OpenAI заявила о 1,5–1,9 кратном росте объема ИИ работы на ватт и снижении сквозной задержки в 1,7–3,6 раза по сравнению с системами Nvidia GB200 и GB300.
- На DeepSeek R1 Jalapeño показал около 700 токенов в секунду на пользователя против 169 у GB300 при минимальном времени между токенами.
- Jalapeño создан для инференса, а не обучения моделей. OpenAI планирует ограниченное внутреннее развертывание к концу 2026 года и не собирается продавать чип внешним компаниям.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI представила первые подробные результаты тестирования собственного ускорителя Jalapeño — чипа, разработанного специально для запуска больших языковых моделей. По утверждению компании, в ряде сценариев он превзошел системы на базе Nvidia GB200 и GB300 по энергоэффективности, задержке ответа и скорости генерации токенов. Испытания охватывали GPT‑OSS 120B, DeepSeek R1 и Kimi K2.5 1T. 3
4
Важная оговорка: это ранние результаты, опубликованные самой OpenAI, причем для конкретной конфигурации теста InferenceX. Они не представляют собой независимое универсальное сравнение всех производственных ИИ-нагрузок с нынешними и будущими платформами Nvidia. 4
7
Что показали тесты Jalapeño
На трех проверенных моделях OpenAI заявила о 1,5–1,9-кратном увеличении объема ИИ-работы на ватт при пиковой пропускной способности и снижении сквозной задержки в 1,7–3,6 раза по сравнению с системами, взятыми для сопоставления. В сценариях, где особенно важна интерактивность, преимущество составило от 2,1 до 4,1 раза. 3
Наиболее наглядные результаты по отдельным моделям выглядят так:
GPT‑OSS 120B против Nvidia GB200. Jalapeño показал заявленные 85 448 условных единиц смешанной пиковой производительности на киловатт, тогда как GB200 — 44 960. Сквозная задержка составила 1,03 секунды против 1,80 секунды. Минимальное время между токенами — 0,69 миллисекунды, что соответствует примерно 1 459 токенам в секунду на пользователя против 535 у GB200.
4
DeepSeek R1 MXFP4 против Nvidia GB300. Для Jalapeño заявлены 19 641 условная единица смешанной пиковой производительности на киловатт против 11 781 у GB300. Сквозная задержка составила 1,65 секунды против 5,99 секунды. При минимальном времени между токенами OpenAI получила около 700 токенов в секунду на пользователя против 169 у GB300.
6
Kimi K2.5 MXFP4 против Nvidia GB300. OpenAI сообщила о 1,5-кратном преимуществе по пиковой производительности на киловатт, снижении сквозной задержки в 3,4 раза и скорости около 694 токенов в секунду на пользователя против 182 у GB300.
Показатель «токены в секунду на пользователя» отражает интерактивность: он показывает, насколько быстро конкретный запрос получает новые фрагменты ответа, а не только сколько токенов вся стойка может выдавать при высокой параллельной нагрузке. Для чат-ботов, программирования и ИИ-агентов это особенно важно: пользователь оценивает не совокупную мощность дата-центра, а то, насколько быстро система реагирует на его запрос.
Почему специализированный чип может оказаться быстрее
Jalapeño — это ускоритель для инференса больших языковых моделей, а не универсальный графический процессор, приспособленный одновременно для обучения и запуска моделей. OpenAI разработала архитектуру, Broadcom отвечала за реализацию кристалла и сетевую часть, а Celestica участвовала в создании плат, стоек и интеграции системы. 17
32
Система масштабируется на уровне стойки и использует крупный связный сетевой домен, призванный удерживать рабочую нагрузку внутри одной системы. OpenAI заявляет, что старается размещать и сохранять состояние модели, включая KV-кэш, локально. Это должно сокращать обмен данными между чипами и задержки, возникающие из-за коммуникации во время генерации. 4
6
Еще одна особенность — отсутствие жесткого разделения ресурсов для этапов prefill и decode. В первом случае система обрабатывает входной запрос, что обычно требует значительных вычислений. Во втором она генерирует ответ токен за токеном, и производительность часто упирается в перемещение данных и пропускную способность памяти. OpenAI описывает вычислительные ресурсы, память и сеть как взаимозаменяемые между этими этапами, а не как два изолированных пула. 4
6
Публичных технических деталей пока недостаточно для полной независимой реконструкции системы. В одном из технических описаний говорится о конфигурации из 128 чипов примерно на 1,7 эксафлопса и с 27 ТБ памяти HBM, однако в публикации OpenAI нет полного перечня компонентов стойки и всех параметров, необходимых для повторения результатов. 4
OpenAI утверждает, что в разработке помогал ИИ
По словам OpenAI, от начала проектирования до передачи чипа в производство — этапа, который в отрасли называют tape-out, — прошло девять месяцев. Для сложного специализированного ускорителя это исключительно сжатый срок. 17
21
Компания также заявляет, что ее модели помогали исследовать варианты архитектуры, выполнять реализацию и измерения, проводить верификацию, оптимизировать арифметические схемы и писать программный код. OpenAI сообщила, что Codex вместе с GPT‑Astra помогли за два месяца вывести на высокую производительность три ранее не запланированные модели с открытыми весами.
На отдельных блоках внимания и mixture-of-experts в GPT‑OSS реализации, сгенерированные при помощи ИИ, по данным компании, работали в 1,5–1,8 раза быстрее существующих вариантов, написанных людьми. Это показатели отдельных компонентов, а не результат полного обслуживания модели, поэтому их нельзя напрямую приравнивать к общей скорости Jalapeño. 4
Насколько показательны эти результаты
Заявленное преимущество Jalapeño следует рассматривать в контексте условий тестирования.
Это ускоритель инференса, а не графический процессор для обучения
Jalapeño предназначен для обслуживания уже обученных моделей. Он не рассчитан на обучение, поэтому OpenAI по-прежнему ожидает использовать Nvidia, AMD и другие ускорители для тренировки моделей, а также для части инференсных задач. 4
6
Иными словами, речь идет о специализированном дополнении к инфраструктуре OpenAI, а не о полной замене GPU во всех рабочих процессах компании.
Тест проверял ограниченный профиль нагрузки
Сравнение проводилось на открытом бенчмарке InferenceX от SemiAnalysis. В номинальном сценарии использовались одноповоротные запросы с входом на 8 000 токенов и выходом на 1 000 токенов. Тест измерял обслуживание полного запроса, сопоставлял системы по пользовательскому опыту и нормировал результаты с использованием опубликованных значений энергопотребления чипов. 4
7
SemiAnalysis сообщила, что наблюдала запуски в лаборатории OpenAI, но не выполняла весь набор тестов самостоятельно. Организация также предупредила, что конфигурация не проверяет длинный контекст, многоходовые сценарии с ИИ-агентами, маршрутизацию запросов, кэширование префиксов, управление кэшем и выгрузку данных. В реальных сервисах эти программные решения могут существенно изменить итоговую производительность. 6
Подсчет энергопотребления влияет на результат «на ватт»
OpenAI указывает для Jalapeño 700 Вт пакетного энергопотребления и сообщает, что на проверенных нагрузках фактическое устойчивое потребление составляло не более 550 Вт. Для GB200 и GB300 использовались расчетные значения 1 200 и 1 400 Вт соответственно. Поэтому преимущество на каждый ватт частично зависит от характера нагрузки, точки измерения и методики учета энергии. 4
Сравнение с Nvidia ограничено по времени
В тестах Jalapeño сопоставляли с лучшими доступными на тот момент результатами систем GB200 и GB300. Однако к моменту массового развертывания ускорителя более уместными конкурентами Nvidia могут стать новые платформы.
Кроме того, Nvidia публикует результаты GB300 для DeepSeek R1 по другой, офлайн-методике MLPerf. Такие показатели нельзя напрямую сравнивать с интерактивной скоростью токенов на пользователя, которую приводит OpenAI. 1
2
4
Планы развертывания и конкуренция
OpenAI планирует ограниченное внедрение Jalapeño в собственной вычислительной инфраструктуре к концу 2026 года. Более заметное увеличение мощности ожидается в 2027-м. Компания утверждает, что второе поколение чипа уже находится на продвинутой стадии разработки, а работа над третьим поколением только начинается. 4
6
Пока Jalapeño остается внутренней платформой: внешние компании не могут купить или арендовать этот чип. Руководитель аппаратного направления OpenAI Ричард Хо заявил, что внутренний спрос настолько высок, что продажи сторонним клиентам пока не рассматриваются. 6
Следовательно, стратегия OpenAI — скорее дополнить Nvidia и AMD, чем немедленно вытеснить их. Для обучения моделей компании по-прежнему нужны универсальные ускорители, поэтому ее будущая инфраструктура, вероятно, останется неоднородной.
OpenAI здесь присоединяется к более широкому тренду вертикальной интеграции. Google разрабатывает TPU для обучения и инференса, Amazon и Microsoft создают собственные ИИ-чипы, а Anthropic также описывала планы по разработке специализированного кремния. 6
Итог
Первые результаты Jalapeño показывают, что ускоритель, спроектированный под конкретные особенности работы языковых моделей, может превзойти универсальные системы по параметрам, наиболее важным для интерактивных ИИ-сервисов: энергоэффективности, времени полного ответа и скорости выдачи токенов каждому пользователю.
Но из этих данных следует более узкий вывод, чем заявление «OpenAI победила Nvidia». Преимущество продемонстрировано на отдельных моделях, в конкретном сценарии InferenceX и при сравнении с определенными конфигурациями GB200 и GB300. Пока неизвестно, как Jalapeño покажет себя на широком потоке реальных запросов, в агентских задачах с длинным контекстом, при использовании иных программных стеков, в задачах рядом с обучением и против платформ Nvidia, доступных к моменту масштабного развертывания.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Jalapeño от OpenAI обещает более быстрый и экономичный инференс, чем Nvidia GB200 и GB300»?
В тестах InferenceX OpenAI заявила о 1,5–1,9 кратном росте объема ИИ работы на ватт и снижении сквозной задержки в 1,7–3,6 раза по сравнению с системами Nvidia GB200 и GB300.
Какие ключевые моменты необходимо проверить в первую очередь?
В тестах InferenceX OpenAI заявила о 1,5–1,9 кратном росте объема ИИ работы на ватт и снижении сквозной задержки в 1,7–3,6 раза по сравнению с системами Nvidia GB200 и GB300. На DeepSeek R1 Jalapeño показал около 700 токенов в секунду на пользователя против 169 у GB300 при минимальном времени между токенами.
Что мне делать дальше на практике?
Jalapeño создан для инференса, а не обучения моделей. OpenAI планирует ограниченное внутреннее развертывание к концу 2026 года и не собирается продавать чип внешним компаниям.
Источники
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch