ОтветыОпубликовано15 источники
Jalapeño от OpenAI показал преимущество над системами Nvidia в скорости и энергоэффективности
OpenAI заявляет, что специализированный ускоритель Jalapeño превзошёл сравниваемые системы Nvidia GB200 и GB300 в тестах инференса — как по энергоэффективности, так и по скорости ответа. На моделях GPT‑OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T чип показал на 1,5–1,9 раза больше AI работы на ватт и на 1,7–3,6 раза ме...
ОпубликовалИзображения созданы с помощью GPT Image 1.5
Ответ на исследование
Ключевые выводы
- OpenAI заявляет, что специализированный ускоритель Jalapeño превзошёл сравниваемые системы Nvidia GB200 и GB300 в тестах инференса — как по энергоэффективности, так и по скорости ответа.
- На моделях GPT‑OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T чип показал на 1,5–1,9 раза больше AI работы на ватт и на 1,7–3,6 раза меньшую сквозную задержку.
- В отдельных сценариях OpenAI сообщила о скорости до 1 459 токенов в секунду на пользователя для GPT‑OSS 120B и около 700 токенов в секунду на пользователя для DeepSeek R1.
- Это ранние результаты, представленные самой OpenAI. Тест InferenceX не охватывает все производственные сценарии, включая длинный контекст, многошаговых агентов и управление кэшем.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI представила первые измеренные результаты работы Jalapeño — своего специализированного ускорителя для инференса больших языковых моделей, созданного совместно с Broadcom. По утверждению компании, в выбранных конфигурациях он оказался быстрее и экономичнее систем на базе Nvidia GB200 и GB300. 4
7
Однако это не универсальный вердикт о превосходстве над всеми ускорителями. Речь идёт о ранних результатах, опубликованных OpenAI, и о конкретных сценариях теста InferenceX. Их корректнее воспринимать как заявку на конкурентоспособность, а не как независимое сравнение всех рабочих нагрузок.
Что показали тесты
На GPT‑OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T Jalapeño обеспечил от 1,5 до 1,9 раза больше AI-работы на ватт при пиковой пропускной способности. Сквозная задержка — время от поступления запроса до получения полного ответа — была ниже в 1,7–3,6 раза по сравнению с системами Nvidia, выбранными для сравнения. 4
Наиболее наглядные результаты OpenAI приводит по отдельным моделям:
GPT‑OSS 120B против GB200. Пиковая смешанная производительность на киловатт составила 85 448 против 44 960 условных единиц, то есть преимущество Jalapeño достигло 1,9 раза. Сквозная задержка снизилась с 1,80 до 1,03 секунды — примерно в 1,7 раза. Минимальное время между токенами составило 0,69 мс, что соответствует 1 459 токенам в секунду на пользователя, против 1,87 мс и 535 токенов в секунду на пользователя у GB200.
4
DeepSeek R1 в формате MXFP4 против GB300. OpenAI сообщила о 19 641 против 11 781 единицы пиковой производительности на киловатт — преимущество в 1,7 раза. Сквозная задержка уменьшилась с 5,99 до 1,65 секунды, или в 3,6 раза. Время между токенами составило 1,43 мс: около 700 токенов в секунду на пользователя против 169 у GB300.
Kimi K2.5 в формате MXFP4 против GB300. В этом сценарии Jalapeño показал в 1,5 раза большую пиковую производительность на киловатт и в 3,4 раза меньшую сквозную задержку. Скорость составила около 694 токенов в секунду на пользователя против 182 у GB300.
Показатель «токены в секунду на пользователя» особенно важен для интерактивных сервисов: он отражает, насколько быстро модель выдаёт продолжение ответа одному пользователю, а не только суммарную пропускную способность всего кластера.
Почему OpenAI делает ставку на отдельный чип
Jalapeño изначально проектировался как ускоритель для инференса LLM, а не как универсальный графический процессор, адаптированный под эту задачу. OpenAI отвечала за архитектуру, Broadcom — за реализацию кристалла и сетевую часть, а Celestica занималась интеграцией плат, стоек и готовой системы. 1
В раскрытой архитектуре используется крупный связанный сетевой домен, благодаря которому рабочая нагрузка может оставаться внутри одной системы. Состояние модели, включая KV-кэш — память с уже обработанными ключами и значениями внимания, — размещается и удерживается локально. Это должно уменьшать пересылку данных между чипами и простои из-за обмена по сети. 4
OpenAI также не разделяет ресурсы для двух этапов инференса — prefill, то есть обработки входного запроса, и decode, последовательной генерации новых токенов. Один набор вычислительных, memory- и сетевых ресурсов должен обслуживать обе фазы. Это важно, поскольку обработка промпта обычно сильнее нагружает вычисления, а генерация токенов — пропускную способность памяти. 4
Публичных технических деталей пока немного. Один технический отчёт описывает систему из 128 чипов примерно на 1,7 эксафлопса и с 27 ТБ HBM-памяти, но в собственной публикации OpenAI не приводит полный перечень компонентов стойки. 4
Чип разработали за девять месяцев — с помощью ИИ
OpenAI утверждает, что прошла путь от первоначального проектирования до передачи чипа в производство за девять месяцев. Компания называет такой цикл исключительно быстрым для современного высокопроизводительного ASIC. 1
Собственные модели OpenAI использовались для проектирования, поиска вариантов реализации, измерений, верификации, оптимизации арифметических схем и программирования. По словам компании, Codex с GPT‑Astra помог довести до высокой производительности три модели с открытыми весами, которые изначально не входили в план, всего за два месяца. В отдельных блоках внимания и mixture-of-experts для GPT‑OSS реализации, сгенерированные ИИ, оказались в 1,5–1,8 раза быстрее существующих решений, написанных инженерами. Это показатели отдельных блоков, а не всего чипа или полной модели. 4
Почему к результатам нужно относиться осторожно
Тестирование проводилось в публичном наборе InferenceX от SemiAnalysis. Использовались номинальные одноповоротные сценарии с входом на 8 000 токенов и выходом на 1 000 токенов; измерялось полное обслуживание запроса. Системы сравнивались при сопоставимом пользовательском опыте, а показатели нормировались по заявленной мощности чипов. 4
7
Есть несколько существенных ограничений:
- Jalapeño указан с мощностью корпуса 700 Вт, хотя OpenAI сообщает, что в этих нагрузках фактическое устойчивое потребление было не выше 550 Вт. Для GB200 и GB300 в расчётах использовались 1 200 и 1 400 Вт соответственно. Поэтому преимущество на ватт зависит от выбранной нагрузки и методики учёта мощности.
- SemiAnalysis наблюдала запуски в лаборатории OpenAI, но не выполняла самостоятельно весь набор тестов. Организация предупреждает, что конфигурация InferenceX с одним запросом, контекстом 8K и ответом 1K не проверяет длинный контекст, многоходовые агентские сценарии, маршрутизацию, кэширование префиксов, управление кэшем и выгрузку данных. Все эти факторы могут заметно изменить результат в реальной эксплуатации.
- Сравнение ограничено по времени: GB200 и GB300 относятся к коммерческому поколению Blackwell, тогда как к моменту масштабного внедрения Jalapeño у Nvidia могут появиться более новые платформы.
- Nvidia отдельно публикует результаты для DeepSeek R1 на GB300 в офлайн-методике MLPerf. Их нельзя напрямую сопоставлять с интерактивными показателями Jalapeño в токенах на пользователя, поскольку это разные режимы тестирования.
2
Где OpenAI будет использовать Jalapeño
Компания планирует ограниченное внедрение систем на базе Jalapeño в собственной вычислительной инфраструктуре к концу 2026 года, а в 2027 году рассчитывает нарастить мощности. Второе поколение, по словам OpenAI, уже находится в активной разработке, а третье только начинает формироваться. 4
6
Продавать чип внешним клиентам OpenAI не планирует: вице-президент компании по аппаратному обеспечению Ричард Хо заявил, что внутренний спрос слишком велик, чтобы рассчитывать на внешние поставки. 6
Таким образом, Jalapeño должен не заменить Nvidia и AMD, а дополнить их. Поскольку новый ускоритель предназначен для инференса и не решает задачу обучения моделей, OpenAI продолжит широко использовать ускорители Nvidia и других партнёров, особенно для тренировки. 4
6
В более широком смысле OpenAI присоединяется к гонке за вертикальную интеграцию ИИ-инфраструктуры. У Google уже есть TPU для обучения и инференса, собственные чипы развивают Amazon и Microsoft, а Anthropic заявляла о работе над внутренним направлением разработки микросхем. Но на данном этапе преимущество Jalapeño касается именно инференса языковых моделей в опубликованных конфигурациях InferenceX — и не доказывает превосходство во всех задачах ИИ. 6
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Jalapeño от OpenAI показал преимущество над системами Nvidia в скорости и энергоэффективности»?
OpenAI заявляет, что специализированный ускоритель Jalapeño превзошёл сравниваемые системы Nvidia GB200 и GB300 в тестах инференса — как по энергоэффективности, так и по скорости ответа.
Какие ключевые моменты необходимо проверить в первую очередь?
OpenAI заявляет, что специализированный ускоритель Jalapeño превзошёл сравниваемые системы Nvidia GB200 и GB300 в тестах инференса — как по энергоэффективности, так и по скорости ответа. На моделях GPT‑OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T чип показал на 1,5–1,9 раза больше AI работы на ватт и на 1,7–3,6 раза меньшую сквозную задержку.
Что мне делать дальше на практике?
В отдельных сценариях OpenAI сообщила о скорости до 1 459 токенов в секунду на пользователя для GPT‑OSS 120B и около 700 токенов в секунду на пользователя для DeepSeek R1.
Источники
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...