OpenAI公布的最新基准结果显示，其与博通联合开发的首款定制推理加速器Jalapeño，在指定的AI推理测试中击败了对比的英伟达GB200和GB300机架系统：不仅单位功耗完成的AI工作更多，响应延迟也更低。47

不过，这并不等于Jalapeño已经在所有AI任务或生产环境中全面胜出。测试由OpenAI按照公开的SemiAnalysis InferenceX基准进行，结果主要反映特定模型、并发条件和功耗核算方式下的推理性能，且目前仍是厂商披露的早期数据。

关键成绩：更省电，也更快响应

OpenAI在GPT‑OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三个模型上测试Jalapeño。公司称，在峰值吞吐量下，Jalapeño每瓦能够完成的AI工作量提高了1.5至1.9倍，端到端延迟则降低了1.7至3.6倍。4

其中，“端到端延迟”可以理解为从请求发出到完整响应返回所需的时间；“每位用户每秒令牌数”则更接近交互体验，数值越高，模型生成文本时通常越流畅。

GPT‑OSS 120B：每位用户约1,459个令牌/秒

在GPT‑OSS 120B与英伟达GB200的对比中，OpenAI报告称：

• 峰值混合吞吐量每千瓦为85,448，相比GB200的44,960，约高1.9倍；
• 端到端延迟为1.03秒，相比GB200的1.80秒低约1.7倍；
• 最短令牌间隔为0.69毫秒，相当于每位用户每秒约1,459个令牌；GB200为1.87毫秒，即约535个令牌/秒/用户。4

DeepSeek R1：约700对169个令牌/秒/用户

在DeepSeek R1 MXFP4测试中，Jalapeño对比的是英伟达GB300。OpenAI给出的数据为：

• 峰值混合吞吐量每千瓦为19,641，GB300为11,781，约高1.7倍；
• 端到端延迟为1.65秒，GB300为5.99秒，降低约3.6倍；
• 最短令牌间隔为1.43毫秒，相当于每位用户每秒约700个令牌；GB300约为169个令牌/秒/用户。4

Kimi K2.5：每瓦吞吐量高1.5倍

在Kimi K2.5 MXFP4测试中，OpenAI称Jalapeño的峰值吞吐量每千瓦高出约1.5倍，端到端延迟降低约3.4倍；按最短令牌间隔计算，Jalapeño约为694个令牌/秒/用户，GB300约为182个。4

Jalapeño为何专门针对推理设计？

Jalapeño并不是一款先面向通用计算、再针对AI推理进行适配的GPU，而是专门为大语言模型推理打造的加速器。OpenAI负责加速器架构，博通负责芯片实现和网络连接，Celestica则参与电路板、机架及整机系统集成。1

公开的机架级设计强调大规模互联网络，使工作负载尽可能留在同一系统内。它还会在本地放置并保留模型状态，包括KV缓存，以减少芯片之间的数据搬运和通信等待。4

这对大语言模型推理尤其重要。模型处理用户提示词时，主要消耗计算资源；而逐个生成后续令牌时，则更依赖内存带宽。OpenAI表示，Jalapeño没有把“预填充”（prefill）和“解码”（decode）拆分到两套固定资源池中，而是让计算、内存和网络资源在两个阶段之间灵活使用。4

目前公开资料对整套系统的规格披露仍然有限。一份技术报告描述了一个由128颗芯片组成的系统，约具备1.7艾 FLOPS算力和27 TB HBM显存，但OpenAI的基准测试文章并未给出完整的机架物料清单。4

OpenAI称九个月完成流片，并用AI辅助设计

OpenAI表示，Jalapeño从最初设计到制造流片仅用了九个月，并将其称为极快的先进ASIC开发周期。1

公司还称，自有模型参与了芯片设计、实现方案探索、测量、验证、算术电路优化和编程等环节。使用搭载GPT‑Astra的Codex后，团队在两个月内让三个原本未纳入计划的开放权重模型达到较高性能。在部分GPT‑OSS注意力模块和混合专家模块上，AI生成的实现方案速度比此前人工编写的版本快1.5至1.8倍；但这些是模块级数据，并不代表完整模型都取得了相同提升。4

这些数字该如何解读？

此次测试采用SemiAnalysis公开的InferenceX套件，使用名义上的单轮请求：输入8,000个令牌、输出1,000个令牌，并测量完整请求服务过程。对比时，系统被置于相近的用户体验目标下，且根据公布的芯片功耗进行归一化处理。47

功耗口径是重要变量。OpenAI将Jalapeño的封装功耗列为700瓦，但表示在这些工作负载下，持续实测功耗不超过550瓦；作为对比，GB200和GB300分别按1,200瓦和1,400瓦计算。因此，所谓“每瓦优势”会受到具体工作负载和功耗统计方式影响。4

SemiAnalysis表示曾在OpenAI实验室见证测试运行，但没有自行执行完整的基准套件。该机构还提醒，单轮8k输入/1k输出的InferenceX设置并未覆盖更长上下文、多轮智能体任务、请求路由、前缀缓存、缓存管理或数据卸载等场景，而这些因素可能显著改变生产环境表现。4

此外，比较结果也有明确的时间范围：GB200和GB300属于英伟达Blackwell一代的商业系统，未来更先进的平台可能会成为更合适的对手。英伟达另行公布过GB300运行DeepSeek R1的结果，但采用的是MLPerf的离线测试方法，不能直接与Jalapeño在交互式场景下的“每位用户令牌数”比较。24

先供OpenAI自用，不对外销售

OpenAI计划在2026年底前将少量基于Jalapeño的系统部署到自有计算基础设施中，并在2027年扩大容量。公司表示，第二代芯片已经“深入开发”，第三代也开始成形。46

目前OpenAI没有计划对外销售Jalapeño。OpenAI硬件负责人Richard Ho表示，内部需求过高，暂时无法设想向外部客户提供芯片。6

这项计划更像是对英伟达、AMD等供应商的补充，而不是立即取代它们。由于Jalapeño面向推理而非训练，OpenAI仍将继续使用英伟达、AMD及其他合作伙伴的加速器，尤其是在模型训练和部分推理任务中。46

从行业竞争角度看，谷歌已经拥有同时用于训练和推理的TPU，亚马逊和微软也在开发自研AI芯片，Anthropic则表示正在推进内部芯片设计工作。6 Jalapeño意味着OpenAI也加入了这场从模型、软件到芯片和数据中心的纵向整合竞争，但它目前宣称的优势，仍然集中在所披露基准配置下的大语言模型推理场景。

OpenAI公布的最新基准结果显示，其与博通联合开发的首款定制推理加速器Jalapeño，在指定的AI推理测试中击败了对比的英伟达GB200和GB300机架系统：不仅单位功耗完成的AI工作更多，响应延迟也更低。47

不过，这并不等于Jalapeño已经在所有AI任务或生产环境中全面胜出。测试由OpenAI按照公开的SemiAnalysis InferenceX基准进行，结果主要反映特定模型、并发条件和功耗核算方式下的推理性能，且目前仍是厂商披露的早期数据。

关键成绩：更省电，也更快响应

OpenAI在GPT‑OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三个模型上测试Jalapeño。公司称，在峰值吞吐量下，Jalapeño每瓦能够完成的AI工作量提高了1.5至1.9倍，端到端延迟则降低了1.7至3.6倍。4

其中，“端到端延迟”可以理解为从请求发出到完整响应返回所需的时间；“每位用户每秒令牌数”则更接近交互体验，数值越高，模型生成文本时通常越流畅。

GPT‑OSS 120B：每位用户约1,459个令牌/秒

在GPT‑OSS 120B与英伟达GB200的对比中，OpenAI报告称：

• 峰值混合吞吐量每千瓦为85,448，相比GB200的44,960，约高1.9倍；
• 端到端延迟为1.03秒，相比GB200的1.80秒低约1.7倍；
• 最短令牌间隔为0.69毫秒，相当于每位用户每秒约1,459个令牌；GB200为1.87毫秒，即约535个令牌/秒/用户。4

DeepSeek R1：约700对169个令牌/秒/用户

在DeepSeek R1 MXFP4测试中，Jalapeño对比的是英伟达GB300。OpenAI给出的数据为：

• 峰值混合吞吐量每千瓦为19,641，GB300为11,781，约高1.7倍；
• 端到端延迟为1.65秒，GB300为5.99秒，降低约3.6倍；
• 最短令牌间隔为1.43毫秒，相当于每位用户每秒约700个令牌；GB300约为169个令牌/秒/用户。4

Kimi K2.5：每瓦吞吐量高1.5倍

在Kimi K2.5 MXFP4测试中，OpenAI称Jalapeño的峰值吞吐量每千瓦高出约1.5倍，端到端延迟降低约3.4倍；按最短令牌间隔计算，Jalapeño约为694个令牌/秒/用户，GB300约为182个。4

Jalapeño为何专门针对推理设计？

Jalapeño并不是一款先面向通用计算、再针对AI推理进行适配的GPU，而是专门为大语言模型推理打造的加速器。OpenAI负责加速器架构，博通负责芯片实现和网络连接，Celestica则参与电路板、机架及整机系统集成。1

公开的机架级设计强调大规模互联网络，使工作负载尽可能留在同一系统内。它还会在本地放置并保留模型状态，包括KV缓存，以减少芯片之间的数据搬运和通信等待。4

这对大语言模型推理尤其重要。模型处理用户提示词时，主要消耗计算资源；而逐个生成后续令牌时，则更依赖内存带宽。OpenAI表示，Jalapeño没有把“预填充”（prefill）和“解码”（decode）拆分到两套固定资源池中，而是让计算、内存和网络资源在两个阶段之间灵活使用。4

目前公开资料对整套系统的规格披露仍然有限。一份技术报告描述了一个由128颗芯片组成的系统，约具备1.7艾 FLOPS算力和27 TB HBM显存，但OpenAI的基准测试文章并未给出完整的机架物料清单。4

OpenAI称九个月完成流片，并用AI辅助设计

OpenAI表示，Jalapeño从最初设计到制造流片仅用了九个月，并将其称为极快的先进ASIC开发周期。1

公司还称，自有模型参与了芯片设计、实现方案探索、测量、验证、算术电路优化和编程等环节。使用搭载GPT‑Astra的Codex后，团队在两个月内让三个原本未纳入计划的开放权重模型达到较高性能。在部分GPT‑OSS注意力模块和混合专家模块上，AI生成的实现方案速度比此前人工编写的版本快1.5至1.8倍；但这些是模块级数据，并不代表完整模型都取得了相同提升。4

这些数字该如何解读？

此次测试采用SemiAnalysis公开的InferenceX套件，使用名义上的单轮请求：输入8,000个令牌、输出1,000个令牌，并测量完整请求服务过程。对比时，系统被置于相近的用户体验目标下，且根据公布的芯片功耗进行归一化处理。47

功耗口径是重要变量。OpenAI将Jalapeño的封装功耗列为700瓦，但表示在这些工作负载下，持续实测功耗不超过550瓦；作为对比，GB200和GB300分别按1,200瓦和1,400瓦计算。因此，所谓“每瓦优势”会受到具体工作负载和功耗统计方式影响。4

SemiAnalysis表示曾在OpenAI实验室见证测试运行，但没有自行执行完整的基准套件。该机构还提醒，单轮8k输入/1k输出的InferenceX设置并未覆盖更长上下文、多轮智能体任务、请求路由、前缀缓存、缓存管理或数据卸载等场景，而这些因素可能显著改变生产环境表现。4

此外，比较结果也有明确的时间范围：GB200和GB300属于英伟达Blackwell一代的商业系统，未来更先进的平台可能会成为更合适的对手。英伟达另行公布过GB300运行DeepSeek R1的结果，但采用的是MLPerf的离线测试方法，不能直接与Jalapeño在交互式场景下的“每位用户令牌数”比较。24

先供OpenAI自用，不对外销售

OpenAI计划在2026年底前将少量基于Jalapeño的系统部署到自有计算基础设施中，并在2027年扩大容量。公司表示，第二代芯片已经“深入开发”，第三代也开始成形。46

目前OpenAI没有计划对外销售Jalapeño。OpenAI硬件负责人Richard Ho表示，内部需求过高，暂时无法设想向外部客户提供芯片。6

这项计划更像是对英伟达、AMD等供应商的补充，而不是立即取代它们。由于Jalapeño面向推理而非训练，OpenAI仍将继续使用英伟达、AMD及其他合作伙伴的加速器，尤其是在模型训练和部分推理任务中。46

从行业竞争角度看，谷歌已经拥有同时用于训练和推理的TPU，亚马逊和微软也在开发自研AI芯片，Anthropic则表示正在推进内部芯片设计工作。6 Jalapeño意味着OpenAI也加入了这场从模型、软件到芯片和数据中心的纵向整合竞争，但它目前宣称的优势，仍然集中在所披露基准配置下的大语言模型推理场景。