答案已發布19 來源
Jalapeño 有幾「辣」？OpenAI 稱新晶片推理效能勝過 Nvidia GB200、GB300
OpenAI 稱，Jalapeño 在 GPT‑OSS 120B、DeepSeek R1 及 Kimi K2.5 1T 的 InferenceX 測試中，每瓦 AI 工作量高 1.5 至 1.9 倍，端到端延遲低 1.7 至 3.6 倍。[3][4] DeepSeek R1 測試中，Jalapeño 在最低 token 間隔下達到每位用戶約 700 tokens/秒，對手 Nvidia GB300 則約為 169 tokens/秒。[4][6] Jalapeño 專為 AI 推理而設，並不支援模型訓練；OpenAI 計劃在 2026 年底前於自家運算基礎設施有限部署，暫時無意對外銷售。[4][6]
發布者使用 GPT-5.6 Luna 編輯圖片由 GPT Image 1.5 生成
研究答案
重點
- OpenAI 稱，Jalapeño 在 GPT‑OSS 120B、DeepSeek R1 及 Kimi K2.5 1T 的 InferenceX 測試中，每瓦 AI 工作量高 1.5 至 1.9 倍，端到端延遲低 1.7 至 3.6 倍。[3][4]
- DeepSeek R1 測試中，Jalapeño 在最低 token 間隔下達到每位用戶約 700 tokens/秒，對手 Nvidia GB300 則約為 169 tokens/秒。[4][6]
- Jalapeño 專為 AI 推理而設，並不支援模型訓練；OpenAI 計劃在 2026 年底前於自家運算基礎設施有限部署，暫時無意對外銷售。[4][6]
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI 首款自訂 AI 加速器 Jalapeño，最近交出一批相當搶眼的推理測試結果。公司表示，與作為比較基準的 Nvidia GB200 及 GB300 系統相比，Jalapeño 能以較低功耗處理更多 AI 工作，同時縮短完整回應時間，在高度互動的使用情境下，逐個用戶收到生成內容的速度亦明顯較快。3
4
不過，這並不等於 OpenAI 已經證明 Jalapeño 在所有生產環境都全面擊敗 Nvidia。現時數據屬於 OpenAI 公布的早期結果，測試基於 SemiAnalysis 的 InferenceX 特定配置，並非獨立機構對所有模型、軟件堆疊及實際工作負載作出的全面比較。4
7
測試數字有幾亮眼？
OpenAI 表示，在 GPT‑OSS 120B、DeepSeek R1 及 Kimi K2.5 1T 三個模型上，Jalapeño 在峰值吞吐量下每瓦可處理多 1.5 至 1.9 倍 AI 工作量，端到端延遲則低 1.7 至 3.6 倍。如果聚焦於需要即時回應的工作負載，性能提升幅度達 2.1 至 4.1 倍。3
逐個模型來看：
GPT‑OSS 120B 對 GB200： Jalapeño 的峰值混合吞吐量每千瓦為 85,448 個效能單位，GB200 為 44,960。端到端延遲分別為 1.03 秒及 1.80 秒。Jalapeño 的最低 token 間隔為 0.69 毫秒，即每位用戶約 1,459 tokens/秒；GB200 則為 535 tokens/秒。
4
DeepSeek R1 MXFP4 對 GB300： Jalapeño 報稱每千瓦達 19,641 個峰值混合吞吐量單位，GB300 為 11,781。端到端延遲由 5.99 秒降至 1.65 秒。在最低 token 間隔下，Jalapeño 約為 700 tokens/秒／每位用戶，GB300 則約 169。
6
Kimi K2.5 MXFP4 對 GB300： OpenAI 報稱每千瓦峰值吞吐量高 1.5 倍，端到端延遲低 3.4 倍；每位用戶速度約為 694 tokens/秒，GB300 則為 182。
「每位用戶 tokens/秒」主要反映互動體驗，即單一請求收到模型逐步生成內容的速度。它與伺服器在大量並行請求下，整個機架每秒可以產生多少 token 並不一樣。對聊天、寫程式及 AI 代理等應用而言，前者往往直接影響用戶覺得回應是否夠快。
Jalapeño 點解可以針對推理加速？
Jalapeño 並非將一張通用 GPU 改裝來做推理，而是從零開始，以大型語言模型推理為主要目標設計的加速器。OpenAI 負責架構，Broadcom 負責晶片實現及網絡部分，Celestica 則參與電路板、機架及整個系統的整合。17
32
其機架級設計採用一個大型互連網絡域，目標是盡量讓工作負載留在同一套系統內。OpenAI 表示，系統會盡可能把模型狀態，包括 KV cache，放在本地，減少晶片之間搬運資料，以及生成文字時因通訊而出現的停頓。4
6
系統亦沒有把 prefill 和 decode 永久分拆到兩個固定資源池。簡單講，prefill 是先處理用戶輸入的提示詞，通常較吃運算力；decode 則是一個 token 一個 token 生成答案，往往更受記憶體搬運及頻寬限制。Jalapeño 嘗試讓運算、記憶體及網絡資源可以在兩個階段之間彈性調配。4
6
至於完整硬件規格，公開資料仍然有限。一份技術描述提到，系統由 128 枚晶片組成，約有 1.7 exaFLOPS 運算能力及 27 TB HBM 記憶體；但 OpenAI 的測試公告沒有交代完整機架物料清單，外界暫時未能獨立重現每一項結果。4
由設計到 tape-out 只用九個月
OpenAI 表示，Jalapeño 由最初設計到送往晶圓廠進行製造 tape-out，只用了 九個月，對先進自訂加速器來說是非常緊湊的開發時間。17
21
公司亦稱，自家 AI 模型曾協助進行架構探索、實現、測量、驗證、算術電路優化及編程。OpenAI 表示，配合 GPT‑Astra 的 Codex 在兩個月內，協助三個原本未有計劃支援的開放權重模型達到高效能。至於部分 GPT‑OSS 注意力模組及 mixture-of-experts 模組，AI 生成的實現版本比原有人工編寫版本快 1.5 至 1.8 倍。要留意，這些是特定模組的數字，並不代表完整模型服務速度同樣提升。4
測試結果有咩限制？
它是推理晶片，不是訓練 GPU
Jalapeño 的定位是服務已經訓練好的模型，而不是用來訓練模型。因此，OpenAI 預計仍會使用 Nvidia、AMD 及其他加速器進行訓練，亦會在部分推理容量上繼續依賴其他硬件。4
6
換句話說，Jalapeño 現階段是 OpenAI 基礎設施的專用補充，並不是可以取代公司所有 GPU 系統的全能方案。
InferenceX 測試情境相對集中
測試採用 SemiAnalysis 公開的 InferenceX 基準，使用名義上單輪、輸入 8,000 tokens、輸出 1,000 tokens 的請求，並量度由接收請求至完成生成的完整服務流程。系統以相近的用戶體驗作比較，功耗則按公開的晶片額定數字作標準化處理。4
7
SemiAnalysis 表示，團隊曾在 OpenAI 實驗室見證測試，但沒有自行執行完整基準套件。同時，這套設定沒有測試更長上下文、多輪 AI 代理工作負載、路由、prefix caching、快取管理或 offload 行為。實際產品採用哪種軟件及服務策略，足以令最終效能出現明顯差異。6
每瓦效能受功耗計算方式影響
OpenAI 將 Jalapeño 的封裝功耗列為 700 瓦，並表示在相關工作負載下，持續實測功耗為 550 瓦或以下。相比之下，GB200 及 GB300 採用的則是 1,200 瓦及 1,400 瓦建模數字。因此，Jalapeño 的每瓦優勢部分取決於測試工作負載、功耗量度位置，以及各方採用的功耗計算方式。4
Nvidia 對比亦有時間限制
今次比較所用的是當時可取得的 GB200 或 GB300 最佳結果；當 Jalapeño 真正大規模部署時，Nvidia 可能已經推出更適合的下一代系統。Nvidia 亦有以 MLPerf 的離線方法公布 GB300 執行 DeepSeek R1 的數據，但離線吞吐量與 Jalapeño 今次採用的互動式「每位用戶 tokens/秒」不是同一種指標，不能直接並排解讀。1
2
4
OpenAI 的部署及競爭策略
OpenAI 計劃在 2026 年底前，先於自家運算基礎設施有限部署 Jalapeño；到 2027 年再增加容量。公司表示，第二代晶片已進入深入開發階段，第三代亦開始成形。4
6
目前 Jalapeño 是 OpenAI 內部平台，外間公司不能直接購買或租用。OpenAI 硬件主管 Richard Ho 表示，內部需求太高，暫時未有考慮對外出售。6
所以，較準確的理解是 OpenAI 想用 Jalapeño 補充，而非即時取代 Nvidia 及 AMD。由於訓練仍需要通用加速器，OpenAI 未來的基礎設施很可能繼續採用多種不同硬件。Google 已經同時為訓練及推理開發 TPU；Amazon 及 Microsoft 亦有自家 AI 晶片，而 Anthropic 同樣曾公開提到建立自訂晶片的計劃。6
總結：Jalapeño 證明了甚麼？
Jalapeño 的早期數據顯示，如果晶片由一開始便圍繞特定大型語言模型推理模式設計，的確有機會在幾項最關鍵的指標上超越通用系統，包括能源效益、端到端回應時間，以及每位用戶實際收到 token 的速度。
但目前證據支持的結論，仍然比「OpenAI 已經擊敗 Nvidia」窄得多：優勢只在指定模型、特定 InferenceX 工作負載，以及當時與 GB200、GB300 配置的比較中出現。Jalapeño 日後面對更廣泛的生產流量、更長上下文的 AI 代理、不同軟件堆疊、接近訓練的工作，以及 OpenAI 擴大部署時 Nvidia 可提供的新系統，表現如何，仍要等實際運行數據揭曉。
Studio Global AI
繼續你的研究
此頁麵包含一個有來源支援的答案，您可以在 Studio Global 內繼續。
人們還問
「Jalapeño 有幾「辣」？OpenAI 稱新晶片推理效能勝過 Nvidia GB200、GB300」的簡短答案是什麼？
OpenAI 稱，Jalapeño 在 GPT‑OSS 120B、DeepSeek R1 及 Kimi K2.5 1T 的 InferenceX 測試中，每瓦 AI 工作量高 1.5 至 1.9 倍，端到端延遲低 1.7 至 3.6 倍。[3][4]
首先要驗證的關鍵點是什麼？
OpenAI 稱，Jalapeño 在 GPT‑OSS 120B、DeepSeek R1 及 Kimi K2.5 1T 的 InferenceX 測試中，每瓦 AI 工作量高 1.5 至 1.9 倍，端到端延遲低 1.7 至 3.6 倍。[3][4] DeepSeek R1 測試中，Jalapeño 在最低 token 間隔下達到每位用戶約 700 tokens/秒，對手 Nvidia GB300 則約為 169 tokens/秒。[4][6]
接下來在實務上我該做什麼？
Jalapeño 專為 AI 推理而設，並不支援模型訓練；OpenAI 計劃在 2026 年底前於自家運算基礎設施有限部署，暫時無意對外銷售。[4][6]
來源
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch