OpenAI 表示，與 Broadcom 共同開發的 Jalapeño，是其首款自訂 AI 加速器。在 SemiAnalysis 的公開 InferenceX 測試中，Jalapeño 在指定的大型語言模型推理工作負載上，較 Nvidia GB200 與 GB300 系統同時展現更高能源效率與更快回應速度。47

不過，這些仍是早期、由廠商公布的基準結果，不能直接視為所有生產環境 AI 工作負載的獨立「同場競技」結論。測試採用特定模型、輸入輸出長度與功耗計算方式，結果可能隨工作負載和系統配置改變。

基準測試：每瓦效能與延遲都有優勢

OpenAI 在 GPT‑OSS 120B、DeepSeek R1 670B，以及 Kimi K2.5 1T 三種模型上進行測試，宣稱 Jalapeño 在峰值吞吐量下的每瓦 AI 工作量高出 1.5 至 1.9 倍，端到端延遲則低 1.7 至 3.6 倍。4

幾項具體結果如下：

• GPT‑OSS 120B 對比 GB200： Jalapeño 的峰值混合吞吐量為每千瓦 85,448，相較 GB200 的 44,960，約為 1.9 倍；端到端延遲為 1.03 秒，低於 GB200 的 1.80 秒，約降低 1.7 倍。4
• 互動回應速度： Jalapeño 的最低 token 間隔為 0.69 毫秒，換算為每位使用者每秒約 1,459 個 token；GB200 則為 1.87 毫秒、每位使用者每秒 535 個 token。4
• DeepSeek R1 MXFP4 對比 GB300： Jalapeño 的峰值混合吞吐量為每千瓦 19,641，GB300 為 11,781，約高 1.7 倍；端到端延遲為 1.65 秒，GB300 為 5.99 秒，約低 3.6 倍。4
• DeepSeek R1 的 token 速度： Jalapeño 的最低 token 間隔為 1.43 毫秒，約每位使用者每秒 700 個 token；GB300 約為每秒 169 個。4
• Kimi K2.5 MXFP4 對比 GB300： OpenAI 回報 Jalapeño 的峰值每瓦吞吐量高 1.5 倍、端到端延遲低 3.4 倍；最低 token 間隔下，速度約為每位使用者每秒 694 個 token，GB300 則為 182 個。4

這裡的「每位使用者每秒 token」主要反映互動式 AI 回應的體感速度；「端到端延遲」則涵蓋完整請求處理過程，並不只是晶片產生單一 token 的時間。

Jalapeño 的設計方向：把晶片、記憶體與網路綁在一起

Jalapeño 並非針對通用運算打造的 GPU，而是以大型語言模型推理為核心設計的專用加速器。OpenAI 負責加速器架構，Broadcom 負責晶片實作與網路部分，Celestica 則參與電路板、機架與整套系統整合。1

公開資料顯示，Jalapeño 採用大規模互聯的機架級設計，讓工作負載可以盡量留在同一個系統網域內。系統也會在本地放置和保留模型狀態，包括 KV cache，藉此減少晶片之間的資料搬移，以及因通訊造成的等待。4

它的另一項設計取向，是不把 prefill（處理提示詞）與 decode（逐步生成回應）分拆到完全不同的資源池。相同且可彈性調度的運算、記憶體與網路資源，預計同時處理兩個階段。這一點很重要，因為 prefill 通常較吃運算能力，而自回歸式 token 生成往往更受記憶體頻寬限制。4

目前可取得的公開證據，尚不足以完整列出 Jalapeño 機架的物料清單。一份技術報告描述過一套包含 128 顆晶片、約 1.7 exaFLOPS 運算能力及 27 TB HBM 的系統，但 OpenAI 的基準測試文章本身並未提供完整的機架規格。4

九個月完成 tape-out，並大量使用 AI 協助設計

OpenAI 表示，Jalapeño 從初始設計到製造 tape-out（流片，即把晶片設計送交晶圓廠製造）只用了九個月，並稱這是高效能先進 ASIC 極為快速的開發週期。1

公司也表示，旗下模型參與了設計、實作探索、量測、驗證、算術電路最佳化與程式撰寫等工作。OpenAI 稱，搭配 GPT‑Astra 的 Codex 在兩個月內，讓三個原先未納入規劃的開放權重模型達到高效能表現；在部分 GPT‑OSS 注意力與混合專家（MoE）模組中，AI 生成的實作版本速度比既有人工撰寫版本快 1.5 至 1.8 倍。4

但這些 1.5 至 1.8 倍的數字是針對特定電路或模型模組，並非完整模型的整體效能提升，不能直接延伸解讀為 Jalapeño 在所有應用中都能加速相同幅度。

這次比較有哪些限制？

只測推理，不代表訓練能力

Jalapeño 的目標是模型推理，而不是模型訓練。因此，OpenAI 仍會依賴 Nvidia、AMD 與其他供應商的加速器進行訓練，也會在部分推理容量上繼續使用外部晶片。6

InferenceX 的測試情境有限

這次測試採用 SemiAnalysis 的公開 InferenceX 基準，使用名義上的單輪請求：輸入 8,000 個 token、輸出 1,000 個 token，並測量完整請求服務表現。系統以相近的使用者體驗進行比較，再按照公開的晶片功耗額度標準化。47

OpenAI 將 Jalapeño 的封裝功耗列為 700 瓦，但表示上述工作負載的持續實測功耗不高於 550 瓦；GB200 與 GB300 則分別以 1,200 瓦和 1,400 瓦計算。因此，每瓦優勢會受到工作負載、系統配置，以及功耗如何定義和計算的影響。4

SemiAnalysis 表示，它曾在 OpenAI 實驗室見證測試執行，但沒有自行跑完整套基準。該機構也提醒，單輪、8k 輸入／1k 輸出的 InferenceX 設定，沒有測試更長上下文、多輪代理工作負載、請求路由、前綴快取、快取管理或資料卸載；這些因素在實際生產環境中可能明顯改變效能。4

此外，這也是一場有時間限制的比較。GB200 與 GB300 屬於已商用的 Blackwell 世代系統；等 Jalapeño 大規模部署時，更新一代的 Nvidia 平台可能才是更合適的競爭對手。Nvidia 另以 MLPerf 的離線測試方法公布 GB300 執行 DeepSeek R1 的吞吐量，該結果與 Jalapeño 這次的互動式「每位使用者 token」數據，不能直接相提並論。24

OpenAI 會如何部署？暫不對外銷售

OpenAI 計畫在 2026 年底前，先把少量 Jalapeño 系統部署到自有運算基礎設施，並在 2027 年擴大容量。公司表示，第二代產品已進入深入開發階段，第三代也開始成形。46

目前 OpenAI 沒有對外銷售 Jalapeño 的計畫。OpenAI 硬體副總裁 Richard Ho 表示，內部需求太高，短期內難以設想向外部客戶供貨。6

因此，Jalapeño 的戰略意義更接近「補充」而非「取代」 Nvidia 或 AMD。OpenAI 表示，仍會廣泛部署 Nvidia 及其他合作夥伴的加速器，尤其是 Jalapeño 並不負責訓練工作。46

對 AI 晶片競爭意味著什麼？

Google 早已以 TPU 同時支援訓練與推理；Amazon 和 Microsoft 也有自研 AI 晶片；Anthropic 則表示正在建立內部晶片設計團隊。Jalapeño 顯示 OpenAI 也加入了這場從模型、軟體到硬體逐步垂直整合的競賽。6

但就目前證據而言，Jalapeño 的優勢主張仍相當聚焦：它是在公開 InferenceX 的特定配置下，針對 LLM 推理展現出較高的每瓦效能、較低延遲，以及更高的互動式 token 速度。真正能否在大規模部署後維持這些優勢，還要看實際模型組合、長上下文與多輪代理流量，以及新一代競爭硬體的表現。

OpenAI 表示，與 Broadcom 共同開發的 Jalapeño，是其首款自訂 AI 加速器。在 SemiAnalysis 的公開 InferenceX 測試中，Jalapeño 在指定的大型語言模型推理工作負載上，較 Nvidia GB200 與 GB300 系統同時展現更高能源效率與更快回應速度。47

不過，這些仍是早期、由廠商公布的基準結果，不能直接視為所有生產環境 AI 工作負載的獨立「同場競技」結論。測試採用特定模型、輸入輸出長度與功耗計算方式，結果可能隨工作負載和系統配置改變。

基準測試：每瓦效能與延遲都有優勢

OpenAI 在 GPT‑OSS 120B、DeepSeek R1 670B，以及 Kimi K2.5 1T 三種模型上進行測試，宣稱 Jalapeño 在峰值吞吐量下的每瓦 AI 工作量高出 1.5 至 1.9 倍，端到端延遲則低 1.7 至 3.6 倍。4

幾項具體結果如下：

• GPT‑OSS 120B 對比 GB200： Jalapeño 的峰值混合吞吐量為每千瓦 85,448，相較 GB200 的 44,960，約為 1.9 倍；端到端延遲為 1.03 秒，低於 GB200 的 1.80 秒，約降低 1.7 倍。4
• 互動回應速度： Jalapeño 的最低 token 間隔為 0.69 毫秒，換算為每位使用者每秒約 1,459 個 token；GB200 則為 1.87 毫秒、每位使用者每秒 535 個 token。4
• DeepSeek R1 MXFP4 對比 GB300： Jalapeño 的峰值混合吞吐量為每千瓦 19,641，GB300 為 11,781，約高 1.7 倍；端到端延遲為 1.65 秒，GB300 為 5.99 秒，約低 3.6 倍。4
• DeepSeek R1 的 token 速度： Jalapeño 的最低 token 間隔為 1.43 毫秒，約每位使用者每秒 700 個 token；GB300 約為每秒 169 個。4
• Kimi K2.5 MXFP4 對比 GB300： OpenAI 回報 Jalapeño 的峰值每瓦吞吐量高 1.5 倍、端到端延遲低 3.4 倍；最低 token 間隔下，速度約為每位使用者每秒 694 個 token，GB300 則為 182 個。4

這裡的「每位使用者每秒 token」主要反映互動式 AI 回應的體感速度；「端到端延遲」則涵蓋完整請求處理過程，並不只是晶片產生單一 token 的時間。

Jalapeño 的設計方向：把晶片、記憶體與網路綁在一起

Jalapeño 並非針對通用運算打造的 GPU，而是以大型語言模型推理為核心設計的專用加速器。OpenAI 負責加速器架構，Broadcom 負責晶片實作與網路部分，Celestica 則參與電路板、機架與整套系統整合。1

公開資料顯示，Jalapeño 採用大規模互聯的機架級設計，讓工作負載可以盡量留在同一個系統網域內。系統也會在本地放置和保留模型狀態，包括 KV cache，藉此減少晶片之間的資料搬移，以及因通訊造成的等待。4

它的另一項設計取向，是不把 prefill（處理提示詞）與 decode（逐步生成回應）分拆到完全不同的資源池。相同且可彈性調度的運算、記憶體與網路資源，預計同時處理兩個階段。這一點很重要，因為 prefill 通常較吃運算能力，而自回歸式 token 生成往往更受記憶體頻寬限制。4

目前可取得的公開證據，尚不足以完整列出 Jalapeño 機架的物料清單。一份技術報告描述過一套包含 128 顆晶片、約 1.7 exaFLOPS 運算能力及 27 TB HBM 的系統，但 OpenAI 的基準測試文章本身並未提供完整的機架規格。4

九個月完成 tape-out，並大量使用 AI 協助設計

OpenAI 表示，Jalapeño 從初始設計到製造 tape-out（流片，即把晶片設計送交晶圓廠製造）只用了九個月，並稱這是高效能先進 ASIC 極為快速的開發週期。1

公司也表示，旗下模型參與了設計、實作探索、量測、驗證、算術電路最佳化與程式撰寫等工作。OpenAI 稱，搭配 GPT‑Astra 的 Codex 在兩個月內，讓三個原先未納入規劃的開放權重模型達到高效能表現；在部分 GPT‑OSS 注意力與混合專家（MoE）模組中，AI 生成的實作版本速度比既有人工撰寫版本快 1.5 至 1.8 倍。4

但這些 1.5 至 1.8 倍的數字是針對特定電路或模型模組，並非完整模型的整體效能提升，不能直接延伸解讀為 Jalapeño 在所有應用中都能加速相同幅度。

這次比較有哪些限制？

只測推理，不代表訓練能力

Jalapeño 的目標是模型推理，而不是模型訓練。因此，OpenAI 仍會依賴 Nvidia、AMD 與其他供應商的加速器進行訓練，也會在部分推理容量上繼續使用外部晶片。6

InferenceX 的測試情境有限

這次測試採用 SemiAnalysis 的公開 InferenceX 基準，使用名義上的單輪請求：輸入 8,000 個 token、輸出 1,000 個 token，並測量完整請求服務表現。系統以相近的使用者體驗進行比較，再按照公開的晶片功耗額度標準化。47

OpenAI 將 Jalapeño 的封裝功耗列為 700 瓦，但表示上述工作負載的持續實測功耗不高於 550 瓦；GB200 與 GB300 則分別以 1,200 瓦和 1,400 瓦計算。因此，每瓦優勢會受到工作負載、系統配置，以及功耗如何定義和計算的影響。4

SemiAnalysis 表示，它曾在 OpenAI 實驗室見證測試執行，但沒有自行跑完整套基準。該機構也提醒，單輪、8k 輸入／1k 輸出的 InferenceX 設定，沒有測試更長上下文、多輪代理工作負載、請求路由、前綴快取、快取管理或資料卸載；這些因素在實際生產環境中可能明顯改變效能。4

此外，這也是一場有時間限制的比較。GB200 與 GB300 屬於已商用的 Blackwell 世代系統；等 Jalapeño 大規模部署時，更新一代的 Nvidia 平台可能才是更合適的競爭對手。Nvidia 另以 MLPerf 的離線測試方法公布 GB300 執行 DeepSeek R1 的吞吐量，該結果與 Jalapeño 這次的互動式「每位使用者 token」數據，不能直接相提並論。24

OpenAI 會如何部署？暫不對外銷售

OpenAI 計畫在 2026 年底前，先把少量 Jalapeño 系統部署到自有運算基礎設施，並在 2027 年擴大容量。公司表示，第二代產品已進入深入開發階段，第三代也開始成形。46

目前 OpenAI 沒有對外銷售 Jalapeño 的計畫。OpenAI 硬體副總裁 Richard Ho 表示，內部需求太高，短期內難以設想向外部客戶供貨。6

因此，Jalapeño 的戰略意義更接近「補充」而非「取代」 Nvidia 或 AMD。OpenAI 表示，仍會廣泛部署 Nvidia 及其他合作夥伴的加速器，尤其是 Jalapeño 並不負責訓練工作。46

對 AI 晶片競爭意味著什麼？

Google 早已以 TPU 同時支援訓練與推理；Amazon 和 Microsoft 也有自研 AI 晶片；Anthropic 則表示正在建立內部晶片設計團隊。Jalapeño 顯示 OpenAI 也加入了這場從模型、軟體到硬體逐步垂直整合的競賽。6

但就目前證據而言，Jalapeño 的優勢主張仍相當聚焦：它是在公開 InferenceX 的特定配置下，針對 LLM 推理展現出較高的每瓦效能、較低延遲，以及更高的互動式 token 速度。真正能否在大規模部署後維持這些優勢，還要看實際模型組合、長上下文與多輪代理流量，以及新一代競爭硬體的表現。