OpenAI 首次公開 Jalapeño 測試結果，提出的是一個有範圍的優勢主張，並非話這枚自家晶片可以全面取代 Nvidia。按照 OpenAI 的數據，Jalapeño 在部分大型語言模型（LLM）服務工作負載上，無論每瓦處理量還是回應延遲，都勝過 Nvidia 的 GB200 及 GB300 系統。對於電力、散熱及供電能力正逐漸成為 AI 數據中心瓶頸的行業來說，這是一個值得留意的訊號；不過，測試亦存在重要限制。57

Jalapeño 其實是為甚麼而設？

Jalapeño 是 OpenAI 與 Broadcom 共同開發的應用專用積體電路（ASIC），主要用於大型語言模型的 inference（推理）——即模型訓練完成後，實際替用戶生成答案的階段，而不是訓練模型本身。619

專用晶片的取捨很直接：放棄一部分彈性，換取在穩定、大量及可預測的工作負載上提高效率。Nvidia GPU 則面向更廣泛用途，可以處理模型訓練、微調、推理，以及不斷變動的模型架構和研究工作；Jalapeño 就是針對 OpenAI 的模型服務需求，以及其配套軟件、記憶體和系統設計作最佳化。56

所以，Jalapeño 在指定推理任務上跑得快，不等於它在所有 AI 工作上都比 GPU 強。

公布的效能數字有幾亮眼？

OpenAI 表示，團隊使用三款公開模型，將 Jalapeño 與 Nvidia GB200 及 GB300 系統比較：GPT-OSS 120B、DeepSeek R1 670B，以及 Moonshot AI 的 Kimi K2.5 1T。整體而言，Jalapeño 在峰值吞吐量下每瓦 AI 工作量高出 1.5 至 1.9 倍，端到端延遲則低 1.7 至 3.6 倍。5713

各模型的數據如下：

• GPT-OSS 120B：Jalapeño 達到每千瓦每秒 85,448 個混合 token，GB200 系統則為 44,960 個，約有 1.9 倍優勢；端到端延遲分別為 1.03 秒及 1.80 秒。7
• DeepSeek R1 670B：Jalapeño 每千瓦每秒處理 19,641 個混合 token，GB300 為 11,781 個，即每瓦工作量約高 1.7 倍；延遲則為 1.65 秒對 5.99 秒。7
• Kimi K2.5 1T：Jalapeño 每千瓦每秒處理 18,195 個混合 token，GB300 為 11,862 個，約高 1.5 倍；延遲分別為 1.56 秒及 5.31 秒。7

在偏重即時互動、要求盡快回覆，而非單純追求總吞吐量的工作點，OpenAI 更稱 Jalapeño 的性能優勢可達 2.1 至 4.1 倍。413

功耗較低，是否就代表成本減半？

Jalapeño 的額定功耗為 700 瓦；被比較的 GB200 及 GB300 加速器，額定功耗分別為 1,200 瓦及 1,400 瓦。OpenAI 稱，Jalapeño 在測試工作負載中的實測持續功耗維持在 550 瓦或以下。61213

較低的晶片功耗，並不自動等於數據中心總成本按相同比例下降。實際營運還包括伺服器、記憶體、網絡、冷卻、供電設備、軟件及維修等部分。不過，如果同一度電可以服務更多模型請求，就有機會減輕電力、散熱及電力分配系統的壓力。5

對 OpenAI 這類預計需要大規模提供模型服務的平台而言，這正是自行設計推理晶片的主要經濟誘因：不是單看一粒晶片的速度，而是希望降低長期服務每次請求的基礎設施成本。

測試結果有多可靠？

這次測試採用 SemiAnalysis 公開的 InferenceX 基準，量度的是多款模型在不同操作點下的端到端服務表現，而不只是晶片規格表上的理論數字。因此，結果比單純比較 FLOPS 或峰值規格更貼近實際推理運作。7

但目前仍應把它視為由 OpenAI 公布的測試結果，而非已經由獨立機構全面重現、獲業界一致確認的中立結論。45

最關鍵的限制之一，是記憶體技術並不完全相同。Jalapeño 使用 HBM4，但測試中的 GB200 及 GB300 系統沒有使用 HBM4；SemiAnalysis 因此形容這個比較並不完整，亦未算完全公平。5

記憶體頻寬和容量對大型模型推理十分重要。Nvidia 下一代 Rubin 平台同樣採用 HBM4，因而可能是更貼近同一世代的比較對象。換句話說，Jalapeño 勝過 GB200 及 GB300 的數據，不能直接推論它也會勝過 Rubin。517

另一個限制是比較對象的定位不同。Jalapeño 只為推理而設；Nvidia GPU 則可用於訓練、微調、推理和更廣泛的模型架構。專用 ASIC 要在目標工作負載足夠穩定、規模足夠大時，才較容易收回開發和部署成本。520

何時開始部署？下一代又如何？

OpenAI 計劃在 2026 年底於自家計算基礎設施開始以「極小規模」部署 Jalapeño，並於 2027 年增加部署量。1133

這個項目亦不是一次性的晶片計劃。OpenAI 表示第二代及第三代晶片已經開始開發；Broadcom 則形容雙方正建立多代產品路線，目標是在 Microsoft 及其他數據中心合作夥伴協助下，支援吉瓦特級部署。31130

背後的策略是「垂直協同設計」：由模型、推理軟件、記憶體、網絡、整機系統到晶片，一併設計，而不是把加速器當成獨立零件。好處是可以更精準控制延遲和服務成本；代價則是硬件的通用性較低，未必適合其他公司的模型和工作負載。3633

此外，由設計到 tape-out（流片）只需很短時間，並不等於已經證明可以穩定量產。製造良率、系統整合、軟件成熟度、供應鏈，以及晶片能否跟上未來模型變化，才會決定測試優勢能否轉化成長期基礎設施優勢。現有報道確認了部署計劃，但尚未證明最終能達到甚麼量產規模。3033

為甚麼 Jalapeño 暫時取代不了 Nvidia？

OpenAI 已表明，仍會繼續依靠 Nvidia 進行模型訓練，並維持其計算合作夥伴角色。411

這種分工其實相當合理。前沿模型訓練需要高度彈性的計算系統，以應付不斷改變的模型架構、演算法和實驗方向。Nvidia GPU 亦有 CUDA 軟件生態，以及包括網絡和完整數據中心系統在內的整套平台。5

因此，Jalapeño 更像是針對特定工作負載的替代方案：當 OpenAI 能夠控制模型、服務軟件和基礎設施，而推理需求又穩定且數量龐大時，自家 ASIC 便有吸引力。至於訓練、研究、模型迭代，以及需要靈活性的工作，Nvidia 仍然重要。45

Nvidia CEO 黃仁勳為何可以淡化威脅？

黃仁勳淡化自研晶片威脅的核心理據，並不是否認專用 ASIC 可以在某個推理測試中勝出，而是指出 Nvidia 賣的是一個靈活的全棧計算平台，而不只是一枚推理晶片。5

GPU 可以訓練、微調及運行模型，亦能隨模型和演算法變化而調整；再加上 CUDA、網絡設備及系統整合，客戶取得的是一個可處理多種工作的生態。對工作負載經常變動的客戶來說，這種彈性可能比單一推理基準的最高每瓦效能更重要。5

部署規模亦限制了 Jalapeño 的即時商業衝擊。它初期只會服務 OpenAI 自己的基礎設施，並不是一款客戶可以普遍購買、在市場各處部署的 Nvidia 替代產品。14

所以，Jalapeño 短期內較可能改變的是 OpenAI 在推理硬件採購上的議價能力，而不是立即改寫整個 AI 計算市場。

對 Nvidia 和 AI 晶片市場有甚麼啟示？

分析師認為，Jalapeño 顯示大型雲端及 AI 平台自行設計的 ASIC，已經有能力在部分推理效率測試中追上甚至超越 Blackwell 系統。隨着大型 AI 營運商尋求降低服務成本、減少對單一供應商依賴，這可能對 Nvidia 在推理市場的定價和利潤帶來壓力。1732

OpenAI 亦不是唯一發展自家晶片的大型科技公司。Google、AWS 和 Meta 都被視為正在開發 AI 晶片，反映 AI 基礎設施正逐漸由「一套 GPU 應付所有事情」，轉向按工作負載作專門化設計。5

較可能出現的不是 GPU 突然式微，而是市場進一步分工：

• 專用 ASIC：對由大型平台控制、需求穩定而且數量龐大的推理工作，吸引力可能日益增加。
• Nvidia GPU：在模型訓練、快速研究和模型迭代、混合型工作負載，以及重視軟件生態和彈性的場景，仍然具備重要價值。520
• 擁有自家晶片的平台：可以把部分可預測的推理需求轉移到自家硬件，並在日後採購 GPU 時取得更大議價空間。

真正值得觀察的問題，是 Jalapeño 的優勢能否在更公平的同代比較、不同模型，以及大規模生產部署中維持。現階段較穩妥的結論是：OpenAI 證明了專用硅片在部分 LLM 推理工作上可以與 Blackwell 競爭，甚至取得明顯效率優勢；但 Nvidia 仍深深嵌入 OpenAI 其餘的 AI 計算工作，Jalapeño 尚未構成全面取代 GPU 的證據。

OpenAI 首次公開 Jalapeño 測試結果，提出的是一個有範圍的優勢主張，並非話這枚自家晶片可以全面取代 Nvidia。按照 OpenAI 的數據，Jalapeño 在部分大型語言模型（LLM）服務工作負載上，無論每瓦處理量還是回應延遲，都勝過 Nvidia 的 GB200 及 GB300 系統。對於電力、散熱及供電能力正逐漸成為 AI 數據中心瓶頸的行業來說，這是一個值得留意的訊號；不過，測試亦存在重要限制。57

Jalapeño 其實是為甚麼而設？

Jalapeño 是 OpenAI 與 Broadcom 共同開發的應用專用積體電路（ASIC），主要用於大型語言模型的 inference（推理）——即模型訓練完成後，實際替用戶生成答案的階段，而不是訓練模型本身。619

專用晶片的取捨很直接：放棄一部分彈性，換取在穩定、大量及可預測的工作負載上提高效率。Nvidia GPU 則面向更廣泛用途，可以處理模型訓練、微調、推理，以及不斷變動的模型架構和研究工作；Jalapeño 就是針對 OpenAI 的模型服務需求，以及其配套軟件、記憶體和系統設計作最佳化。56

所以，Jalapeño 在指定推理任務上跑得快，不等於它在所有 AI 工作上都比 GPU 強。

公布的效能數字有幾亮眼？

OpenAI 表示，團隊使用三款公開模型，將 Jalapeño 與 Nvidia GB200 及 GB300 系統比較：GPT-OSS 120B、DeepSeek R1 670B，以及 Moonshot AI 的 Kimi K2.5 1T。整體而言，Jalapeño 在峰值吞吐量下每瓦 AI 工作量高出 1.5 至 1.9 倍，端到端延遲則低 1.7 至 3.6 倍。5713

各模型的數據如下：

• GPT-OSS 120B：Jalapeño 達到每千瓦每秒 85,448 個混合 token，GB200 系統則為 44,960 個，約有 1.9 倍優勢；端到端延遲分別為 1.03 秒及 1.80 秒。7
• DeepSeek R1 670B：Jalapeño 每千瓦每秒處理 19,641 個混合 token，GB300 為 11,781 個，即每瓦工作量約高 1.7 倍；延遲則為 1.65 秒對 5.99 秒。7
• Kimi K2.5 1T：Jalapeño 每千瓦每秒處理 18,195 個混合 token，GB300 為 11,862 個，約高 1.5 倍；延遲分別為 1.56 秒及 5.31 秒。7

在偏重即時互動、要求盡快回覆，而非單純追求總吞吐量的工作點，OpenAI 更稱 Jalapeño 的性能優勢可達 2.1 至 4.1 倍。413

功耗較低，是否就代表成本減半？

Jalapeño 的額定功耗為 700 瓦；被比較的 GB200 及 GB300 加速器，額定功耗分別為 1,200 瓦及 1,400 瓦。OpenAI 稱，Jalapeño 在測試工作負載中的實測持續功耗維持在 550 瓦或以下。61213

較低的晶片功耗，並不自動等於數據中心總成本按相同比例下降。實際營運還包括伺服器、記憶體、網絡、冷卻、供電設備、軟件及維修等部分。不過，如果同一度電可以服務更多模型請求，就有機會減輕電力、散熱及電力分配系統的壓力。5

對 OpenAI 這類預計需要大規模提供模型服務的平台而言，這正是自行設計推理晶片的主要經濟誘因：不是單看一粒晶片的速度，而是希望降低長期服務每次請求的基礎設施成本。

測試結果有多可靠？

這次測試採用 SemiAnalysis 公開的 InferenceX 基準，量度的是多款模型在不同操作點下的端到端服務表現，而不只是晶片規格表上的理論數字。因此，結果比單純比較 FLOPS 或峰值規格更貼近實際推理運作。7

但目前仍應把它視為由 OpenAI 公布的測試結果，而非已經由獨立機構全面重現、獲業界一致確認的中立結論。45

最關鍵的限制之一，是記憶體技術並不完全相同。Jalapeño 使用 HBM4，但測試中的 GB200 及 GB300 系統沒有使用 HBM4；SemiAnalysis 因此形容這個比較並不完整，亦未算完全公平。5

記憶體頻寬和容量對大型模型推理十分重要。Nvidia 下一代 Rubin 平台同樣採用 HBM4，因而可能是更貼近同一世代的比較對象。換句話說，Jalapeño 勝過 GB200 及 GB300 的數據，不能直接推論它也會勝過 Rubin。517

另一個限制是比較對象的定位不同。Jalapeño 只為推理而設；Nvidia GPU 則可用於訓練、微調、推理和更廣泛的模型架構。專用 ASIC 要在目標工作負載足夠穩定、規模足夠大時，才較容易收回開發和部署成本。520

何時開始部署？下一代又如何？

OpenAI 計劃在 2026 年底於自家計算基礎設施開始以「極小規模」部署 Jalapeño，並於 2027 年增加部署量。1133

這個項目亦不是一次性的晶片計劃。OpenAI 表示第二代及第三代晶片已經開始開發；Broadcom 則形容雙方正建立多代產品路線，目標是在 Microsoft 及其他數據中心合作夥伴協助下，支援吉瓦特級部署。31130

背後的策略是「垂直協同設計」：由模型、推理軟件、記憶體、網絡、整機系統到晶片，一併設計，而不是把加速器當成獨立零件。好處是可以更精準控制延遲和服務成本；代價則是硬件的通用性較低，未必適合其他公司的模型和工作負載。3633

此外，由設計到 tape-out（流片）只需很短時間，並不等於已經證明可以穩定量產。製造良率、系統整合、軟件成熟度、供應鏈，以及晶片能否跟上未來模型變化，才會決定測試優勢能否轉化成長期基礎設施優勢。現有報道確認了部署計劃，但尚未證明最終能達到甚麼量產規模。3033

為甚麼 Jalapeño 暫時取代不了 Nvidia？

OpenAI 已表明，仍會繼續依靠 Nvidia 進行模型訓練，並維持其計算合作夥伴角色。411

這種分工其實相當合理。前沿模型訓練需要高度彈性的計算系統，以應付不斷改變的模型架構、演算法和實驗方向。Nvidia GPU 亦有 CUDA 軟件生態，以及包括網絡和完整數據中心系統在內的整套平台。5

因此，Jalapeño 更像是針對特定工作負載的替代方案：當 OpenAI 能夠控制模型、服務軟件和基礎設施，而推理需求又穩定且數量龐大時，自家 ASIC 便有吸引力。至於訓練、研究、模型迭代，以及需要靈活性的工作，Nvidia 仍然重要。45

Nvidia CEO 黃仁勳為何可以淡化威脅？

黃仁勳淡化自研晶片威脅的核心理據，並不是否認專用 ASIC 可以在某個推理測試中勝出，而是指出 Nvidia 賣的是一個靈活的全棧計算平台，而不只是一枚推理晶片。5

GPU 可以訓練、微調及運行模型，亦能隨模型和演算法變化而調整；再加上 CUDA、網絡設備及系統整合，客戶取得的是一個可處理多種工作的生態。對工作負載經常變動的客戶來說，這種彈性可能比單一推理基準的最高每瓦效能更重要。5

部署規模亦限制了 Jalapeño 的即時商業衝擊。它初期只會服務 OpenAI 自己的基礎設施，並不是一款客戶可以普遍購買、在市場各處部署的 Nvidia 替代產品。14

所以，Jalapeño 短期內較可能改變的是 OpenAI 在推理硬件採購上的議價能力，而不是立即改寫整個 AI 計算市場。

對 Nvidia 和 AI 晶片市場有甚麼啟示？

分析師認為，Jalapeño 顯示大型雲端及 AI 平台自行設計的 ASIC，已經有能力在部分推理效率測試中追上甚至超越 Blackwell 系統。隨着大型 AI 營運商尋求降低服務成本、減少對單一供應商依賴，這可能對 Nvidia 在推理市場的定價和利潤帶來壓力。1732

OpenAI 亦不是唯一發展自家晶片的大型科技公司。Google、AWS 和 Meta 都被視為正在開發 AI 晶片，反映 AI 基礎設施正逐漸由「一套 GPU 應付所有事情」，轉向按工作負載作專門化設計。5

較可能出現的不是 GPU 突然式微，而是市場進一步分工：

• 專用 ASIC：對由大型平台控制、需求穩定而且數量龐大的推理工作，吸引力可能日益增加。
• Nvidia GPU：在模型訓練、快速研究和模型迭代、混合型工作負載，以及重視軟件生態和彈性的場景，仍然具備重要價值。520
• 擁有自家晶片的平台：可以把部分可預測的推理需求轉移到自家硬件，並在日後採購 GPU 時取得更大議價空間。

真正值得觀察的問題，是 Jalapeño 的優勢能否在更公平的同代比較、不同模型，以及大規模生產部署中維持。現階段較穩妥的結論是：OpenAI 證明了專用硅片在部分 LLM 推理工作上可以與 Blackwell 競爭，甚至取得明顯效率優勢；但 Nvidia 仍深深嵌入 OpenAI 其餘的 AI 計算工作，Jalapeño 尚未構成全面取代 GPU 的證據。