OpenAI 的 37 億美元難題：軟體路由與客製晶片「Jalapeño」如何成為成本救星

業界指南指出，這種混合方法在模型層級上，透過量化、蒸餾和模型規模最佳化，能實現 30% 至 75% 的成本降低；再結合批次處理、投機解碼和 KV 快取等執行階段優化，還能帶來 40% 至 80% 的吞吐量提升 。OpenAI 也將此策略商品化，推出了 批次 API (Batch API)，若客戶同意等待最多 24 小時取得結果，即可享有 50% 的價格折扣 。

除了路由技術，OpenAI 的工程師向《The Information》透露，這些優化技術的威力強大到，一度只用了「幾百張」Nvidia GPU 就能服務所有未登入的 ChatGPT 訪客 。

硬體攻勢：Jalapeño 客製推論晶片

2026 年 6 月 24 日，OpenAI 與博通 (Broadcom) 共同發表了 Jalapeño，這是 OpenAI 首款自行設計的推論晶片 。關鍵細節如下：

• 類型： 特殊應用積體電路 (ASIC)，並非 GPU，而是專為大型語言模型 (LLM) 推論打造的晶片 。
• 成本降低： 早期測試顯示，與目前基於 Nvidia GPU 的推論硬體相比，每次推論成本降低約 50% 。
• 效能： 能效比 (每瓦效能) 顯著優於目前最先進的技術 。
• 開發週期： 從設計到量產僅耗時 9 個月，這項成就歸功於 OpenAI 使用自家 AI 模型輔助晶片設計 。
• 部署時程： 目標是在 2026 年底 達到千兆瓦 (GW) 規模的部署 。
• 長期承諾： 這是其 2029 年前 10 GW 基礎設施建設計畫 的一部分 。
• 年度節省： 這 50% 的成本降低，預計能在 2028 年為 OpenAI 節省 5 億至 10 億美元 的年度支出 。

OpenAI 將這款晶片描述為「多年期客製矽晶片路線圖的第一塊基石」，旨在建立自家的運算堆疊，擺脫對 Nvidia 的依賴 。這是一款垂直整合的晶片，OpenAI 將獨家使用於自家的推論工作負載，不對外販售 。

財務壓力深度解析

以下是來自 2026 年第一季股東文件的關鍵數據：

• 營收： 57 億美元 (年增約三倍)
• 現金消耗： 37 億美元 (年增約三倍)
• 營運虧損： 僅第一季就達 93 億美元
• 淨虧損： 213 億美元 (其中包括 23 億美元的股權獎酬與 124 億美元的非現金會計調整)
• 研發費用： 86 億美元
• 毛利率： 略為改善至 39%
• 現金儲備： 持有 730 億美元現金與有價證券，提供了緩衝空間

公司的營業利益率約為 -122%，表示每賺 1 美元就虧損 1.22 美元 。整體而言，OpenAI 在 2025 年的支出約為 340 億美元，導致約 385 億美元的虧損 。

更廣泛的產業競賽：推論成本崩跌

OpenAI 的成本削減行動，是整個產業價格戰的一部分，這場戰爭正重塑 AI 的經濟學：

• Anthropic 的客戶成長加速，截至 2026 年 5 月，其在美國企業的採用率（34.4%）已 超越 OpenAI（32.3%） 。
• 開源模型 正在壓縮價格：四款中國開源權重模型，在程式碼生成標杆測試上的表現與一線模型相當，但成本僅為 三分之一 。報導指出，DeepSeek V4 的運行成本比 Claude Opus 4.6 便宜 50 倍 。
• Google 的 Gemini 3.1 Flash 每百萬輸入 tokens 收費 0.10 美元，這在三年內實現了 99.7% 的價格降幅 。
• Anthropic 的 Claude Sonnet 4.6 在 GPT-4 時代的所有標杆測試中表現更優，但每百萬輸入 tokens 僅收取 3 美元 。
• 推論成本在三年內大約 下降了 50 倍，市場規模預計從 2025 年的 1030 億美元成長到 2030 年的 2550 億美元 。
• OpenAI 正在 考慮對開發者和企業客戶大幅調降每 token 的價格，以先發制人，應對 Anthropic 的類似行動 。
• 客戶越來越多地使用 多模型路由工具 來混合搭配更便宜的模型，避免支付任何單一供應商的溢價價格 。

這對 AI 產業意味著什麼

軟體與硬體的雙重優化，讓 OpenAI 即使在規模化擴張的同時，也能有機會將推論成本砍半。但 OpenAI 並非在真空中行動。來自競爭對手、開源替代方案和專用硬體的壓力，正導致整個產業的定價權逐漸流失 。

對企業而言，這是好消息：運行 AI 工作負載的實際成本下降速度，甚至快於 AI 能力的增長速度。OpenAI 的批次 API 已提供 50% 的折扣，而多模型路由可以在不犧牲品質的情況下削減 40-60% 的成本 。問題在於，當中國的開源模型能以極低的成本提供一線水準的能力時，任何單一供應商是否還能維持其溢價定價策略 。