OpenAI API 新收費：模型平咗，但真正考功夫係成本工程

呢點對以下產品特別重要：

• chatbot 同客服助理；
• coding assistant；
• 報告、摘要、研究工具；
• 會反覆修訂、call model、再生成內容嘅 agent workflow。

喺呢類系統入面，帳單未必主要來自用戶打咗幾多字，而係你嘅應用要求模型輸出幾長、重試幾多次、循環幾多步。

可行控制包括：設定最大輸出長度、預設精簡回覆風格、為每個功能設 token budget、監察異常長輸出，以及將 input spend 同 output spend 分開睇。

Cached input 令 prompt 設計都變成成本決策

OpenAI API pricing page 將 cached input 同 standard input 分開列示，其中一項列出 cached input 每 100 萬 token $0.50，而 standard input 為 $5.00 。實際慳幾多，要視乎模型是否適用同 workload 點設計；但方向好清楚：重複上下文會變成一個重要成本位。

如果你嘅應用經常重複送入相同 system prompt、工具指令、JSON schema、政策文字、retrieval context 或對話前綴，就應該檢查有冇機會利用 cached-input pricing。對企業嚟講，長 prompt 唔只係工程問題，亦係營運成本問題；功能未 scale 之前，最好先計清楚。

可以等嘅工作，應該考慮 batch

唔係所有 AI 任務都要即時回覆。Azure OpenAI 表示，其 Batch API 可於 24 小時內返回 completions，並對 Global Standard Pricing 提供 50% 折扣 。Azure OpenAI 即係 Microsoft Azure 上提供 OpenAI 模型服務嘅企業雲方案。

呢類 async 或離線處理適合：文件補充資料、內容標籤、資料清洗、批量評估、後勤自動化等。用戶唔等住即刻睇結果嘅工作，就唔一定要用即時計費路徑。

Azure OpenAI 亦列出 provisioned throughput units（PTUs），即預先分配吞吐量以換取較可預測成本，並提供月度同年度 reservation 以降低整體開支 。對大型企業而言，選擇就變成三條路：完全按量付費、將可延遲工作放入 batch，或者為穩定高流量 workload 預留容量。

企業而家應該改咩？

平價模型令更多 AI 功能有機會落地，但如果無控制 output、prompt 長度同 agent loop，成本一樣可以好快食走毛利。

比較務實嘅做法包括：

1. 按功能計成本：知道邊個產品頁面、哪個 workflow、哪項 AI 功能最燒錢。
2. 按客戶計用量：避免高用量客戶表面有收入、實際上愈用愈蝕。
3. 建立模型路由：由平價模型開始，只有質素檢查唔過先升級。
4. 設 output budget：特別係聊天、報告、coding、研究同 agent 類功能。
5. 定期 review prompt 長度：刪走無必要上下文，找出可重用、可快取內容。
6. 建立 batch queue：將可以等幾小時嘅工作移離即時路徑。
7. 加 budget alert 同異常偵測：一有 token 用量突增就即刻知道。

結論：平模型係機會，成本架構先係勝負

OpenAI API 價格分層令更多 AI 功能變得有經濟可行性，特別係可以用 GPT-4.1 mini 或 GPT-4.1 nano 處理大量例行任務嘅團隊 。但贏嘅唔會只係「揀最平模型」嗰批，而係識得按任務難度分流、重用可快取上下文、將可延遲工作 batch 化，並喺長輸出壓低毛利之前已經設好控制嘅團隊。