業界指南指出,呢種混合方法喺模型層面可實現30-75%嘅成本削減,善用量化、蒸餾同埋「啱用先啱」嘅模型選擇,再配合批次處理、投機解碼同KV快取等運行時優化,吞吐量可提升40-80% 。OpenAI更將呢個概念商品化,推出Batch API延遲推理享半價優惠——客戶如果肯等最多24小時攞結果,價格即刻減半
。
從Q1 2026股東文件睇到嘅關鍵數字:
OpenAI嘅慳錢行動,正正係整個行業價格戰嘅縮影:
對企業嚟講,呢個係好消息:運行AI工作嘅實際成本跌得快過能力增長。OpenAI嘅Batch API已經畀出50%折扣畀等得嘅工作,而多模型路由可以喺唔影響質素嘅情況下慳40-60%成本 。問題係,喺一個中國開源模型用幾分之一嘅價錢就提供到前沿能力嘅市場入面,仲有冇供應商可以維持溢價收費
。