Token愈平，AI Agent反而愈貴？Gartner揭示「推理悖論」

點解Agent比Chatbot食更多資源？

Agent嘅額外成本，通常來自幾個層面：

• 規劃同推理： 將目標拆成多個步驟、比較不同方案，甚至中途重新制定計劃。
• 工具使用： 每次搜尋、查詢資料庫、呼叫API或者操作軟件，都會帶來額外輸入同輸出。
• 驗證結果： Agent可能要批判、測試或者核對中途及最終答案。
• 記憶及學習流程： 讀取長期記憶、處理回饋、評估表現及調整策略，都會增加模型活動。
• 多Agent協作： 將工作交畀其他Agent會產生訊息傳遞、交接、重複上下文及監督檢查。
• 錯誤處理： 工具呼叫失敗或者信心不足時，系統可能重試、回到之前步驟，甚至重新規劃。

隨住上下文逐步累積，後續模型呼叫亦可能要攜帶更多之前嘅資料；而較強嘅推理模型，處理多個決定時亦可能消耗更多Token及運算。Gartner相關分析嘅報道指，完成相若任務時，Agent所需Token可以係普通Chatbot嘅5至30倍，但實際數字會視乎工作流程同模型設定而變。

換句話講，成本問題唔只係Token單價，而係以下幾項一齊相乘：

Token價格 × Token數量 × 模型選擇 × 工作流程結構。

Gartner嘅Tokenomics Model睇到咩？

Gartner嘅Tokenomics Model唔係將所有AI請求當成同一種工作，而係將AI工作分成由簡單到複雜嘅不同情境。公開報道所描述嘅大致成本階梯如下：

1. 基本Agent執行： 成本已經高過一次基本Chatbot互動。
2. 規劃： 加入更多推理及流程協調，成本再上升。
3. 學習及反覆改善： 涉及記憶、回饋、評估及適應，所需模型活動更多。
4. 進階推理： 屬於成本最高嘅類別，因為需要更複雜及持續嘅模型運算。

公開資料支持呢個成本方向，亦支持一個重要門檻：如果將工作交畀具Agent能力嘅推理模型，推理成本至少可以係基本Chatbot嘅5倍；當任務更加複雜，成本仲可能繼續增加。

不過，現時公開報道未有提供足夠可靠、逐項對應基本執行、規劃、學習及進階推理嘅數字倍數。因此，呢啲類別嘅具體倍數唔應該當成已公開確立嘅Gartner基準。

呢個結論同前沿模型成本下降有冇矛盾？

冇。呢個悖論唔係話硬件、模型架構或者Token經濟效益停止改善，而係話效率提升可能會刺激更多需求。

當高階模型平咗，企業可以將AI用喺過去成本太高、未必負擔得起嘅場景；同時亦會希望Agent有更多自主權、接入更多工具、處理更長上下文，並有更多時間進行推理。呢啲改進會增加每項任務所需嘅推理量。

因此，Token單價下降，只會改善「工作量固定不變」嘅經濟效益；如果工作流程本身不斷膨脹，企業每完成一項實際業務成果嘅成本仍然可以上升。

企業應該點樣控制Agent成本？

1. 實行模型分級

唔好所有任務都交畀最貴、最強嘅模型。固定規則、資料擷取、分類及低風險工作，可以交畀較細或者較平嘅模型；只喺測試證明高階推理能力確實改善結果嘅關鍵步驟，先使用前沿推理模型。Gartner相關建議包括推理分級、限制Token用量及持續監察。

2. 為工作流程設上限

企業應該限制可能令Agent失控嘅變數，包括：

• 最大對話輪數及Token數量；
• 重試及重新規劃次數；
• 工具呼叫配額；
• 上下文大小上限；
• 多Agent分支數量；以及
• 面對低信心或重複行為時嘅停止條件。

另外，亦可以快取穩定結果、刪減或者摘要歷史內容、使用結構化工具輸出，並將例外或高風險個案交由人員處理。咁樣可以減少無必要嘅模型呼叫，而唔使完全放棄真正有價值嘅自主功能。

3. 計算「每項成果成本」

每個Token幾多錢、每次Agent呼叫幾多錢，都唔係完整指標。企業應該同時追蹤完成一項業務成果嘅成本，例如解決一宗個案、批核一份索償、篩選一個合資格銷售線索，或者完成一項工程任務。

成本之外，亦要一併衡量質素、速度、失敗率及需要人手介入嘅比例。正式試行前，最好先建立原有流程基準、質素門檻、速度目標，以及達唔到要求時嘅停止標準。

4. 令按用量收費變得可管治

按用量收費喺工作流程變得遞歸、冗長或者高度自主時，可能令成本突然失控。企業應設立預算上限、每個流程嘅用量配額、即時成本遙測、警報，以及內部成本分攤或顯示機制，確保正式擴大部署前已經睇得見實際消耗。

5. 定期重新評估模型

模型經濟效益唔係一成不變。今日需要用高價前沿模型嘅工作，日後可能由更平但能力足夠嘅模型、微調模型、蒸餾模型，甚至傳統自動化取代。

所以，企業應定期重新檢視「模型加工作流程」嘅組合，而唔係將今日嘅架構當成永久方案。

6. 先證明價值，再增加自主程度

Gartner預測，到2027年年底，超過40%嘅Agentic AI項目可能會被取消，原因包括成本上升、商業價值唔清晰，以及風險控制不足。 呢個預測係提醒企業，唔好喺未了解經濟效益同管治要求之前，就急於擴大Agent自主權；並唔係話每一個Agent部署都注定失敗。

如果一個Agent可以加快或者取代有價值、可重複嘅流程，經過妥善優化後仍然有機會帶來投資回報。真正要問嘅係：新增推理、協調同自主能力所帶來嘅價值，有冇高過新增嘅推理及營運成本？

實際結論：唔好只睇Token單價

最穩陣嘅假設係：Token價格同AI Agent總成本，可以朝相反方向走。企業應該將Token只視為預算其中一項，完整計算整個工作流程，揀選能夠達到質素要求嘅最低能力模型，為運作設定清晰上限，並喺生產環境有證據證明Agent改善指定業務成果後，先逐步增加自主程度。