為什麼中國 AI 公司要把每一枚 Nvidia GPU 用到極致？

中國 AI 產業的算力瓶頸，正逐漸從「如何訓練出模型」轉向「如何讓模型服務數以億計的請求」。隨著 AI 助手、企業軟體與 AI 代理人進入大規模部署，推理——也就是已訓練模型實際產生回應的階段——正在成為核心限制，而不再只是模型訓練之後的附屬環節。

算力瓶頸轉向推理服務

訓練是建立模型的過程；推理則是模型面對使用者指令、產生文字或執行任務的過程。部分推理工作可以調整至國產晶片上執行，但這不代表所有工作都能輕易替代。對高要求的應用而言，運算效能、記憶體、穩定性與成熟的軟體生態缺一不可。

因此，中國 AI 公司面對的是一個「混合硬體」問題：國產加速器可以承擔部分推理需求，但數量有限的高階 Nvidia 處理器，必須優先留給最難以替代的任務。業界報道指出，複雜的程式編寫工作尤其構成壓力。

為什麼寫程式與 AI 代理人特別耗算力？

一次簡單的問答可能只需要相對有限的運算資源；但程式編寫助手或自主 AI 代理人，往往要維持長篇上下文、產生程式碼、呼叫外部工具、檢查結果，再反覆修改答案。

這改變了 AI 部署的成本計算方式。關鍵不只是公司擁有多少張晶片，而是這些晶片能穩定完成多少高品質工作。如果國產處理器在複雜的程式編寫與推理任務上表現較弱，把所有推理工作都轉移至國產硬體，可能會犧牲回應品質或效率。企業只好把稀缺的 Nvidia 算力分配給那些差異最明顯的工作。

Token 數量增加，不等於算力價值相同

Token 數量是衡量 AI 需求的重要指標，但每個 Token 並不是同質的產品。簡單、低成本的輸出可以交由較便宜的硬體處理；若輸出來自更強大的模型、更長的推理鏈，或涉及多次工具呼叫，所需算力更高，對客戶的價值也可能更大。

因此，整體 Token 數量激增，可能反而掩蓋了高階推理算力的更嚴重短缺。市場或許正在產生更多 Token，卻同時更缺乏能為複雜任務提供可靠結果的高階硬體。近期對「高品質 Token 產能」以及整合不同架構運算資源的系統投資，正反映出這項差異。

需求增長速度遠超硬體擴張

根據中國國家數據局公布、並由相關報道引用的數據，中國平均每日 Token 呼叫量在 2026 年 3 月已超過 140 兆；2024 年初約為 1,000 億，增幅超過 1,000 倍。

這個數字反映的不只是使用量上升，也代表 AI 的使用方式正在改變。模型正從試驗和零散提示，走向消費者服務、企業軟體，以及能執行實際工作流程的 AI 代理人。於是，推理逐漸成為算力消耗的主要引擎，而不是訓練完成後的次要階段。

軟體最佳化，成為最快可用的解法

在出口管制限制高階 Nvidia 產品取得、供應有限且硬體生態轉換成本高昂的情況下，單純增加高階處理器並不容易。中國 AI 開發商還要面對另一項成本：現有模型、工具與工作流程，已深度依賴成熟的軟體平台，轉換架構需要大量工程投入。

軟體最佳化無法憑空製造新的晶片，但能提高每枚現有處理器所產生的有效工作量。常見做法包括：

• 工作負載分流： 將較簡單的請求交給成本較低的硬體或國產加速器，並把 Nvidia GPU 保留給複雜任務。
• 提升服務效率： 改善請求的批次處理與排程，減少硬體閒置時間。
• 按資源部署： 根據請求的價值與難度，調整模型規模、上下文長度和回應策略。
• 建立異質運算基礎設施： 整合不同晶片架構，而不是要求所有工作都在同一平台上執行。

這些措施能在需求上升與供應受限之間搭起一座橋，但並非前沿硬體的完整替代方案。只要對品質敏感的工作仍依賴較少數的高階處理器，算力瓶頸就不會單靠軟體完全消失。

低價 Token 與高成本推理的商業拉鋸

問題之所以更難解決，是因為推理服務的價格正承受壓力。Jefferies 分析師估計，中國模型的平均每 Token 成本約為美國主要公司的六分之一。

低價有助於加速普及，卻也限制了企業用服務收入購買稀缺高階算力的能力。另一方面，程式編寫助手和具代理能力的產品，消耗的資源可能遠高於簡單聊天服務。中國 AI 公司因而陷入兩難：需求快速擴張，用戶期待低價甚至近乎免費的使用體驗，但最具能力的推理算力既昂貴，又難以迅速擴充或替代。

這種矛盾已反映在服務供應上。市場報告指出，當需求超過可用運算資源時，中國多家主要模型開發商與雲端服務商曾限流、配給存取權限或提高價格；其中，資源密集型的程式編寫助手尤其受到影響。

更大的含義：短缺的不只是一種晶片

中國 AI 基礎設施面對的，不只是「晶片不夠」這麼簡單，而是缺乏一套能同時提供高階處理器、相容軟體與具經濟效益的高價值推理產能的完整組合。

隨著軟體持續改善，並按國產硬體的優勢重新設計部署方式，更多推理工作可以轉移至國產晶片。但目前的證據顯示，產業仍處於過渡階段：一方面最佳化推理流程的每一個環節，另一方面在國產晶片適用的場景使用國產硬體，再把有限的 Nvidia 算力留給最棘手的任務。

這種策略可以延長現有資源的使用效率，卻不能永久取代前沿算力。若 AI 代理人持續承擔更多真實世界工作，中國 AI 產業最終仍要看兩件事能否同步推進：硬體供應是否擴大，以及能否建立讓不同處理器真正易於協同運作的軟體生態。