Token 數量增加，不等於算力價值相同

Token 數量是衡量 AI 需求的重要指標，但每個 Token 並不是同質的產品。簡單、低成本的輸出可以交由較便宜的硬體處理；若輸出來自更強大的模型、更長的推理鏈，或涉及多次工具呼叫，所需算力更高，對客戶的價值也可能更大。

因此，整體 Token 數量激增，可能反而掩蓋了高階推理算力的更嚴重短缺。市場或許正在產生更多 Token，卻同時更缺乏能為複雜任務提供可靠結果的高階硬體。近期對「高品質 Token 產能」以及整合不同架構運算資源的系統投資，正反映出這項差異。

需求增長速度遠超硬體擴張

根據中國國家數據局公布、並由相關報道引用的數據，中國平均每日 Token 呼叫量在 2026 年 3 月已超過 140 兆；2024 年初約為 1,000 億，增幅超過 1,000 倍。

這個數字反映的不只是使用量上升，也代表 AI 的使用方式正在改變。模型正從試驗和零散提示，走向消費者服務、企業軟體，以及能執行實際工作流程的 AI 代理人。於是，推理逐漸成為算力消耗的主要引擎，而不是訓練完成後的次要階段。

軟體最佳化，成為最快可用的解法

在出口管制限制高階 Nvidia 產品取得、供應有限且硬體生態轉換成本高昂的情況下，單純增加高階處理器並不容易。中國 AI 開發商還要面對另一項成本：現有模型、工具與工作流程，已深度依賴成熟的軟體平台，轉換架構需要大量工程投入。

軟體最佳化無法憑空製造新的晶片，但能提高每枚現有處理器所產生的有效工作量。常見做法包括：

• 工作負載分流： 將較簡單的請求交給成本較低的硬體或國產加速器，並把 Nvidia GPU 保留給複雜任務。
• 提升服務效率： 改善請求的批次處理與排程，減少硬體閒置時間。
• 按資源部署： 根據請求的價值與難度，調整模型規模、上下文長度和回應策略。
• 建立異質運算基礎設施： 整合不同晶片架構，而不是要求所有工作都在同一平台上執行。

這些措施能在需求上升與供應受限之間搭起一座橋，但並非前沿硬體的完整替代方案。只要對品質敏感的工作仍依賴較少數的高階處理器，算力瓶頸就不會單靠軟體完全消失。

低價 Token 與高成本推理的商業拉鋸

問題之所以更難解決，是因為推理服務的價格正承受壓力。Jefferies 分析師估計，中國模型的平均每 Token 成本約為美國主要公司的六分之一。

低價有助於加速普及，卻也限制了企業用服務收入購買稀缺高階算力的能力。另一方面，程式編寫助手和具代理能力的產品，消耗的資源可能遠高於簡單聊天服務。中國 AI 公司因而陷入兩難：需求快速擴張，用戶期待低價甚至近乎免費的使用體驗，但最具能力的推理算力既昂貴，又難以迅速擴充或替代。

這種矛盾已反映在服務供應上。市場報告指出，當需求超過可用運算資源時，中國多家主要模型開發商與雲端服務商曾限流、配給存取權限或提高價格；其中，資源密集型的程式編寫助手尤其受到影響。

更大的含義：短缺的不只是一種晶片

中國 AI 基礎設施面對的，不只是「晶片不夠」這麼簡單，而是缺乏一套能同時提供高階處理器、相容軟體與具經濟效益的高價值推理產能的完整組合。

隨著軟體持續改善，並按國產硬體的優勢重新設計部署方式，更多推理工作可以轉移至國產晶片。但目前的證據顯示，產業仍處於過渡階段：一方面最佳化推理流程的每一個環節，另一方面在國產晶片適用的場景使用國產硬體，再把有限的 Nvidia 算力留給最棘手的任務。

這種策略可以延長現有資源的使用效率，卻不能永久取代前沿算力。若 AI 代理人持續承擔更多真實世界工作，中國 AI 產業最終仍要看兩件事能否同步推進：硬體供應是否擴大，以及能否建立讓不同處理器真正易於協同運作的軟體生態。

Token 數量增加，不等於算力價值相同

Token 數量是衡量 AI 需求的重要指標，但每個 Token 並不是同質的產品。簡單、低成本的輸出可以交由較便宜的硬體處理；若輸出來自更強大的模型、更長的推理鏈，或涉及多次工具呼叫，所需算力更高，對客戶的價值也可能更大。

因此，整體 Token 數量激增，可能反而掩蓋了高階推理算力的更嚴重短缺。市場或許正在產生更多 Token，卻同時更缺乏能為複雜任務提供可靠結果的高階硬體。近期對「高品質 Token 產能」以及整合不同架構運算資源的系統投資，正反映出這項差異。

需求增長速度遠超硬體擴張

根據中國國家數據局公布、並由相關報道引用的數據，中國平均每日 Token 呼叫量在 2026 年 3 月已超過 140 兆；2024 年初約為 1,000 億，增幅超過 1,000 倍。

這個數字反映的不只是使用量上升，也代表 AI 的使用方式正在改變。模型正從試驗和零散提示，走向消費者服務、企業軟體，以及能執行實際工作流程的 AI 代理人。於是，推理逐漸成為算力消耗的主要引擎，而不是訓練完成後的次要階段。

軟體最佳化，成為最快可用的解法

在出口管制限制高階 Nvidia 產品取得、供應有限且硬體生態轉換成本高昂的情況下，單純增加高階處理器並不容易。中國 AI 開發商還要面對另一項成本：現有模型、工具與工作流程，已深度依賴成熟的軟體平台，轉換架構需要大量工程投入。

軟體最佳化無法憑空製造新的晶片，但能提高每枚現有處理器所產生的有效工作量。常見做法包括：

• 工作負載分流： 將較簡單的請求交給成本較低的硬體或國產加速器，並把 Nvidia GPU 保留給複雜任務。
• 提升服務效率： 改善請求的批次處理與排程，減少硬體閒置時間。
• 按資源部署： 根據請求的價值與難度，調整模型規模、上下文長度和回應策略。
• 建立異質運算基礎設施： 整合不同晶片架構，而不是要求所有工作都在同一平台上執行。

這些措施能在需求上升與供應受限之間搭起一座橋，但並非前沿硬體的完整替代方案。只要對品質敏感的工作仍依賴較少數的高階處理器，算力瓶頸就不會單靠軟體完全消失。

低價 Token 與高成本推理的商業拉鋸

問題之所以更難解決，是因為推理服務的價格正承受壓力。Jefferies 分析師估計，中國模型的平均每 Token 成本約為美國主要公司的六分之一。

低價有助於加速普及，卻也限制了企業用服務收入購買稀缺高階算力的能力。另一方面，程式編寫助手和具代理能力的產品，消耗的資源可能遠高於簡單聊天服務。中國 AI 公司因而陷入兩難：需求快速擴張，用戶期待低價甚至近乎免費的使用體驗，但最具能力的推理算力既昂貴，又難以迅速擴充或替代。

這種矛盾已反映在服務供應上。市場報告指出，當需求超過可用運算資源時，中國多家主要模型開發商與雲端服務商曾限流、配給存取權限或提高價格；其中，資源密集型的程式編寫助手尤其受到影響。

更大的含義：短缺的不只是一種晶片

中國 AI 基礎設施面對的，不只是「晶片不夠」這麼簡單，而是缺乏一套能同時提供高階處理器、相容軟體與具經濟效益的高價值推理產能的完整組合。

隨著軟體持續改善，並按國產硬體的優勢重新設計部署方式，更多推理工作可以轉移至國產晶片。但目前的證據顯示，產業仍處於過渡階段：一方面最佳化推理流程的每一個環節，另一方面在國產晶片適用的場景使用國產硬體，再把有限的 Nvidia 算力留給最棘手的任務。

這種策略可以延長現有資源的使用效率，卻不能永久取代前沿算力。若 AI 代理人持續承擔更多真實世界工作，中國 AI 產業最終仍要看兩件事能否同步推進：硬體供應是否擴大，以及能否建立讓不同處理器真正易於協同運作的軟體生態。