中國 AI 開始「慳住用」NVIDIA GPU：真正樽頸由訓練轉向推理

中國 AI 業界面對的問題，已經唔單止係「有冇足夠晶片」——更關鍵係，有冇足夠合適、穩定而且負擔得起嘅推理運算能力。

當 AI 助手、企業軟件同 AI 代理開始大規模部署，模型要處理嘅已不再係零星提問，而係源源不絕嘅即時請求。尤其係 AI 代理，往往要理解長篇上下文、呼叫工具、執行任務、檢查結果，再反覆修改答案。結果，AI 基礎設施嘅樽頸，正由「訓練模型」逐步轉向「服務用戶」。

訓練完模型，真正考驗先開始

模型訓練係建立模型能力；推理（inference）就係模型訓練完成後，實際為用戶生成答案嘅階段。

部分推理工作可以改用中國本土加速器處理，但兩者並非完全可以互換。對於要求高速度、大容量記憶體、穩定性及成熟軟件支援嘅工作，本土硬件仍然未必能夠完全取代高階 NVIDIA 處理器。

因此，中國 AI 公司要處理嘅係一個「混合硬件」問題：較簡單嘅推理可以交畀本土晶片，有限嘅高階 NVIDIA GPU 就要留畀最難替代嘅任務。業界報道指，複雜編程工作尤其造成壓力。

點解編程助手特別食運算？

普通問答可能只需要模型即時產生一段簡短答案；但一個編程助手或者自主 AI 代理，可能要完成一連串步驟：保留長上下文、寫程式、使用外部工具、執行及檢查結果，之後再修正答案。

每一步都可能觸發新一輪模型運算。換句話講，公司真正關心嘅唔係手上有幾多張 GPU，而係每張 GPU 可以穩定完成幾多高質素工作。

如果本土處理器喺複雜編程及推理任務上表現較弱，將所有推理工作搬離 NVIDIA 硬件，可能會犧牲答案質素或者運作效率。企業於是要將稀缺嘅 NVIDIA 容量，優先分配畀最需要高性能嘅工作。

Token 數量一樣，價值可以差好遠

Token 通常被視為 AI 需求嘅基本計量單位，但每個 token 並唔代表同一種工作量或者同一種商業價值。

簡單聊天、分類或者低成本輸出，可以交畀較便宜嘅硬件處理。相反，由更強模型產生、涉及較長推理過程，或者需要多次工具呼叫嘅高質素 token，既更食運算，對客戶亦可能更有價值。

所以，單睇 token 總量，可能低估咗高端推理容量嘅短缺。市場可以一邊產生更多 token，一邊更加缺乏能夠為複雜任務提供可靠結果嘅高階硬件。近期業界投資高質素 token 產能，以及整合不同晶片架構嘅異構運算系統，正正反映呢個分別。

需求兩年暴增逾千倍

據中國國家數據局相關數據，2026 年 3 月中國每日平均 token 呼叫量超過 140 萬億；2024 年初約為 1,000 億，增幅超過 1,000 倍。

呢個數字反映 AI 使用模式已經變咗：模型由實驗、試用同單次提問，走向消費應用、企業軟件，以及可以執行現實工作流程嘅 AI 代理。推理因此唔再係訓練完成後嘅「附帶工序」，而係逐漸成為運算消耗嘅主要來源。

對 AI 公司嚟講，問題唔係需求會唔會出現，而係需求增長速度遠遠快過可用容量。

點解優化軟件係最快嘅解法？

喺出口管制、高階 NVIDIA 產品供應有限，以及替換硬件生態成本高昂嘅情況下，短期內大幅增加頂級處理器並不容易。中國 AI 開發者亦要面對轉換成本：現有模型、工具同工作流程，已經深度依賴成熟嘅軟件平台，改用另一套晶片架構往往等於重建部分開發環境。

軟件優化唔可以憑空製造新晶片，但可以令每一張現有處理器產生更多有效產出。常見做法包括：

• 按工作分流： 將簡單要求交畀較便宜或本土加速器，NVIDIA GPU 就留畀複雜任務。
• 改善服務效率： 優化請求分組、排程及記憶體使用，減少硬件等候或者閒置時間。
• 按資源部署： 根據任務價值及難度，調整模型大小、上下文長度同回答策略。
• 整合異構運算： 令不同晶片架構可以協同工作，而唔係要求所有工作都喺同一個平台上運行。

呢啲方法可以暫時拉近需求同供應之間嘅差距，但唔係前沿硬件嘅完整替代品。當高質素要求仍然集中喺少數處理器上，軟件始終只能延長有限資源嘅使用效率。

價格愈平，壓力反而愈大

更棘手嘅係，推理服務價格正受到競爭壓力。Jefferies 分析師估計，中國模型平均每個 token 嘅成本，大約只有美國大型公司服務嘅六分之一。

低價有助推動用戶採用，卻同時限制咗企業可以用嚟支付高端運算嘅收入。另一方面，編程助手同 AI 代理比普通聊天更耗費資源。中國 AI 公司於是陷入一個兩難局面：需求急升、客戶期望低價使用，但最有能力處理高難度推理嘅運算容量，卻難以快速增加或者替代。

呢種矛盾已經反映喺服務供應上。有市場報道指，當需求超出可用運算資源，部分中國模型開發商同雲服務商需要降低服務速度、限制使用量，甚至加價；資源消耗較高嘅編程助手尤其受影響。

中國缺嘅唔只係晶片

中國 AI 基礎設施嘅核心挑戰，並非簡單嘅晶片數量不足，而係缺乏一套完整組合：高性能處理器、兼容而成熟嘅軟件生態，以及可以用合理成本大規模提供高價值推理服務嘅系統。

隨住軟件改善，以及企業按照本土晶片嘅強項重新設計部署方式，本土硬件可以吸收更多工作。但就目前證據而言，業界仍處於過渡階段：一方面要盡量優化推理每一個環節，另一方面要將本土晶片用喺最適合嘅地方，再將有限 NVIDIA 容量留畀最難處理嘅任務。

呢種策略可以令現有資源捱耐啲，但如果 AI 代理持續擴張，中國最終仍要同時增加硬件供應，以及建立一個令不同處理器真正容易協作嘅軟件生態。