小微點解唔只係另一個聊天機械人？WeLM由10B走向617B

表面睇，小微似乎只係微信入面多咗一個AI聊天視窗；但真正值得留意的，係佢唔需要用戶離開微信，便可以由一句文字或語音指令，接到人、服務同小程序。用戶可以叫佢搵資料、聯絡朋友，或者直接啟動微信內的服務。151719

所以，小微的重點未必係要變成另一個獨立聊天App，而係將AI變成微信現有生態的「指令入口」：由用戶講出想做乜，再由助手協助搜尋、判斷、叫用工具，最後完成操作。至於這是否會成為正式產品路線，現時仍屬策略推論，並非已確認的產品規劃。

由2022年的WeLM，到今日驅動小微

WeLM早期已經建立了微信自研大模型的技術脈絡。公開資料提到，2022年曾發布一個10B參數的中文模型，並聲稱在18項任務上有不俗表現；不過，現有資料未能獨立核實這些具體benchmark數字，因此較適合將它視為歷史背景，而非直接用作今日小微能力的證明。4

目前較清楚的生產部署版本，是WeLM-80B。它總共有800億參數，每次處理一個token時，約啟用30億參數；模型以不足14萬億tokens的資料訓練，並披露具備推理、多語言理解及128K上下文能力。711 多份報道指，WeLM-80B已用於驅動小微的對話、搜尋、微信原生功能呼叫及小程序服務。89

更大的WeLM-617B則有6170億總參數，每個token約啟用230億參數，同樣採用混合專家模型（Mixture of Experts，MoE）思路。不過要留意，617B現時仍然是開發中，不能當作已全面部署到小微的版本。按目前公布方向，它主要針對微信生態內較高複雜度的工作，例如加強通用理解與邏輯推理、智能開發小程序，以及為小微生成配套工具。8912

點解總參數咁大，實際啟用卻可以咁少？

稀疏MoE可以想像成一間有好多專科部門的公司。面對每一個token，路由器只會揀一小部分「專家」參與處理，而唔係每次都動用全公司所有人手。

因此，WeLM-80B可以保留800億參數的容量，但單次計算路徑約等於30億啟用參數；WeLM-617B亦唔需要每次都執行全部6170億參數。對一個要處理大量搜尋、訊息、服務導航及工具呼叫的助手而言，減少每個token的實際計算量，有助提升吞吐量、降低延遲，亦令服務成本較容易控制。78

對微信這類高頻平台，這個取捨尤其重要。日常請求未必每一個都需要最強模型，但數量可以非常龐大。稀疏架構讓系統保留更大的專業能力池，同時避免每次請求都支付完整密集模型的計算代價。

不過，「30億啟用參數」唔代表80B模型的成本就完全等同一個密集3B模型。所有專家權重仍然要佔用記憶體，亦涉及模型部署、路由及不同設備之間的通訊成本。稀疏化主要減少的是每個token的算術運算量，令高流量推理更可行，但絕對唔係免費。

Hidden Decoding：唔加大主幹，增加每個token的內部思考

WeLM團隊另一條探索路線叫Hidden Decoding。傳統上，要令模型有更多計算能力，通常會將Transformer加深、加闊，或者增加模型規模；Hidden Decoding則採用另一種做法：將一個輸入token擴展成多條內部計算流，每條流有獨立embedding，並保留中間流的KV狀態，讓後續計算可以讀取這些內部表示。213

簡單講，模型對外仍然只生成一個token，但在「幕後」為每個token安排更多潛在計算步驟，毋須直接增加主Transformer的層數或寬度。官方及論文資料顯示，在對齊的測試中，HD4版本的80B及617B模型都比各自沒有Hidden Decoding的基線有改善。112

當然，這種方法的難點在於：如果每個token都複製成n條流，再讓所有流互相做完整注意力運算，成本可能按n的平方上升，規模一大便難以訓練及提供服務。

Stream-Factorized Attention點樣幫手？

Stream-Factorized Attention的作用，就係限制跨流互相「望」的範圍。大部分層只在各自的流內進行注意力計算，只有少數層容許不同流之間交換資訊。這樣做可以將新增的注意力成本，由接近二次方增長，壓低至較接近線性增長。15

這是Hidden Decoding能否在100B以上MoE模型運作的關鍵系統設計。換句話講，Hidden Decoding增加了內部計算空間，而Stream-Factorized Attention則嘗試控制由多流結構帶來的額外成本。12

微信想要的，可能不是另一個「AI超級App」

將幾項技術放埋一齊睇，WeLM的路線似乎指向分層運作：由較高效率的80B-A3B級模型處理日常、頻密而相對簡單的互動；遇到複雜規劃、工具選擇、多步驟工作流，才交由能力更強的模型，或者投入更多隱藏計算。

如果權限、身份認證、支付、小程序API、可靠性控制及用戶同意機制都設計得妥當，小微便有機會將自然語言直接轉化為微信內的實際操作——由「搵到」到「決定」，再到「叫用」及「完成」。用戶不必先開另一個AI App，再將結果搬回微信。

這正是小微與獨立AI產品如元寶最根本的分別：它的價值未必單純來自回答得幾好，而係能否成為微信內連接人、內容、服務及小程序的操作層。現階段小微仍在小範圍灰度測試，WeLM-617B亦未正式部署；但從模型架構及公布的應用方向來看，騰訊正嘗試把AI由「聊天目的地」，推向「使用微信的方法」。