Moonshot AI 對 Kimi K3 的主張，可以濃縮成一個問題：若 AI 要處理長時間任務、瀏覽網頁、寫程式、呼叫工具並自行修正錯誤，光把預訓練模型做大是否足夠？K3 的答案是否定的。

其所謂的雙軸擴展，一軸是部署前的模型容量，另一軸則是部署後能投入多少推論運算。前者讓模型容納更多能力；後者讓它有餘裕在實際任務中多走幾步、多查資料、多次驗證與修正。真正的難題仍是經濟性：模型若越做越稠密、越做越深，長脈絡服務的記憶體與運算成本可能使這些能力難以落地。K3 的設計目標，就是在擴大整體容量的同時，控制每個輸出 token 所需的運算與記憶體。 1

關鍵差異：總容量不等於每 token 的實際運算

Kimi K3 被描述為原生多模態的混合專家（Mixture-of-Experts，MoE）模型，擁有 2.8 兆個總參數、每個 token 約 1,040 億個啟用參數，脈絡窗口最高可達 100 萬 token。 117

這兩個參數數字代表不同意義：

• 總參數：整個專家集合可提供的總模型容量。
• 每 token 啟用參數：路由機制針對某個 token 實際調用的模型部分。

這正是 MoE 的吸引力所在。K3 的總規模可以遠大於每 token 運算量相近的稠密模型，卻不必在每個 token 都支付完整 2.8 兆參數網路的推論成本。當然，1,040 億啟用參數本身仍相當龐大，並不代表服務成本低廉。 1

因此，Moonshot 的論點不只是「參數越多越好」，而是透過條件式運算，讓更大規模的模型容量能夠實際用於長時程任務。

百萬 token 長脈絡，為何需要不同的注意力架構？

100 萬 token 的脈絡窗口，困難不只在訓練。傳統注意力機制隨序列增長，可能累積可觀的記憶體與運算負擔。K3 採用混合設計，結合 Kimi Delta Attention（KDA） 與 Gated Multi-head Latent Attention（Gated MLA）。報告所列骨幹網路由 69 層 KDA 與 24 層 Gated MLA 組成，基本上以三層 KDA 配一層 MLA 的模式排列。 112

KDA：以固定狀態處理持續延伸的序列

KDA 是模型中的線性注意力元件。它不是在每一層都為完整歷史保留持續增長的傳統鍵值快取（KV cache），而是採用固定大小的循環狀態。其目的在於，讓記憶體狀態與解碼工作不會隨先前脈絡長度，以傳統全注意力相同的方式持續膨脹。 1

報告也為 KDA 的衰減率設下下限。這不只是建模選擇，也避免出現不利於高效率數值計算的極小衰減值，並使系統得以採用適合 Tensor Core 執行的分塊實作。 1

Gated MLA：補回全域檢索能力

單靠線性循環機制，未必能提供完整脈絡注意力那種選擇性全域查找能力。因此 K3 在整個網路中保留 Gated MLA 層：KDA 提供成本較低、可持續的序列處理；MLA 則定期提供全域資訊檢索。 1

這個設計的要點是，長脈絡不只是模型架構問題，也是系統問題。標榜再大的脈絡窗口，只有在模型仍能有效找回關鍵資訊、並以可用成本產生結果時才有意義。

AttnRes：讓資訊穿越 93 層深度

K3 的第二個架構元件是 Attention Residuals（AttnRes）。模型共有 93 層；報告透過 AttnRes，讓後段層可檢索早期深度區塊的壓縮表示，而不必迫使所有資訊只能一層接一層地傳遞。 1

可以把兩者分開理解：KDA 處理的是資訊如何跨越序列長度流動；AttnRes 處理的則是資訊如何跨越網路深度流動。在深層、且大量使用線性注意力的模型中，這項搭配尤其重要：若要以成本更低的 KDA 取代昂貴的全域注意力，仍須避免有用資訊在層與層之間遺失或被隔離。 1

Stable LatentMoE：以條件式容量擴大模型

報告指出，K3 的 MoE 層設有 896 個可路由專家，每個 token 選擇 16 個專家。 16 這正是總參數與啟用參數之間出現巨大落差的機制。

其 Stable LatentMoE 方法，重點在維持專家路由的穩定與負載平衡。報告把批次層級的專家分派視為最佳化問題，並引入基於分位數的平衡機制；在其設定假設下，報告推導出精確最優解。不過在實際部署時，路由並不會對每個推論批次重新求解平衡問題，而是使用固定專家偏置與一般 top-k 選擇。 1

這個區別不可忽略。所謂最優平衡，是針對報告中的路由數學設定得出的結果，不代表真實生產環境的每一批 token 都必然能平均分配到所有專家。

MoonEP：讓稀疏路由在系統層面可行

大型 MoE 也帶來網路通訊問題：token 被選中的專家，往往位於不同裝置上，因而需要跨裝置傳送。若少數專家接收了不成比例的需求，最慢的通訊路徑就可能主導整體延遲。

Moonshot 將 MoonEP 定位為專家並行通訊的配套系統層。它的工作是降低稀疏路由所造成的全對全（all-to-all）通訊失衡，協助龐大的專家池能夠被訓練與服務。 1

這也是 K3 整體論點的一環：模型架構、路由方式與通訊系統，不能被當成彼此獨立的效能解釋。只有三者協同，理論上的稀疏容量才可能轉化為實際吞吐量。

第二軸：為代理式工作投入部署後運算

K3 論點的另一半，發生在預訓練之後。Moonshot 描述了用於強化學習軌跡的基礎設施，涵蓋長時程任務、工具操作、程式設計、網頁瀏覽與反覆解題；報告也提到把多個領域與推理教師模型蒸餾至單一系統。 1

其支援環境是一套輕量化虛擬機沙盒系統，目標是在大規模下建立、快照與恢復任務環境。報告數字包括 5,120 萬個沙盒實例、133 毫秒快照與 49 毫秒恢復。 1

策略意義很直接：如果模型要在測試時花更多運算來規畫、呼叫工具、檢查工作或延續長任務，訓練環境也必須讓它接觸這類軌跡。能夠低成本暫停、分支與恢復環境，就能讓更多此類訓練 rollout 成為可能。

這不表示單次模型回答必然可以無限使用推論運算；比較準確的說法是，K3 的報告主張建立一套系統，使額外步驟與額外脈絡有機會轉化為更好的任務表現，而不是只依賴更大的預訓練模型。

BrowseComp 91.2% 能支持什麼，又無法說明什麼？

Kimi K3 在 BrowseComp 的成績據報為 91.2%。BrowseComp 是針對長時程資訊搜尋設計的評測；第三方排行榜同樣列出 K3 為 91.2%，但排名與評測設定會隨時間變動。 18

這個結果與產品目標一致：主打長脈絡、代理式後訓練與測試時推理的模型，理應接受複雜資訊搜尋任務的檢驗。但它並不是各個元件的乾淨消融實驗。

單一基準分數無法分別告訴讀者，成績有多少來自 KDA、AttnRes、專家路由、通訊基礎設施、RL 環境、蒸餾、提示策略或推論時設定。最穩妥的解讀是：這套整合系統表現不錯；而不是某一項架構創新單獨造成了這個分數。 118

與 DeepSeek 的比較，主要是架構路線之爭

K3 常被視為對其他大型開放模型、包括 DeepSeek 系統的挑戰。但從報告能穩健得出的結論，並不是一份已經定論的開放模型排名，而是不同的設計重點：Moonshot 主張把超大稀疏容量、高效率長脈絡處理，以及代理式後訓練基礎設施整合為一套架構。 117

論文可支持 K3 的規格與設計選擇，卻無法單獨證明其他開放模型「停滯」，也無法隔離出對特定競爭對手具決定性優勢的某一架構因素。這類更廣泛的市場判斷，仍需要一致且可獨立重現的比較。

成本說法必須視設定而定

每 token 價格與每任務成本非常容易被過度解讀。提示內容、推理強度、脈絡長度、快取、工具使用、吞吐量假設、計價日期與評測框架，都可能改變結果。

現有材料引用的一項公開比較，估計 K3 每完成任務約 0.94 美元，GPT-5.6 Sol 約 1.04 美元。這可能表示 K3 在該特定設定下略有優勢，但不足以支持「成本僅為 Sol 一半」這種普遍說法。 20

較耐得住檢驗的結論是：K3 正嘗試讓極大規模模型的長脈絡與代理式能力，在經濟上變得可行。這項優勢能否在不同場景中成立，仍取決於可重現的評測與實際部署的成本核算。

結論

Kimi K3 的技術報告提出的是一個全棧式擴展論點。部署前的擴展，來自 2.8 兆參數的 MoE，以及每 token 約 1,040 億參數的啟用規模；部署後的擴展，則來自讓模型能運用長脈絡、工具、推理步驟與代理式 rollout 的訓練與服務能力。 117

KDA、Gated MLA、AttnRes、Stable LatentMoE、MoonEP 與 RL 沙盒基礎設施，都是同一主張的組成部分：要達到前沿等級的代理式行為，不能只做出更大的模型，還必須讓更多脈絡與更多推論時工作能夠以可用成本發揮效益。現有基準成績是對這套整合方向的正面訊號，但應視為系統層級的已報告成果，而非每個元件貢獻的最終證明。 118

Moonshot AI 對 Kimi K3 的主張，可以濃縮成一個問題：若 AI 要處理長時間任務、瀏覽網頁、寫程式、呼叫工具並自行修正錯誤，光把預訓練模型做大是否足夠？K3 的答案是否定的。

其所謂的雙軸擴展，一軸是部署前的模型容量，另一軸則是部署後能投入多少推論運算。前者讓模型容納更多能力；後者讓它有餘裕在實際任務中多走幾步、多查資料、多次驗證與修正。真正的難題仍是經濟性：模型若越做越稠密、越做越深，長脈絡服務的記憶體與運算成本可能使這些能力難以落地。K3 的設計目標，就是在擴大整體容量的同時，控制每個輸出 token 所需的運算與記憶體。 1

關鍵差異：總容量不等於每 token 的實際運算

Kimi K3 被描述為原生多模態的混合專家（Mixture-of-Experts，MoE）模型，擁有 2.8 兆個總參數、每個 token 約 1,040 億個啟用參數，脈絡窗口最高可達 100 萬 token。 117

這兩個參數數字代表不同意義：

• 總參數：整個專家集合可提供的總模型容量。
• 每 token 啟用參數：路由機制針對某個 token 實際調用的模型部分。

這正是 MoE 的吸引力所在。K3 的總規模可以遠大於每 token 運算量相近的稠密模型，卻不必在每個 token 都支付完整 2.8 兆參數網路的推論成本。當然，1,040 億啟用參數本身仍相當龐大，並不代表服務成本低廉。 1

因此，Moonshot 的論點不只是「參數越多越好」，而是透過條件式運算，讓更大規模的模型容量能夠實際用於長時程任務。

百萬 token 長脈絡，為何需要不同的注意力架構？

100 萬 token 的脈絡窗口，困難不只在訓練。傳統注意力機制隨序列增長，可能累積可觀的記憶體與運算負擔。K3 採用混合設計，結合 Kimi Delta Attention（KDA） 與 Gated Multi-head Latent Attention（Gated MLA）。報告所列骨幹網路由 69 層 KDA 與 24 層 Gated MLA 組成，基本上以三層 KDA 配一層 MLA 的模式排列。 112

KDA：以固定狀態處理持續延伸的序列

KDA 是模型中的線性注意力元件。它不是在每一層都為完整歷史保留持續增長的傳統鍵值快取（KV cache），而是採用固定大小的循環狀態。其目的在於，讓記憶體狀態與解碼工作不會隨先前脈絡長度，以傳統全注意力相同的方式持續膨脹。 1

報告也為 KDA 的衰減率設下下限。這不只是建模選擇，也避免出現不利於高效率數值計算的極小衰減值，並使系統得以採用適合 Tensor Core 執行的分塊實作。 1

Gated MLA：補回全域檢索能力

單靠線性循環機制，未必能提供完整脈絡注意力那種選擇性全域查找能力。因此 K3 在整個網路中保留 Gated MLA 層：KDA 提供成本較低、可持續的序列處理；MLA 則定期提供全域資訊檢索。 1

這個設計的要點是，長脈絡不只是模型架構問題，也是系統問題。標榜再大的脈絡窗口，只有在模型仍能有效找回關鍵資訊、並以可用成本產生結果時才有意義。

AttnRes：讓資訊穿越 93 層深度

K3 的第二個架構元件是 Attention Residuals（AttnRes）。模型共有 93 層；報告透過 AttnRes，讓後段層可檢索早期深度區塊的壓縮表示，而不必迫使所有資訊只能一層接一層地傳遞。 1

可以把兩者分開理解：KDA 處理的是資訊如何跨越序列長度流動；AttnRes 處理的則是資訊如何跨越網路深度流動。在深層、且大量使用線性注意力的模型中，這項搭配尤其重要：若要以成本更低的 KDA 取代昂貴的全域注意力，仍須避免有用資訊在層與層之間遺失或被隔離。 1

Stable LatentMoE：以條件式容量擴大模型

報告指出，K3 的 MoE 層設有 896 個可路由專家，每個 token 選擇 16 個專家。 16 這正是總參數與啟用參數之間出現巨大落差的機制。

其 Stable LatentMoE 方法，重點在維持專家路由的穩定與負載平衡。報告把批次層級的專家分派視為最佳化問題，並引入基於分位數的平衡機制；在其設定假設下，報告推導出精確最優解。不過在實際部署時，路由並不會對每個推論批次重新求解平衡問題，而是使用固定專家偏置與一般 top-k 選擇。 1

這個區別不可忽略。所謂最優平衡，是針對報告中的路由數學設定得出的結果，不代表真實生產環境的每一批 token 都必然能平均分配到所有專家。

MoonEP：讓稀疏路由在系統層面可行

大型 MoE 也帶來網路通訊問題：token 被選中的專家，往往位於不同裝置上，因而需要跨裝置傳送。若少數專家接收了不成比例的需求，最慢的通訊路徑就可能主導整體延遲。

Moonshot 將 MoonEP 定位為專家並行通訊的配套系統層。它的工作是降低稀疏路由所造成的全對全（all-to-all）通訊失衡，協助龐大的專家池能夠被訓練與服務。 1

這也是 K3 整體論點的一環：模型架構、路由方式與通訊系統，不能被當成彼此獨立的效能解釋。只有三者協同，理論上的稀疏容量才可能轉化為實際吞吐量。

第二軸：為代理式工作投入部署後運算

K3 論點的另一半，發生在預訓練之後。Moonshot 描述了用於強化學習軌跡的基礎設施，涵蓋長時程任務、工具操作、程式設計、網頁瀏覽與反覆解題；報告也提到把多個領域與推理教師模型蒸餾至單一系統。 1

其支援環境是一套輕量化虛擬機沙盒系統，目標是在大規模下建立、快照與恢復任務環境。報告數字包括 5,120 萬個沙盒實例、133 毫秒快照與 49 毫秒恢復。 1

策略意義很直接：如果模型要在測試時花更多運算來規畫、呼叫工具、檢查工作或延續長任務，訓練環境也必須讓它接觸這類軌跡。能夠低成本暫停、分支與恢復環境，就能讓更多此類訓練 rollout 成為可能。

這不表示單次模型回答必然可以無限使用推論運算；比較準確的說法是，K3 的報告主張建立一套系統，使額外步驟與額外脈絡有機會轉化為更好的任務表現，而不是只依賴更大的預訓練模型。

BrowseComp 91.2% 能支持什麼，又無法說明什麼？

Kimi K3 在 BrowseComp 的成績據報為 91.2%。BrowseComp 是針對長時程資訊搜尋設計的評測；第三方排行榜同樣列出 K3 為 91.2%，但排名與評測設定會隨時間變動。 18

這個結果與產品目標一致：主打長脈絡、代理式後訓練與測試時推理的模型，理應接受複雜資訊搜尋任務的檢驗。但它並不是各個元件的乾淨消融實驗。

單一基準分數無法分別告訴讀者，成績有多少來自 KDA、AttnRes、專家路由、通訊基礎設施、RL 環境、蒸餾、提示策略或推論時設定。最穩妥的解讀是：這套整合系統表現不錯；而不是某一項架構創新單獨造成了這個分數。 118

與 DeepSeek 的比較，主要是架構路線之爭

K3 常被視為對其他大型開放模型、包括 DeepSeek 系統的挑戰。但從報告能穩健得出的結論，並不是一份已經定論的開放模型排名，而是不同的設計重點：Moonshot 主張把超大稀疏容量、高效率長脈絡處理，以及代理式後訓練基礎設施整合為一套架構。 117

論文可支持 K3 的規格與設計選擇，卻無法單獨證明其他開放模型「停滯」，也無法隔離出對特定競爭對手具決定性優勢的某一架構因素。這類更廣泛的市場判斷，仍需要一致且可獨立重現的比較。

成本說法必須視設定而定

每 token 價格與每任務成本非常容易被過度解讀。提示內容、推理強度、脈絡長度、快取、工具使用、吞吐量假設、計價日期與評測框架，都可能改變結果。

現有材料引用的一項公開比較，估計 K3 每完成任務約 0.94 美元，GPT-5.6 Sol 約 1.04 美元。這可能表示 K3 在該特定設定下略有優勢，但不足以支持「成本僅為 Sol 一半」這種普遍說法。 20

較耐得住檢驗的結論是：K3 正嘗試讓極大規模模型的長脈絡與代理式能力，在經濟上變得可行。這項優勢能否在不同場景中成立，仍取決於可重現的評測與實際部署的成本核算。

結論

Kimi K3 的技術報告提出的是一個全棧式擴展論點。部署前的擴展，來自 2.8 兆參數的 MoE，以及每 token 約 1,040 億參數的啟用規模；部署後的擴展，則來自讓模型能運用長脈絡、工具、推理步驟與代理式 rollout 的訓練與服務能力。 117

KDA、Gated MLA、AttnRes、Stable LatentMoE、MoonEP 與 RL 沙盒基礎設施，都是同一主張的組成部分：要達到前沿等級的代理式行為，不能只做出更大的模型，還必須讓更多脈絡與更多推論時工作能夠以可用成本發揮效益。現有基準成績是對這套整合方向的正面訊號，但應視為系統層級的已報告成果，而非每個元件貢獻的最終證明。 118