月之暗面在Kimi K3技术报告中提出的，并不只是“把参数堆得更大”，而是一套双轴扩展思路：

1. 在部署前，扩大模型的总容量；
2. 在部署后，为模型投入足够的推理算力，让它能够长时间思考、调用工具、浏览网页、编写代码并修正错误。

难点在于经济性。若模型越做越大、长上下文服务成本也同步失控，那么这些能力很难落地。K3的设计目标，是在显著扩大总容量的同时，控制每生成一个token所需的计算与内存开销。1

先分清两个数字：总参数与激活参数

Kimi K3被描述为原生多模态的混合专家（MoE）模型：总参数量2.8万亿，每个token约激活1040亿参数，上下文窗口最高100万token。117

这两个参数数字回答的是不同问题：

• 总参数量：整个专家池可提供的模型容量；
• 每token激活参数量：路由后，处理当前token实际参与计算的那部分参数。

这正是MoE架构的实际价值：K3可以拥有远大于同等单步计算规模稠密模型的总体容量，却不必在每个token上运行完整的2.8万亿参数网络。1040亿激活参数本身依然非常庞大，但相比稠密2.8万亿参数模型，其单token推理负担要低得多。1

因此，月之暗面的论点并非简单的“参数越多越好”，而是通过条件计算，让更大规模的模型容量能够服务于长时程任务。

100万token上下文：注意力机制也得重做

超长上下文的难点不只在训练。传统注意力机制会随着序列变长累积计算与内存负担。K3采用混合注意力设计，将**Kimi Delta Attention（KDA）与Gated Multi-head Latent Attention（Gated MLA）**结合起来。公开资料显示，其93层主干由69层KDA和24层Gated MLA构成，基本按“三层KDA、一层MLA”的节奏排列。112

KDA：用固定状态处理持续增长的序列

KDA是K3中的线性注意力组件。与传统注意力在整个历史中保留不断增长的键值缓存不同，它使用固定大小的循环状态。其目标是避免内存状态和解码工作量随着既有上下文以传统全注意力的方式持续膨胀。1

报告还为KDA的衰减率设置了下界。这不只是建模偏好：它避免极小衰减值带来的数值计算问题，并支持更适合张量核心执行的分块实现。1

Gated MLA：保留全局检索能力

仅靠线性递归未必能实现对长上下文中任意信息的选择性全局检索。因此，K3在网络中持续保留Gated MLA层：KDA负责成本更低的持续序列处理，MLA则周期性提供全局信息检索。1

这意味着，长上下文并不只是模型卡上的一个数字。真正有价值的是模型能否在很长的输入中找到相关信息，并以可接受的成本继续生成答案。

AttnRes：让93层深度网络的信息不被“埋没”

K3的另一项架构组件是Attention Residuals（AttnRes）。该模型共有93层，报告称AttnRes允许后续层从更早的深度块中检索压缩表示，而非迫使所有信息严格逐层传递。1

可以把两者理解为不同方向的信息保障：

• KDA改善的是跨序列长度的信息流；
• AttnRes改善的是跨网络深度的信息流。

对于一个深层、且大量使用线性注意力的模型，这一配合很关键。替换昂贵的全局注意力只有在重要信息不会于层间传递中丢失或隔离时才真正有意义。1

Stable LatentMoE：用稀疏路由换取巨大容量

K3的MoE层据称包含896个可路由专家，每个token选择16个专家。16 这正是其总参数和激活参数之间巨大差距的来源。

技术报告中的Stable LatentMoE重点在于让专家路由保持稳定、均衡：它将批次层面的专家分配视为优化问题，并引入基于分位数的均衡方法。报告在给定假设下推导出一个精确最优解；但在实际部署推理时，路由器使用固定的专家偏置与常规top-k选择，而不是对每个推理批次重新求解均衡问题。1

这一区别值得注意。报告中的“最优均衡”针对的是其定义的路由优化形式，并不等于任何真实生产负载都必然在专家之间完美均分。

MoonEP：MoE能否跑起来，取决于通信

超大MoE模型还会遇到网络通信问题：被选中的token往往要跨设备发送，才能进入对应专家。如果某些专家收到的请求明显更多，最慢的通信路径就可能决定整体延迟。

月之暗面将MoonEP定位为专家并行通信的配套系统层，目的在于降低稀疏路由带来的全互连通信失衡，使大型专家池能够更可行地训练和部署。1

这也是K3论证的关键：架构、路由与通信不能割裂看待。只有三者协同，理论上的稀疏容量才可能转化为真实吞吐量。

第二条扩展轴：让模型在部署后“多想、多做”

K3的另一条轴发生在预训练之后。月之暗面描述了一套面向强化学习轨迹的基础设施，覆盖长时程任务、工具使用、编程、网页浏览和迭代式问题解决；报告也提到将多个领域与推理教师模型蒸馏进一个系统。1

其配套的轻量级虚拟机沙箱系统，旨在大规模创建、快照与恢复任务环境。报告给出的数据包括：5120万个沙箱实例、133毫秒快照、49毫秒恢复。1

战略逻辑很直接：如果模型在测试时要花更多计算做规划、调用工具、核验结果或持续执行长任务，那么训练阶段就必须让它经历足够多的类似轨迹。更低成本地暂停、分支和恢复环境，意味着能生成更多这类训练回合。

这不表示单次回答可以无限制地消耗推理算力，而是K3希望构建一种系统：新增的步骤、上下文和工具交互，能够转化为更好的任务表现，而不只依赖一个更大的预训练模型。

BrowseComp的91.2%说明了什么，又没说明什么？

Kimi K3在BrowseComp上报告的成绩为91.2%。该基准面向长时程信息检索任务；第三方排行榜同样列出K3为91.2%，但排名与评测配置会随时间变化。18

这一结果与其产品目标相符：一个强调长上下文、智能体后训练与测试时推理的模型，理应在复杂信息检索任务上接受检验。但它并不是对单项技术的干净消融实验。

单个基准分数无法告诉我们，成绩分别有多少来自KDA、AttnRes、专家路由、通信系统、RL环境、蒸馏、提示词，或推理时设置。更稳妥的解读是：报告中的系统作为整体表现不错，而不是某一项架构创新单独解释了该分数。118

与DeepSeek的比较，重点应放在架构路线

K3经常被放进与其他大型开放模型、包括DeepSeek系统的对照中。基于技术报告，更可靠的结论不是一张已经定论的“开放模型排行榜”，而是设计重点不同：月之暗面主张将超大稀疏容量、高效长上下文处理，以及面向智能体的后训练基础设施组合为一体。117

论文能够支持K3的规格与设计选择，但它本身并不能证明其他开放模型“停滞”，也不能单独确立对某个具名竞争对手的决定性架构优势。这类市场判断需要口径一致、可独立复现的比较。

成本数字必须结合配置来读

每token价格和每任务成本都很容易被过度解读。它们会受提示词、推理强度、上下文长度、缓存、工具调用、吞吐假设、定价日期和任务评测框架影响。

已有公开比较估算，K3每个完成任务约为0.94美元，GPT-5.6 Sol约为1.04美元。这可能说明K3在该特定设置下略有优势，但并不能证明“K3成本只有Sol一半”。20

更持久、也更有用的结论是：K3试图让超长上下文与智能体能力在更大的模型总规模下具备经济可行性。它能否在实际部署中兑现这一优势，仍取决于可复现评测，以及针对具体业务场景的成本核算。

结论

Kimi K3的技术报告提出的是一套全栈式扩展论证：

• 部署前的规模，来自一个总参数2.8万亿、每token激活约1040亿参数的MoE模型；
• 部署后的规模，来自让模型使用长上下文、工具、推理步骤和智能体轨迹的训练与服务能力。117

KDA、Gated MLA、AttnRes、Stable LatentMoE、MoonEP与RL沙箱基础设施，都是同一命题的组成部分：前沿级智能体能力需要的不只是更大的模型，还需要让更多上下文和更多测试时计算真正可用的系统设计。现有基准成绩为这条整合路线提供了积极信号，但仍应视为系统级报告结果，而非每项组件贡献的最终证明。118

月之暗面在Kimi K3技术报告中提出的，并不只是“把参数堆得更大”，而是一套双轴扩展思路：

1. 在部署前，扩大模型的总容量；
2. 在部署后，为模型投入足够的推理算力，让它能够长时间思考、调用工具、浏览网页、编写代码并修正错误。

难点在于经济性。若模型越做越大、长上下文服务成本也同步失控，那么这些能力很难落地。K3的设计目标，是在显著扩大总容量的同时，控制每生成一个token所需的计算与内存开销。1

先分清两个数字：总参数与激活参数

Kimi K3被描述为原生多模态的混合专家（MoE）模型：总参数量2.8万亿，每个token约激活1040亿参数，上下文窗口最高100万token。117

这两个参数数字回答的是不同问题：

• 总参数量：整个专家池可提供的模型容量；
• 每token激活参数量：路由后，处理当前token实际参与计算的那部分参数。

这正是MoE架构的实际价值：K3可以拥有远大于同等单步计算规模稠密模型的总体容量，却不必在每个token上运行完整的2.8万亿参数网络。1040亿激活参数本身依然非常庞大，但相比稠密2.8万亿参数模型，其单token推理负担要低得多。1

因此，月之暗面的论点并非简单的“参数越多越好”，而是通过条件计算，让更大规模的模型容量能够服务于长时程任务。

100万token上下文：注意力机制也得重做

超长上下文的难点不只在训练。传统注意力机制会随着序列变长累积计算与内存负担。K3采用混合注意力设计，将**Kimi Delta Attention（KDA）与Gated Multi-head Latent Attention（Gated MLA）**结合起来。公开资料显示，其93层主干由69层KDA和24层Gated MLA构成，基本按“三层KDA、一层MLA”的节奏排列。112

KDA：用固定状态处理持续增长的序列

KDA是K3中的线性注意力组件。与传统注意力在整个历史中保留不断增长的键值缓存不同，它使用固定大小的循环状态。其目标是避免内存状态和解码工作量随着既有上下文以传统全注意力的方式持续膨胀。1

报告还为KDA的衰减率设置了下界。这不只是建模偏好：它避免极小衰减值带来的数值计算问题，并支持更适合张量核心执行的分块实现。1

Gated MLA：保留全局检索能力

仅靠线性递归未必能实现对长上下文中任意信息的选择性全局检索。因此，K3在网络中持续保留Gated MLA层：KDA负责成本更低的持续序列处理，MLA则周期性提供全局信息检索。1

这意味着，长上下文并不只是模型卡上的一个数字。真正有价值的是模型能否在很长的输入中找到相关信息，并以可接受的成本继续生成答案。

AttnRes：让93层深度网络的信息不被“埋没”

K3的另一项架构组件是Attention Residuals（AttnRes）。该模型共有93层，报告称AttnRes允许后续层从更早的深度块中检索压缩表示，而非迫使所有信息严格逐层传递。1

可以把两者理解为不同方向的信息保障：

• KDA改善的是跨序列长度的信息流；
• AttnRes改善的是跨网络深度的信息流。

对于一个深层、且大量使用线性注意力的模型，这一配合很关键。替换昂贵的全局注意力只有在重要信息不会于层间传递中丢失或隔离时才真正有意义。1

Stable LatentMoE：用稀疏路由换取巨大容量

K3的MoE层据称包含896个可路由专家，每个token选择16个专家。16 这正是其总参数和激活参数之间巨大差距的来源。

技术报告中的Stable LatentMoE重点在于让专家路由保持稳定、均衡：它将批次层面的专家分配视为优化问题，并引入基于分位数的均衡方法。报告在给定假设下推导出一个精确最优解；但在实际部署推理时，路由器使用固定的专家偏置与常规top-k选择，而不是对每个推理批次重新求解均衡问题。1

这一区别值得注意。报告中的“最优均衡”针对的是其定义的路由优化形式，并不等于任何真实生产负载都必然在专家之间完美均分。

MoonEP：MoE能否跑起来，取决于通信

超大MoE模型还会遇到网络通信问题：被选中的token往往要跨设备发送，才能进入对应专家。如果某些专家收到的请求明显更多，最慢的通信路径就可能决定整体延迟。

月之暗面将MoonEP定位为专家并行通信的配套系统层，目的在于降低稀疏路由带来的全互连通信失衡，使大型专家池能够更可行地训练和部署。1

这也是K3论证的关键：架构、路由与通信不能割裂看待。只有三者协同，理论上的稀疏容量才可能转化为真实吞吐量。

第二条扩展轴：让模型在部署后“多想、多做”

K3的另一条轴发生在预训练之后。月之暗面描述了一套面向强化学习轨迹的基础设施，覆盖长时程任务、工具使用、编程、网页浏览和迭代式问题解决；报告也提到将多个领域与推理教师模型蒸馏进一个系统。1

其配套的轻量级虚拟机沙箱系统，旨在大规模创建、快照与恢复任务环境。报告给出的数据包括：5120万个沙箱实例、133毫秒快照、49毫秒恢复。1

战略逻辑很直接：如果模型在测试时要花更多计算做规划、调用工具、核验结果或持续执行长任务，那么训练阶段就必须让它经历足够多的类似轨迹。更低成本地暂停、分支和恢复环境，意味着能生成更多这类训练回合。

这不表示单次回答可以无限制地消耗推理算力，而是K3希望构建一种系统：新增的步骤、上下文和工具交互，能够转化为更好的任务表现，而不只依赖一个更大的预训练模型。

BrowseComp的91.2%说明了什么，又没说明什么？

Kimi K3在BrowseComp上报告的成绩为91.2%。该基准面向长时程信息检索任务；第三方排行榜同样列出K3为91.2%，但排名与评测配置会随时间变化。18

这一结果与其产品目标相符：一个强调长上下文、智能体后训练与测试时推理的模型，理应在复杂信息检索任务上接受检验。但它并不是对单项技术的干净消融实验。

单个基准分数无法告诉我们，成绩分别有多少来自KDA、AttnRes、专家路由、通信系统、RL环境、蒸馏、提示词，或推理时设置。更稳妥的解读是：报告中的系统作为整体表现不错，而不是某一项架构创新单独解释了该分数。118

与DeepSeek的比较，重点应放在架构路线

K3经常被放进与其他大型开放模型、包括DeepSeek系统的对照中。基于技术报告，更可靠的结论不是一张已经定论的“开放模型排行榜”，而是设计重点不同：月之暗面主张将超大稀疏容量、高效长上下文处理，以及面向智能体的后训练基础设施组合为一体。117

论文能够支持K3的规格与设计选择，但它本身并不能证明其他开放模型“停滞”，也不能单独确立对某个具名竞争对手的决定性架构优势。这类市场判断需要口径一致、可独立复现的比较。

成本数字必须结合配置来读

每token价格和每任务成本都很容易被过度解读。它们会受提示词、推理强度、上下文长度、缓存、工具调用、吞吐假设、定价日期和任务评测框架影响。

已有公开比较估算，K3每个完成任务约为0.94美元，GPT-5.6 Sol约为1.04美元。这可能说明K3在该特定设置下略有优势，但并不能证明“K3成本只有Sol一半”。20

更持久、也更有用的结论是：K3试图让超长上下文与智能体能力在更大的模型总规模下具备经济可行性。它能否在实际部署中兑现这一优势，仍取决于可复现评测，以及针对具体业务场景的成本核算。

结论

Kimi K3的技术报告提出的是一套全栈式扩展论证：

• 部署前的规模，来自一个总参数2.8万亿、每token激活约1040亿参数的MoE模型；
• 部署后的规模，来自让模型使用长上下文、工具、推理步骤和智能体轨迹的训练与服务能力。117

KDA、Gated MLA、AttnRes、Stable LatentMoE、MoonEP与RL沙箱基础设施，都是同一命题的组成部分：前沿级智能体能力需要的不只是更大的模型，还需要让更多上下文和更多测试时计算真正可用的系统设计。现有基准成绩为这条整合路线提供了积极信号，但仍应视为系统级报告结果，而非每项组件贡献的最终证明。118