小米 HySparse2：百万 Token 上下文如何少算一段，还能找回旧信息

多轮智能体常常只输出一小段操作，却不断收到网页、代码或工具返回的大段内容。历史越积越长，下一轮处理已有上下文的预填充就越昂贵。小米提出的 HySparse2，针对的正是这类需要反复处理长历史、又不能丢掉远处信息的任务。目前公开的是与 MiMo-V3 架构规划相关的研究，不是一次新的 MiMo-V3 开放权重发布。34

为什么长输入可以少跑一段？

HySparse2 借鉴 YOCO 思路，将模型分为处理长输入的自解码器和后续的交叉解码器。通过 KV 桥接（KV Bridging），交叉解码器中的全注意力层利用自解码器的隐藏状态构建键和值（K/V）。既有长上下文因此不必再完整经过交叉解码器：预填充走完自解码器即可结束。不过，模型随后生成新 Token 时，交叉解码器仍会参与计算。4615

第二层共享发生在交叉解码器内部。每个混合块中的稀疏层通过 KV 复用（KV Reuse），沿用前一全注意力层的 KV 缓存和 Token 选择索引，减少重复存储与重复选择。HySparse2 按单个 Token 而非整块选择信息，同时强制把近期 Token 纳入选择，以取代独立的滑动窗口注意力分支。这样，近期内容和被选中的远处内容可以共用一套缓存。4615

数据显示了什么？

在报告的同配置混合专家模型（MoE）对比中，模型总参数为 800 亿，每个 Token 约激活 30 亿参数。上下文达到 100 万 Token 时，HySparse2 的预填充浮点运算量（FLOPs）约为 Hybrid SWA 的 1/5.02；报告的 KV 缓存从 12.09 GB 降至 2.69 GB，约缩小 4.5 倍。小米还报告，HySparse2 的 MRCRv2、RULER-v2 长上下文检索成绩更高，AgentPPL 和 LongPPL 更低；相关评测报道指出，它在所评估的长上下文检索测试中领先 HySparse 和 Hybrid SWA。615

一项消融对比固定了模型骨干和注意力预算，只把“按块选择”改为“按 Token 选择”。在 32k Token 及以下的测试中，RULER-v2 提高 6.57 个百分点，双线索 MRCR-v2 提高 8.14 个百分点，GraphWalks 提高 5.55 个百分点。这支持更细粒度选择在该设置下有益，但不能据此分别算出 KV 桥接、KV 复用或近期强制窗口各自贡献了多少。6

这些材料尚不能给出百万 Token 下 HySparse 与 HySparse2 的数值差距，也不能证明同等收益已延续到更大模型规模。引述材料没有说明 2.69 GB 所用的缓存精度，因此不能把它称为经核实的“FP8 缓存”数据。FLOPs 和缓存容量也不等于实测线上延迟。615