HySparse2: меньше вычислений на длинном контексте без отказа от поиска по истории

Когда ИИ-агент многократно обращается к инструментам, к его истории добавляются длинные ответы — например, результаты поиска или содержимое файлов. Перед следующим ответом модели приходится обрабатывать всё более объёмный контекст. HySparse2 — предложенная Xiaomi архитектура, призванная уменьшить затраты на эту предварительную обработку, или prefill, сохранив возможность обращаться и к недавним, и к далёким фрагментам истории. Опубликована работа об архитектуре, связанной с планами для MiMo-V3; она не означает выпуск новых открытых весов MiMo-V3. 34

Почему длинный ввод не проходит через всю модель

HySparse2 делит модель по принципу YOCO на self-decoder и cross-decoder. Первая часть обрабатывает длинный ввод. Благодаря механизму KV Bridging слои полного внимания во второй части строят пары «ключ — значение» (K/V) из внутренних состояний первой. Поэтому предварительную обработку уже имеющегося длинного контекста можно завершить после self-decoder, не пропуская его повторно через cross-decoder. При генерации новых токенов вторая часть продолжает работать. 4615

Есть и второй уровень совместного использования — KV Reuse. В каждом гибридном блоке разреженные слои используют KV-кеш предшествующего слоя полного внимания и уже полученные индексы выбранных токенов. Выбор идёт по отдельным токенам, а не по целым блокам. При этом недавние токены обязательно включаются в выборку: так модель сохраняет доступ к ближайшему контексту без отдельной ветки внимания со скользящим окном (SWA). Близкие и выбранные далёкие токены используют один кеш. 4615

Что показывают сравнения

В опубликованном сравнении конфигураций MoE — моделей, где на каждый токен задействуется лишь часть параметров, — речь идёт о 80 млрд параметров всего и примерно 3 млрд активных на токен. При длине контекста 1 млн токенов HySparse2 требует в 5,02 раза меньше операций prefill, чем Hybrid SWA. Указанный объём KV-кеша составляет 2,69 ГБ против 12,09 ГБ, то есть примерно в 4,5 раза меньше. Также сообщается о более высоких результатах поиска по длинному контексту в MRCR-v2 и RULER-v2 и более низких показателях AgentPPL и LongPPL. По описанию оценки, в проверенных тестах поиска HySparse2 опережает и HySparse, и Hybrid SWA. 615

Отдельный эксперимент помогает оценить пользу выбора отдельных токенов: при неизменных базовой архитектуре и бюджете внимания замена выбора блоков на выбор токенов дала на тестах с контекстом до 32 тыс. токенов включительно прирост на 6,57 процентного пункта в RULER-v2, 8,14 пункта в двухигольном MRCR-v2 и 5,55 пункта в GraphWalks. Этот результат не позволяет по отдельности оценить вклад KV Bridging, KV Reuse или обязательного включения недавних токенов. 6

У приведённых данных есть границы: они не дают численного сравнения HySparse и HySparse2 именно на миллионе токенов и не подтверждают сохранение выигрыша при большем масштабе модели. В доступных описаниях также не указана точность хранения, на которой получено значение 2,69 ГБ, — называть его подтверждённым результатом для FP8 нельзя. Наконец, число операций и объём кеша не равны измеренному времени ответа в работающем сервисе. 615