Что такое Naive-N0.5-Flash и чем примечательна модель NaiveAI

Naive-N0.5-Flash — модель компании NaiveAI с открытыми весами, ориентированная на программирование и исследования и разработки в области искусственного интеллекта. В её характеристиках сочетаются 309 млрд параметров, контекстное окно до миллиона токенов и собственная система инференса — то есть выполнения модели при генерации ответа — под названием NaiveRT.24

Важная оговорка: 15,5 млрд активных параметров — не общий размер модели. Это число параметров, задействованных для обработки каждого токена в архитектуре MoE. Компания также сообщает, что веса модели и код для инференса распространяются по лицензии MIT.47

Почему параметров 309 млрд, а активны только 15,5 млрд

MoE — это архитектура «смеси экспертов»: для обработки конкретного токена модель использует не все свои параметры, а только выбранную их часть. У Naive-N0.5-Flash их 309 млрд в общей сложности и 15,5 млрд активных на токен.2

NaiveAI позиционирует модель для задач программирования и исследований в области ИИ. Она не создана с нуля: разработчики продолжили обучение на базе MiMo-V2.5 от Xiaomi.12

Как устроен контекст на миллион токенов

По описанию NaiveAI, модель способна работать с контекстом до 1 млн токенов благодаря сочетанию двух механизмов внимания: Sliding-Window Attention (SWA), или внимания со скользящим окном, и облегчённого DeepSeek Sparse Attention (DSA), разреженного внимания, связанного с разработками DeepSeek. Слоёв полного внимания в модели нет; компоновка преимущественно следует соотношению SWA и DSA примерно 5:1.27

Упрощённо, SWA сосредотачивается на ближайшем фрагменте текста, а DSA помогает учитывать более удалённые части контекста выборочно. Такая схема задумана для работы с длинными последовательностями без слоёв, где каждый токен напрямую сопоставляется со всеми остальными. При этом заявленная длина окна сама по себе не означает, что модель одинаково хорошо справится с любой задачей на всём миллионном контексте.

Что означают цифры скорости NaiveRT

NaiveRT — система инференса, выпущенная вместе с моделью. В числе используемых приёмов NaiveAI называет объединение операций в крупные ядра (mega-kernel fusion), Programmatic Dependent Launch (PDL) и спекулятивное декодирование. По данным компании, режим Standard обеспечивает 50 токенов в секунду на пользователя, а режим Ultrafast — скорость до 2 000 токенов в секунду.2

Это заявленные компанией показатели, а не обещание такой скорости в любой конфигурации и для каждой задачи. Кроме того, цифра Standard указана на одного пользователя, тогда как 2 000 токенов в секунду — верхний показатель режима Ultrafast. Их не стоит воспринимать как два сопоставимых замера или как гарантированную скорость для конкретного пользователя.2

Что важно учитывать

Naive-N0.5-Flash выделяется сочетанием заявленных характеристик: открытых весов и кода под лицензией MIT, MoE-модели на 309 млрд параметров с разреженной активацией, контекста до миллиона токенов без слоёв полного внимания и отдельной системы инференса.247

Однако характеристики модели и скорость системы — не то же самое, что подтверждённое качество в конкретной работе. Описание релиза сообщает о возможностях и заявленных показателях; само по себе оно не доказывает, что модель подойдёт для любого проекта по программированию или исследованию ИИ.