Naive-N0.5-Flash: 309 млрд параметрів, контекст на 1 млн токенів і власний рушій

Naive-N0.5-Flash — відкрита модель NaiveAI для програмування та досліджень і розробок у сфері штучного інтелекту. Її головні заявлені особливості — 309 млрд параметрів, із яких активними є 15,5 млрд на токен, контекстне вікно на 1 млн токенів і власна система інференсу NaiveRT.24

Важливо розрізняти загальну кількість параметрів і ті, що задіюються під час обробки конкретного токена. Показник 15,5 млрд не означає, що вся модель має лише стільки параметрів. Ваги моделі та код для інференсу, згідно з матеріалами NaiveAI, опубліковані за ліцензією MIT.47

Як працює модель MoE на 309 млрд параметрів

Naive-N0.5-Flash використовує архітектуру суміші експертів (mixture of experts, MoE): для обробки токена задіюється лише частина параметрів моделі. У модельній картці вказано 309 млрд параметрів загалом і 15,5 млрд активних на токен.2 Отже, число активних параметрів описує обчислення під час роботи, а не повний розмір моделі.

NaiveAI позиціює модель як інструмент для програмування та досліджень і розробок у сфері ШІ. Її створили на базі MiMo-V2.5 від Xiaomi, продовживши навчання, а не розробляючи модель цілком із нуля.12

Контекст на 1 млн токенів без повноуважних шарів

За словами NaiveAI, модель нативно підтримує контекстне вікно на 1 млн токенів завдяки поєднанню ковзного вікна уваги (sliding-window attention, SWA) та полегшеного механізму розрідженої уваги DeepSeek (DeepSeek Sparse Attention, DSA). У ній немає повноуважних шарів; за описом компанії, співвідношення SWA до DSA переважно становить 5:1.27

У спрощеному вигляді SWA зосереджується на локальному фрагменті тексту, а DSA забезпечує розріджений механізм роботи з віддаленішим контекстом. Такий підхід покликаний підтримувати довгий контекст без повноуважних шарів. Заявлена місткість у 1 млн токенів — це характеристика моделі, але сама по собі вона не доводить, що будь-яке завдання на такій довжині буде виконано однаково добре.

Що означають показники швидкості NaiveRT

NaiveRT — система інференсу, яку NaiveAI представила разом із моделлю. Серед її методів компанія називає об’єднання операцій у мегаядра, Programmatic Dependent Launch (PDL) і спекулятивне декодування. За даними NaiveAI, у стандартному режимі система забезпечує 50 токенів за секунду на користувача, а в режимі Ultrafast швидкість може сягати 2 000 токенів за секунду.2

Це показники, наведені розробником, а не гарантія швидкодії в кожній конфігурації чи для будь-якого завдання. Також компанія розрізняє результат на одного користувача у стандартному режимі та максимальне значення Ultrafast, тому ці цифри не варто сприймати як два рівнозначні виміри або єдину очікувану швидкість.2

Що варто мати на увазі

Naive-N0.5-Flash вирізняється поєднанням заявлених характеристик: відкритими вагами за ліцензією MIT, розрідженою активацією в моделі MoE на 309 млрд параметрів, нативним контекстом на 1 млн токенів без повноуважних шарів і окремою системою для інференсу.247

Оцінюючи реліз, варто відокремлювати технічні характеристики та заяви про швидкість від перевіреної якості на конкретних завданнях і реальної продуктивності під час розгортання. Наведені матеріали описують можливості моделі й показники, заявлені компанією, але самі по собі не визначають, як вона працюватиме в певному процесі програмування чи досліджень.