Czym jest Naive-N0.5-Flash? Model MoE, milion tokenów kontekstu i NaiveRT

Naive-N0.5-Flash to model NaiveAI z otwartymi wagami, przeznaczony do programowania oraz badań i rozwoju sztucznej inteligencji. Jego najważniejsze deklarowane cechy to 309 mld parametrów w architekturze mixture of experts (MoE), 15,5 mld parametrów aktywnych na token, natywne okno kontekstu o długości miliona tokenów i własny system wnioskowania NaiveRT.24

Warto rozróżnić całkowitą liczbę parametrów od liczby aktywowanych podczas przetwarzania tokenu. Wartość 15,5 mld opisuje obliczenia w rzadkiej architekturze MoE, a nie całkowity rozmiar modelu. NaiveAI podaje też, że wagi i kod systemu wnioskowania udostępniono na licencji MIT.47

Jak działa model MoE z 309 mld parametrów?

W modelu typu mixture of experts na każdy token przypada tylko część całego zestawu parametrów. Według karty modelu Naive-N0.5-Flash ma łącznie 309 mld parametrów, ale aktywuje 15,5 mld na token.2 Nie oznacza to więc, że cały model ma 15,5 mld parametrów.

NaiveAI kieruje model do zadań programistycznych oraz prac badawczo-rozwojowych nad AI. Nie powstał on całkowicie od podstaw: firma rozwijała go na bazie MiMo-V2.5 firmy Xiaomi.12

Milion tokenów kontekstu bez warstw pełnej uwagi

NaiveAI deklaruje natywne okno kontekstu o długości miliona tokenów. Ma je umożliwiać połączenie uwagi z przesuwanym oknem (SWA, Sliding-Window Attention) z lekkim mechanizmem DeepSeek Sparse Attention (DSA), bez stosowania warstw pełnej uwagi. W materiałach modelu opisano układ składający się głównie z warstw SWA i DSA w proporcji 5:1.27

W uproszczeniu SWA skupia się na lokalnym fragmencie tekstu, a DSA zapewnia rzadki mechanizm uwagi dla dalszego kontekstu. Taka konstrukcja ma obsługiwać długie konteksty bez warstw pełnej uwagi. Deklarowane okno miliona tokenów opisuje możliwości modelu, ale samo w sobie nie dowodzi, że będzie on równie skuteczny w każdym zadaniu wykorzystującym bardzo długi kontekst.

Co oznaczają deklaracje o szybkości NaiveRT?

NaiveRT to system wnioskowania udostępniony razem z modelem. NaiveAI wymienia wśród zastosowanych technik fuzję mega-kernel, Programmatic Dependent Launch (PDL) oraz dekodowanie spekulatywne. Firma podaje szybkość 50 tokenów na sekundę na użytkownika w trybie Standard oraz do 2000 tokenów na sekundę w trybie Ultrafast.2

To wartości podawane przez producenta, a nie gwarancja szybkości w każdym środowisku i dla każdego zadania. Firma rozróżnia wynik na użytkownika w trybie Standard od maksymalnej wartości dla Ultrafast, dlatego nie należy traktować ich jako dwóch porównywalnych pomiarów ani jednej typowej prędkości.2

Co warto zapamiętać?

Naive-N0.5-Flash łączy kilka deklarowanych cech: wagi na licencji MIT, rzadką aktywację w modelu MoE z 309 mld parametrów, milionowe natywne okno kontekstu bez warstw pełnej uwagi oraz dedykowany system obsługi.247 Przy ocenie modelu warto oddzielić specyfikację od jakości w praktyce: materiały źródłowe opisują możliwości i szybkości deklarowane przez NaiveAI, ale same w sobie nie przesądzają o wynikach w konkretnym zadaniu programistycznym czy badawczym.