Hvad er Naive-N0.5-Flash? Her er modellen bag tallene

Naive-N0.5-Flash er NaiveAI’s model med åbne vægte, udviklet med fokus på programmering og forskning og udvikling inden for AI. Modellen kombinerer en samlet størrelse på 309 mia. parametre med en million tokens i konteksten, ifølge virksomheden, samt en særlig inferensløsning kaldet NaiveRT.24

Et centralt skel er, at modellen har 309 mia. parametre i alt, men kun 15,5 mia. er aktive for hvert token. Det betyder ikke, at modellen kun består af 15,5 mia. parametre: tallet beskriver, hvor stor en del af modellen der bruges i beregningen for det enkelte token. Vægtene og inferenskoden er ifølge udgivelsesmaterialet frigivet under MIT-licensen.247

Sådan skal 309 mia. og 15,5 mia. forstås

Naive-N0.5-Flash bruger en såkaldt mixture-of-experts-arkitektur (MoE). Den aktiverer kun en del af modellens samlede parametre ad gangen. Ifølge modelbeskrivelsen har den 309 mia. parametre i alt og 15,5 mia. aktive pr. token.2

NaiveAI retter modellen mod programmering og AI-forskning og -udvikling. Den er videreudviklet med udgangspunkt i Xiaomis MiMo-V2.5 – den er altså ikke præsenteret som en model, der er trænet helt fra bunden.12

Millionlang kontekst uden fuld attention

NaiveAI oplyser, at modellen har en indbygget kontekst på én million tokens. Det skal efter virksomhedens beskrivelse lade sig gøre med en kombination af sliding-window attention (SWA) og en let udgave af DeepSeek Sparse Attention (DSA), uden lag med fuld attention. Arkitekturen beskrives som overvejende en fordeling på 5:1 mellem SWA og DSA.27

Kort fortalt fokuserer SWA på et afgrænset udsnit af teksten, mens DSA er en sparsom attention-mekanisme, der skal kunne håndtere sammenhænge over længere afstande. Ideen er at understøtte lange kontekster uden at bruge fuld attention i alle lag. En oplyst kontekstgrænse på én million tokens er dog en teknisk kapacitet – ikke i sig selv dokumentation for, at alle opgaver fungerer lige godt ved den længde.

Hvad betyder hastighedstallene for NaiveRT?

NaiveRT er inferenssystemet, der blev lanceret sammen med modellen. NaiveAI nævner blandt andet sammensmeltning af flere operationer i såkaldte mega-kernels, Programmatic Dependent Launch (PDL) og spekulativ afkodning. Virksomheden opgiver 50 tokens i sekundet pr. bruger i Standard-tilstand og op til 2.000 tokens i sekundet i Ultrafast-tilstand.2

Det er tal, virksomheden selv opgiver for systemet – ikke en garanti for den hastighed, alle brugere vil opleve. Standard-tallet er angivet pr. bruger, mens Ultrafast-tallet er et maksimum. De bør derfor ikke læses som to direkte sammenlignelige målinger eller som én forventet hastighed.2

Det vigtigste at tage med

Naive-N0.5-Flash skiller sig især ud ved kombinationen af åbne vægte under MIT-licensen, sparsom aktivering i en MoE-model på 309 mia. parametre, en påstået indbygget kontekst på én million tokens og et dedikeret inferenssystem.247

Når modellen skal vurderes i praksis, er det værd at skelne mellem specifikationer og dokumenterede resultater. Udgivelsesmaterialet beskriver modellens funktioner og NaiveAI’s hastighedspåstande, men de oplysninger alene viser ikke, hvordan modellen vil klare sig i en bestemt programmerings- eller forskningsopgave.