Hva er Naive-N0.5-Flash? NaiveAIs modell med 309 milliarder parametere

Naive-N0.5-Flash er NaiveAIs modell med åpne vekter, rettet mot koding og forskning og utvikling innen kunstig intelligens. Modellen har 309 milliarder parametere totalt, men aktiverer 15,5 milliarder for hvert token. NaiveAI oppgir også at den støtter et innebygd kontekstvindu på én million tokens, og lanserte den sammen med inferenssystemet NaiveRT.24

Det er viktig å skille mellom modellens totale størrelse og hvor mange parametere som er aktive når den behandler tekst. At 15,5 milliarder aktiveres per token, betyr ikke at modellen bare har 15,5 milliarder parametere. NaiveAI oppgir at modellvektene og inferenskoden er utgitt under MIT-lisens.47

Slik fungerer MoE-modellen

MoE står for «mixture of experts», eller en blanding av eksperter. I slike modeller brukes bare deler av parameterne for hvert token, i stedet for at hele modellen aktiveres hver gang. Naive-N0.5-Flash har 309 milliarder parametere totalt og 15,5 milliarder aktive per token, ifølge modellkortet.2

NaiveAI retter modellen mot koding og AI-forskning og -utvikling. Den er videre trent fra Xiaomis MiMo-V2.5, og er altså ikke presentert som en modell bygget helt fra bunnen av.12

Én million tokens uten fulloppmerksomhetslag

NaiveAI sier at modellen støtter et innebygd kontekstvindu på én million tokens ved å kombinere glidende vindusoppmerksomhet (SWA) med en lett variant av DeepSeek Sparse Attention (DSA). Ifølge modellmaterialet er oppsettet hovedsakelig fordelt i forholdet 5:1 mellom SWA og DSA, og har ingen lag med full oppmerksomhet.27

Kort fortalt retter SWA oppmerksomheten mot et nærliggende utsnitt av teksten, mens DSA er en sparsom metode for å hente inn informasjon fra lengre avstand. Hensikten er å håndtere lange kontekster uten fulloppmerksomhetslag. At modellen oppgis å ha et kontekstvindu på én million tokens, betyr imidlertid ikke i seg selv at den presterer like godt på alle oppgaver med svært lange tekster.

Hva betyr hastighetstallene for NaiveRT?

NaiveRT er inferenssystemet NaiveAI lanserte sammen med modellen. Selskapet trekker fram sammenslåing av megakjerner, Programmatic Dependent Launch (PDL) og spekulativ dekoding som deler av systemet. NaiveAI oppgir en hastighet på 50 tokens per sekund per bruker i Standard-modus og opptil 2 000 tokens per sekund i Ultrafast-modus.2

Dette er hastighetstall fra leverandøren, ikke en garanti for hva brukere vil oppleve i alle oppsett. Tallene beskriver dessuten ulike moduser: Standard-tallet gjelder per bruker, mens Ultrafast-tallet er en oppgitt topphastighet. De bør derfor ikke leses som to direkte sammenlignbare målinger eller som én forventet hastighet.2

Kort oppsummert

Naive-N0.5-Flash kombinerer åpne modellvekter under MIT-lisens med sparsom aktivering i en MoE-modell på 309 milliarder parametere, et oppgitt kontekstvindu på én million tokens og en egen inferensløsning.247 Når modellen skal vurderes i praksis, er det lurt å skille mellom spesifikasjonene NaiveAI oppgir, kvaliteten på konkrete oppgaver og ytelsen i et faktisk driftsoppsett. Tallene i lanseringsmaterialet dokumenterer ikke i seg selv hvordan modellen vil fungere i en bestemt arbeidsflyt for koding eller forskning.