Wat is Naive-N0.5-Flash? NaiveAI’s model met een context van één miljoen tokens

Naive-N0.5-Flash is een open-weightsmodel van NaiveAI, gericht op programmeren en AI-onderzoek en -ontwikkeling. De opvallendste combinatie volgens het bedrijf: 309 miljard parameters in totaal, 15,5 miljard actieve parameters per token, een native contextvenster van één miljoen tokens en een eigen inferentiesysteem, NaiveRT.24

Dat onderscheid tussen totaal en actief is belangrijk: 15,5 miljard actieve parameters betekent niet dat het model in totaal maar zo groot is. Het beschrijft hoeveel parameters bij de verwerking van een token worden ingezet. NaiveAI zegt de modelgewichten en inferentiecode onder de MIT-licentie beschikbaar te stellen.47

Hoe werkt de MoE-architectuur?

Naive-N0.5-Flash is een mixture-of-expertsmodel, kortweg MoE. Zo’n model gebruikt voor ieder token slechts een deel van zijn totale parameters. Volgens de modelkaart telt het 309 miljard parameters, met 15,5 miljard actief per token.2 De actieve hoeveelheid zegt dus iets over de berekening tijdens gebruik, niet over het totale aantal parameters.

NaiveAI richt het model op programmeertaken en AI-onderzoek en -ontwikkeling. Het is verder getraind op basis van Xiaomi’s MiMo-V2.5 en wordt niet gepresenteerd als een model dat volledig vanaf nul is opgebouwd.12

Een context van één miljoen tokens, zonder full attention

NaiveAI zegt dat het model native een contextvenster van één miljoen tokens aankan. Daarvoor combineert het Sliding-Window Attention (SWA) met een lichtere variant van DeepSeek Sparse Attention (DSA), zonder full-attentionlagen. De modeldocumentatie omschrijft de opbouw als overwegend een verhouding van 5:1 tussen SWA- en DSA-lagen.27

In grote lijnen richt SWA zich op een lokaal venster rond de tekst die wordt verwerkt. DSA gebruikt een spaarzame aandachtsmethode om ook informatie op grotere afstand mee te nemen. Het ontwerp moet lange contexten ondersteunen zonder full-attentionlagen. Een opgegeven contextlengte van één miljoen tokens betekent op zichzelf niet dat het model elke taak met zo’n lange invoer even goed uitvoert.

Wat zeggen de snelheidscijfers van NaiveRT?

NaiveRT is het inferentiesysteem dat NaiveAI samen met het model presenteert. Volgens het bedrijf gebruikt het onder meer mega-kernel fusion, Programmatic Dependent Launch (PDL) en speculatief decoderen. NaiveAI meldt 50 tokens per seconde per gebruiker in Standard-modus en maximaal 2.000 tokens per seconde in Ultrafast-modus.2

Dat zijn cijfers die door de leverancier zijn opgegeven, geen garantie voor de snelheid in iedere omgeving of bij elke taak. De Standard-waarde is bovendien per gebruiker, terwijl de Ultrafast-waarde een maximum betreft. Het gaat dus niet om twee rechtstreeks vergelijkbare metingen of één snelheid die iedereen kan verwachten.2

De kern

Naive-N0.5-Flash valt op door de combinatie van open modelgewichten onder de MIT-licentie, een MoE-model met 309 miljard parameters en spaarzame activatie, een opgegeven native context van één miljoen tokens en een eigen inferentiesysteem.247 Voor wie het model wil beoordelen, is het verstandig die specificaties te onderscheiden van bewezen prestaties: de release beschrijft de mogelijkheden en snelheidsclaims van NaiveAI, maar die vormen op zichzelf geen bewijs voor resultaten in een specifieke programmeer- of onderzoeksworkflow.