Naive-N0.5-Flash, il modello da 309 miliardi con una finestra di contesto da un milione di token

Naive-N0.5-Flash è il modello open-weight di NaiveAI pensato per la programmazione e la ricerca e sviluppo sull’intelligenza artificiale. La sua combinazione più rilevante: 309 miliardi di parametri totali, 15,5 miliardi attivi per token, una finestra di contesto dichiarata da un milione di token e un sistema di inferenza dedicato, chiamato NaiveRT.24

Il dato da non confondere è quello dei parametri attivi: 15,5 miliardi non è la dimensione totale del modello, ma la parte coinvolta nell’elaborazione di ciascun token. NaiveAI dichiara inoltre di distribuire i pesi e il codice di inferenza con licenza MIT.47

Che cosa significa un modello MoE da 309 miliardi

MoE, acronimo di mixture of experts (miscela di esperti), indica un’architettura che attiva solo una parte dei parametri per elaborare ciascun token. Nel caso di Naive-N0.5-Flash, il totale è di 309 miliardi, mentre quelli attivi per token sono 15,5 miliardi, secondo la scheda del modello.2

NaiveAI lo presenta come uno strumento per coding e ricerca sull’IA. Non è stato addestrato interamente da zero: il modello prosegue l’addestramento partendo dalla base MiMo-V2.5 di Xiaomi.12

Un milione di token senza livelli di attenzione completa

NaiveAI dichiara che il modello supporta nativamente un contesto da un milione di token grazie a una combinazione di Sliding-Window Attention (SWA) e DeepSeek Sparse Attention (DSA) leggera. L’architettura non include livelli di attenzione completa e viene descritta come composta prevalentemente da SWA e DSA in rapporto 5:1.27

In breve, la SWA concentra l’attenzione su una finestra locale, mentre la DSA adotta un meccanismo sparso per tenere conto anche di informazioni più distanti. L’obiettivo è gestire contesti molto lunghi senza ricorrere all’attenzione completa. La finestra da un milione di token è una capacità dichiarata: da sola, non dimostra che il modello ottenga risultati altrettanto efficaci in ogni attività che richiede un contesto esteso.

Le velocità dichiarate per NaiveRT

NaiveRT è il sistema di inferenza presentato insieme al modello. Tra le tecniche indicate da NaiveAI ci sono la fusione di mega-kernel, il Programmatic Dependent Launch (PDL) e la decodifica speculativa. L’azienda dichiara 50 token al secondo per utente in modalità Standard e fino a 2.000 token al secondo in modalità Ultrafast.2

Sono valori comunicati dal produttore, non una garanzia sulle prestazioni in ogni configurazione o carico di lavoro. Inoltre, il dato Standard è espresso per utente, mentre quello Ultrafast è un massimo: non sono misure direttamente equivalenti e non vanno interpretate come un’unica velocità attesa.2

In sintesi

Naive-N0.5-Flash riunisce pesi aperti con licenza MIT, attivazione sparsa in un modello MoE da 309 miliardi di parametri, contesto nativo dichiarato da un milione di token e un sistema di inferenza dedicato.247 Per valutarlo, è utile distinguere queste specifiche dalle prestazioni effettive: i materiali citati descrivono le capacità e le velocità dichiarate da NaiveAI, ma non bastano da soli a stabilire come si comporterà in uno specifico progetto di programmazione o ricerca.