Naive-N0.5-Flash combina MoE, contexto de 1 milhão de tokens e o sistema NaiveRT

O Naive-N0.5-Flash é um modelo de pesos abertos da NaiveAI, voltado a programação e pesquisa e desenvolvimento em inteligência artificial. A proposta reúne uma arquitetura de mistura de especialistas (MoE) com 309 bilhões de parâmetros, uma janela de contexto nativa anunciada de 1 milhão de tokens e um sistema próprio de inferência, o NaiveRT.24

Um detalhe importante: os 15,5 bilhões de parâmetros ativos por token não são o tamanho total do modelo. Esse número descreve a parte da arquitetura MoE acionada para cada token; o total continua sendo de 309 bilhões. A empresa informa que os pesos do modelo e o código de inferência são publicados sob a licença MIT.47

Como funciona a arquitetura MoE de 309 bilhões

Em um modelo de mistura de especialistas, nem todos os parâmetros precisam participar de cada etapa do processamento. No caso do Naive-N0.5-Flash, a ficha técnica informa 309 bilhões de parâmetros no total e 15,5 bilhões ativos por token.2 Portanto, “ativos” se refere ao cálculo usado em cada token, não ao número total de parâmetros do modelo.

A NaiveAI apresenta o modelo como uma ferramenta para programação e pesquisa e desenvolvimento em IA. Ele dá continuidade ao treinamento a partir do modelo-base MiMo-V2.5, da Xiaomi, em vez de ter sido criado inteiramente do zero.12

Contexto de 1 milhão de tokens sem atenção plena

A NaiveAI afirma que o modelo oferece uma janela de contexto nativa de 1 milhão de tokens com uma combinação de atenção de janela deslizante (SWA, na sigla em inglês) e atenção esparsa DeepSeek (DSA). Segundo os materiais do modelo, a arquitetura usa predominantemente uma proporção de 5:1 entre camadas SWA e DSA e não inclui camadas de atenção plena.27

Em termos gerais, a SWA prioriza uma janela local de informações, enquanto a DSA usa um mecanismo esparso para lidar com relações mais distantes no contexto. Essa combinação foi concebida para trabalhar com sequências longas sem recorrer a camadas de atenção plena. A janela de 1 milhão de tokens é uma capacidade anunciada pela empresa; por si só, ela não demonstra que todo tipo de tarefa terá o mesmo desempenho nesse limite.

O que significam as velocidades do NaiveRT

O NaiveRT é o sistema de inferência lançado junto com o modelo. A NaiveAI diz que ele combina fusão de mega-kernels, Programmatic Dependent Launch (PDL) e decodificação especulativa. A empresa informa 50 tokens por segundo por usuário no modo Standard e até 2.000 tokens por segundo no modo Ultrafast.2

Esses números são velocidades divulgadas pela própria empresa, não uma garantia de desempenho em qualquer equipamento ou situação. Além disso, a taxa por usuário no modo Standard e o máximo anunciado para o Ultrafast são medidas distintas — não devem ser interpretadas como uma única velocidade esperada para todos os usos.2

O que vale observar

O Naive-N0.5-Flash chama atenção pela combinação anunciada: pesos abertos sob licença MIT, ativação esparsa em um modelo MoE de 309 bilhões de parâmetros, contexto nativo de 1 milhão de tokens sem camadas de atenção plena e um sistema de inferência dedicado.247

Para avaliar se ele serve a um projeto específico, vale separar essas especificações das evidências de qualidade em tarefas e do desempenho na infraestrutura disponível. Os materiais citados descrevem as capacidades e velocidades declaradas para o lançamento, mas não comprovam, por si só, resultados em um fluxo particular de programação ou pesquisa.