Naive-N0.5-Flash por dentro: 309.000 millones de parámetros y contexto de un millón de tokens

Naive-N0.5-Flash es un modelo de pesos abiertos de NaiveAI pensado para programación e investigación y desarrollo de inteligencia artificial. Su propuesta reúne una arquitectura de mezcla de expertos (MoE) con 309.000 millones de parámetros, un contexto nativo de un millón de tokens y un sistema de inferencia propio llamado NaiveRT.24

Una distinción importante: los 15.500 millones de parámetros activos por token no son el tamaño total del modelo. Esa cifra indica cuántos parámetros se activan para procesar cada token dentro de la arquitectura dispersa. NaiveAI publica los pesos y el código de inferencia bajo la licencia MIT.47

Qué significa la arquitectura de 309.000 millones

En un modelo MoE, no se utiliza el conjunto completo de parámetros para cada token: se activa solo una parte. Según la ficha técnica, Naive-N0.5-Flash suma 309.000 millones de parámetros en total y activa 15.500 millones por token.2 Por tanto, la cifra de parámetros activos describe el cálculo que se realiza, no el tamaño total del modelo.

NaiveAI lo orienta a tareas de programación e I+D en IA. En lugar de presentarlo como un modelo creado desde cero, la empresa señala que parte de MiMo-V2.5, el modelo base de Xiaomi.12

Cómo aborda un contexto de un millón de tokens

NaiveAI afirma que el modelo admite de forma nativa un contexto de un millón de tokens mediante una combinación de atención de ventana deslizante (SWA, por sus siglas en inglés) y DeepSeek Sparse Attention (DSA), sin capas de atención completa. La ficha del modelo describe una distribución predominantemente de cinco capas SWA por cada capa DSA.27

En términos generales, la SWA concentra la atención en una ventana local, mientras que DSA aplica un mecanismo disperso para atender información más lejana. La combinación busca manejar contextos largos sin recurrir a capas de atención completa. La ventana de un millón de tokens es una capacidad declarada por la compañía; por sí sola, no demuestra que el modelo rinda igual de bien en todas las tareas con textos extensos.

Qué dicen —y qué no— las cifras de NaiveRT

NaiveRT es el sistema de inferencia que NaiveAI lanzó junto con el modelo. Según la empresa, combina fusión de megakernels, Programmatic Dependent Launch (PDL) y decodificación especulativa. NaiveAI informa una velocidad de 50 tokens por segundo por usuario en modo Standard y de hasta 2.000 tokens por segundo en modo Ultrafast.2

Son cifras comunicadas por el proveedor, no una garantía de rendimiento para cualquier equipo, configuración o tarea. Además, corresponden a modos distintos: la cifra de Standard es por usuario, mientras que la de Ultrafast se presenta como un máximo. No deben interpretarse como mediciones equivalentes ni como una velocidad única esperable.2

La lectura práctica

Naive-N0.5-Flash destaca por la combinación que propone: pesos abiertos bajo licencia MIT, activación dispersa en un modelo MoE de 309.000 millones de parámetros, un contexto nativo de un millón de tokens sin capas de atención completa y un sistema de inferencia propio.247 Para valorar su utilidad, conviene separar esas especificaciones de la calidad demostrada en tareas concretas y del rendimiento que se obtenga al implementarlo. La información citada describe las capacidades y velocidades que declara NaiveAI, pero no basta por sí sola para anticipar los resultados en un flujo de trabajo específico de programación o investigación.