Naive-N0.5-Flash : ce que promet le modèle de NaiveAI

Naive-N0.5-Flash est le modèle à poids ouverts de NaiveAI destiné au code et à la recherche-développement en intelligence artificielle. Il se distingue par trois caractéristiques annoncées : une architecture à mélange d’experts (MoE) de 309 milliards de paramètres, une fenêtre de contexte native d’un million de tokens et un système d’inférence maison, NaiveRT.24

Le chiffre à retenir pour comprendre son fonctionnement est aussi celui des 15,5 milliards de paramètres actifs par token. Il ne signifie pas que le modèle ne compte que 15,5 milliards de paramètres : c’est la part mobilisée pour traiter chaque token dans cette architecture sparse. NaiveAI indique que les poids et le code d’inférence sont publiés sous licence MIT.247

309 milliards de paramètres, mais 15,5 milliards actifs

Dans un modèle MoE, tous les paramètres ne sont pas sollicités à chaque étape : le calcul mobilise une partie du modèle selon le token traité. Naive-N0.5-Flash totalise 309 milliards de paramètres, avec 15,5 milliards actifs par token, selon sa fiche de modèle.2

NaiveAI le présente comme un modèle pour le code et la R&D en IA. Il s’appuie sur MiMo-V2.5, le modèle de base de Xiaomi, auquel un entraînement supplémentaire a été appliqué ; il n’est donc pas présenté comme ayant été créé entièrement à partir de zéro.12

Un contexte d’un million de tokens sans attention complète

Pour gérer sa fenêtre de contexte annoncée d’un million de tokens, le modèle combine l’attention à fenêtre glissante (Sliding-Window Attention, ou SWA) et l’attention creuse DeepSeek (DeepSeek Sparse Attention, ou DSA). NaiveAI précise que l’architecture ne comporte pas de couche d’attention complète et décrit une organisation principalement fondée sur un ratio de 5 couches SWA pour 1 couche DSA.27

En pratique, la SWA concentre l’attention sur une fenêtre locale, tandis que la DSA fournit un mécanisme sparse pour traiter des informations plus éloignées. Cette conception vise à prendre en charge de longs contextes sans recourir à des couches qui mettent en relation tous les tokens entre eux. La capacité annoncée ne garantit toutefois pas, à elle seule, des résultats identiques sur toutes les tâches faisant appel à un contexte très long.

NaiveRT : distinguer les deux chiffres de vitesse

NaiveRT est le système d’inférence publié avec le modèle. NaiveAI cite parmi ses techniques la fusion de méga-kernels, le Programmatic Dependent Launch (PDL) et le décodage spéculatif.2

L’entreprise annonce 50 tokens par seconde et par utilisateur en mode Standard, et jusqu’à 2 000 tokens par seconde en mode Ultrafast.2 Ce sont des chiffres communiqués par le fournisseur, pas une vitesse garantie dans chaque configuration. Les deux valeurs correspondent à des modes différents : le maximum Ultrafast ne doit donc pas être interprété comme le débit attendu pour tout utilisateur.

Ce qu’il faut retenir

Naive-N0.5-Flash réunit des poids ouverts sous licence MIT, une architecture MoE de grande taille mais à activation sparse, un contexte natif annoncé d’un million de tokens et un runtime dédié.247 Pour l’évaluer, il est utile de distinguer ces spécifications des performances réelles sur une tâche donnée : les caractéristiques et les vitesses citées ici sont celles annoncées dans les documents de lancement, et ne suffisent pas à établir les résultats d’un usage particulier en programmation ou en recherche.