Pourquoi Moonshot mise sur des modèles plus vastes et davantage de calcul à l’inférence

Moonshot AI défend avec Kimi K3 une vision de la progression de l’IA fondée sur deux formes d’échelle complémentaires : d’une part, augmenter la capacité du modèle avant son déploiement ; d’autre part, augmenter le calcul employé une fois le modèle en service, pour raisonner longtemps, utiliser des outils et effectuer des séquences d’actions agentiques.

L’idée n’est donc pas seulement d’entraîner un modèle plus grand. Il faut aussi pouvoir exploiter cette capacité à un coût acceptable lors de l’inférence — c’est-à-dire quand le modèle répond effectivement à un utilisateur.

Beaucoup plus de capacité, sans coût dense équivalent

Kimi K3 est présenté comme un modèle multimodal natif de type Mixture-of-Experts (MoE), avec 2,78 billions de paramètres au total et 104,2 milliards de paramètres activés par token. Il prend en charge une fenêtre de contexte allant jusqu’à un million de tokens. 1

Dans un modèle MoE, tous les paramètres ne participent pas à chaque token : un routeur sélectionne seulement certains « experts ». Moonshot cherche ainsi à stocker une capacité très élevée dans un modèle de 2,8 billions de paramètres, sans supporter à chaque étape le coût d’inférence d’un modèle dense de cette taille. 1

Le rapport corrige aussi un point important : il revendique une extrapolation native jusqu’à un million de tokens, et non 100 000. L’entraînement commence avec des séquences de 8 000 tokens puis passe à 64 000 tokens. Le modèle n’utilise pas d’encodements positionnels explicites ; Moonshot affirme que les portes récurrentes et la décroissance de KDA suffisent à encoder la position et à généraliser vers des contextes plus longs sans adaptation de RoPE. 1

Réduire la facture du contexte long

Pour rendre cette promesse exploitable, K3 mélange deux mécanismes d’attention : Kimi Delta Attention (KDA) et Gated MLA. La structure alterne trois couches KDA puis une couche Gated MLA. 1

KDA remplace l’essentiel de l’attention quadratique par un état récurrent de taille fixe. En pratique, cela vise à empêcher que l’état par token et le coût de génération n’augmentent avec toute la longueur du contexte comme le ferait un cache clé-valeur complet. Les couches Gated MLA conservent, elles, une capacité de récupération globale et sélective de l’information. 1

La borne inférieure appliquée au taux de décroissance de KDA n’est pas présentée comme un simple choix de modélisation : elle évite des valeurs numériquement trop faibles et permet un calcul par blocs mieux adapté aux Tensor Cores. 1

Les Attention Residuals (AttnRes) répondent à une autre difficulté : dans un réseau très profond et largement fondé sur une attention linéaire, l’information risque de devoir traverser strictement couche après couche. AttnRes permet à des couches tardives de retrouver des représentations compressées issues de blocs plus anciens. Moonshot veut ainsi préserver la qualité tout en remplaçant une grande partie de l’attention globale, plus coûteuse, par KDA. 1

896 experts, et le défi du routage

La composante Stable LatentMoE s’appuie sur 896 experts, dont 16 sont sélectionnés pour chaque token. Cette largeur conditionnelle augmente fortement la capacité disponible. 1

Le mécanisme d’équilibrage par quantiles traite le routage comme un problème d’affectation équilibrée et fournit un optimum exact dans les hypothèses du problème posé à l’échelle d’un lot. En production, le routeur ne relance toutefois pas ce solveur : il emploie des biais fixes par expert et une sélection top-k classique. 1

Il faut donc interpréter avec prudence toute idée d’« équilibre parfait » : le résultat concerne l’optimisation de routage décrite, pas la garantie que chaque lot de requêtes en conditions réelles soit parfaitement réparti.

L’infrastructure MoonEP est tout aussi déterminante. Un MoE n’est économiquement intéressant que si les tokens peuvent rejoindre les experts sélectionnés sans que les communications réseau entre machines ne deviennent le principal goulot d’étranglement. MoonEP vise à équilibrer les échanges all-to-all provoqués par une demande inégale entre experts, afin que l’architecture à 896 experts puisse être entraînée et servie à grande échelle. 1

Autrement dit, les arguments de modèle et de systèmes ne sont pas deux explications indépendantes des résultats : ils forment un même ensemble. Une architecture MoE très vaste ne tient ses promesses que si son routage et ses communications restent maîtrisables.

L’autre moitié de la thèse : calculer davantage après le déploiement

La seconde idée de Moonshot porte sur le calcul à l’inférence. Le rapport décrit une flotte de sandbox sous forme de machines virtuelles légères, destinée à produire de nombreuses trajectoires d’apprentissage par renforcement vérifiables et de longue durée. Grâce aux instantanés, ces trajectoires peuvent être reprises ou divisées en branches à moindre coût. 1

Cette infrastructure sert à entraîner des modèles capables de consacrer davantage d’étapes à une tâche : planification, navigation Web, programmation, appels d’outils et autocorrection. La progression ne proviendrait donc pas uniquement d’un modèle préentraîné plus grand et figé, mais aussi de la faculté à utiliser plus de temps de calcul au moment de résoudre un problème. 1

Le rapport évoque également la distillation de plusieurs enseignants spécialisés — par domaine ou par type de raisonnement — dans un système unique. L’objectif est de transférer ces comportements sans devoir servir neuf modèles distincts. 1

Des résultats prometteurs, mais pas une attribution causale

Kimi K3 affiche 91,2 % sur BrowseComp, un benchmark consacré à la recherche d’information sur le Web dans des scénarios exigeants et de longue durée. Un classement tiers le plaçait à ce niveau au 2 septembre 2026. 4

Si ce résultat est reproduit, il soutiendrait l’idée que le système est particulièrement performant pour les agents de recherche d’information à long horizon. Mais il s’agit d’un résultat de bout en bout : il ne permet pas d’isoler la contribution exacte de KDA, d’AttnRes, du routage MoE, des environnements d’apprentissage par renforcement, de la distillation ou du calcul à l’inférence.

Les comparaisons de prix appellent elles aussi à la prudence. Les affirmations selon lesquelles K3 coûterait « la moitié » de GPT-5.6 Sol, ou serait exactement à quatre points d’un « Claude Fable 5 » en ne représentant que 38 % du coût, ne sont pas vérifiables ici à partir du rapport technique ou d’une source indépendante de très forte autorité. Une comparaison citée estime plutôt le coût par tâche achevée à environ 0,94 $ pour K3 contre 1,04 $ pour GPT-5.6 Sol, un écart très éloigné de 50 %. 8

Ces chiffres dépendent nécessairement de la configuration, des prompts, de la date de tarification et de la méthode complète de comptabilisation. Sans protocole d’évaluation et détail des coûts publiés, ils ne doivent pas être généralisés.

Ce que Moonshot cherche réellement à démontrer

L’enjeu stratégique de K3 paraît moins relever d’une simple guerre des prix que d’une proposition d’architecture : franchir le seuil des billions de paramètres tout en rendant le contexte long et l’inférence agentique réellement utilisables.

La thèse de Moonshot est donc claire : les modèles ouverts ne progresseront pas seulement en empilant des paramètres. Ils auront besoin d’une pile complète — attention moins coûteuse, circulation de l’information en profondeur, MoE équilibré, communications distribuées et environnements d’apprentissage pour le raisonnement — afin de faire de la capacité pré-entraînement et du calcul post-déploiement deux leviers viables. 1

En revanche, le rapport disponible ne suffit pas, à lui seul, à établir que les modèles ouverts seraient bloqués près de 1 billion de paramètres ni à confirmer les comparaisons avancées avec « DeepSeek V4 Pro ».