Kimi K3 : pourquoi Moonshot AI mise à la fois sur la taille du modèle et le calcul à l’inférence

Moonshot AI présente Kimi K3 comme un pari sur deux formes de montée en échelle : construire un modèle beaucoup plus capacitaire avant son déploiement, puis lui accorder suffisamment de calcul lors de l’usage pour raisonner, appeler des outils, naviguer sur le Web, programmer et corriger ses erreurs.

Le nœud du problème est économique. Augmenter sans cesse la densité et la profondeur d’un modèle ne suffit pas si le coût de service, notamment sur des contextes très longs, rend ces capacités difficilement utilisables. K3 vise donc à accroître fortement la capacité totale tout en limitant le calcul et la mémoire mobilisés pour chaque jeton généré. 1

Capacité totale et calcul effectivement activé : deux mesures différentes

Kimi K3 est décrit comme un modèle multimodal natif de type mixture-of-experts (MoE, ou mélange d’experts), doté de 2,8 billions de paramètres au total, d’environ 104 milliards de paramètres activés par jeton et d’une fenêtre de contexte pouvant atteindre un million de jetons. 117

Ces deux chiffres ne décrivent pas la même chose :

• Les paramètres totaux correspondent à la capacité disponible dans l’ensemble des experts du modèle.
• Les paramètres activés par jeton désignent la part réellement sollicitée pour traiter un jeton donné, après le routage vers les experts pertinents.

C’est l’intérêt pratique d’un MoE : K3 peut être bien plus grand, au total, qu’un modèle dense de coût comparable par jeton. Le servir reste coûteux — 104 milliards de paramètres actifs, ce n’est pas anodin — mais le système évite de payer le coût d’un réseau dense de 2,8 billions de paramètres à chaque jeton. 1

L’argument de Moonshot n’est donc pas simplement que « plus de paramètres » produiraient mécaniquement un meilleur modèle. L’entreprise soutient plutôt que le calcul conditionnel peut rendre exploitable une capacité de modèle inédite pour des tâches longues et complexes.

Un million de jetons impose de revoir l’attention

Une fenêtre de contexte d’un million de jetons est difficile à gérer, pas uniquement à l’entraînement. Avec une attention conventionnelle, les besoins de mémoire et de calcul peuvent s’accumuler lourdement à mesure que la séquence s’allonge.

K3 adopte une architecture hybride qui associe Kimi Delta Attention (KDA) et Gated Multi-head Latent Attention (Gated MLA). La composition annoncée comprend 69 couches KDA et 24 couches Gated MLA, majoritairement organisées selon un schéma de trois couches KDA pour une couche MLA. 112

KDA pour traiter la séquence avec un état persistant

KDA constitue le volet d’attention linéaire du modèle. Au lieu de conserver, dans chaque couche concernée, un cache clé-valeur conventionnel qui grandit avec tout l’historique, elle repose sur un état récurrent de taille fixe. L’objectif est que la mémoire et le coût de décodage n’augmentent pas avec le contexte passé comme ils le feraient avec une attention complète. 1

Le rapport décrit aussi une borne inférieure sur le taux de décroissance de KDA. Il ne s’agit pas seulement d’un choix de modélisation : elle évite des valeurs de décroissance extrêmement faibles, défavorables au calcul numérique efficace, et permet une implémentation par blocs adaptée à l’exécution sur les tensor cores des GPU. 1

Gated MLA pour retrouver l’information à l’échelle globale

Une récurrence linéaire seule ne reproduit pas nécessairement la capacité de recherche sélective à travers tout le contexte offerte par l’attention globale. K3 conserve donc des couches Gated MLA dans toute la pile.

Dans cette combinaison, KDA assure un traitement persistant et moins coûteux de la séquence, tandis que MLA réintroduit périodiquement une récupération globale d’information. 1

Cette approche traite le très long contexte comme un problème de système autant que d’architecture. Une immense fenêtre de contexte ne compte réellement que si le modèle peut encore retrouver l’information utile et répondre à un coût acceptable.

AttnRes pour préserver l’information au fil de 93 couches

Le second élément architectural est Attention Residuals (AttnRes). K3 compte 93 couches, et le rapport utilise AttnRes pour permettre aux couches tardives de récupérer des représentations compressées provenant de blocs de profondeur antérieurs, plutôt que de forcer toute l’information à cheminer strictement couche après couche. 1

En simplifiant : KDA s’occupe de la circulation de l’information sur la longueur de la séquence, tandis qu’AttnRes s’occupe de sa circulation dans la profondeur du réseau. Cette association est importante pour un modèle très profond où une grande part de la pile s’appuie sur l’attention linéaire : remplacer l’attention globale coûteuse ne suffit que si l’information utile n’est ni perdue ni isolée lors de la propagation des activations. 1

Stable LatentMoE : de la capacité, mais sous contrôle

La couche MoE de K3 compterait 896 experts routés, avec une sélection de 16 experts par jeton. 16 C’est ce mécanisme qui explique l’écart entre les 2,8 billions de paramètres au total et les quelque 104 milliards activés à chaque jeton.

L’approche Stable LatentMoE vise à maintenir un routage à la fois stable et équilibré. Le rapport formule l’affectation des jetons aux experts, à l’échelle d’un lot, comme un problème d’optimisation et introduit un équilibrage fondé sur des quantiles. Il dérive un optimum exact dans le cadre de ses hypothèses ; en production, le routage emploie toutefois des biais fixes par expert et une sélection top-k classique, plutôt que de résoudre à nouveau ce problème pour chaque lot d’inférence. 1

La nuance est essentielle : l’existence d’un équilibre optimal démontré dans la formulation du rapport ne garantit pas une répartition parfaitement homogène des jetons entre experts dans toutes les charges de travail réelles.

MoonEP, la couche système qui rend le MoE exploitable

Les grands modèles MoE soulèvent un problème réseau : les jetons doivent souvent être envoyés d’un accélérateur à l’autre pour atteindre les experts qui leur sont attribués. Si certains experts sont sursollicités, le chemin de communication le plus lent peut dicter la latence de l’ensemble.

Moonshot présente MoonEP comme la couche complémentaire de communication en parallélisme d’experts. Son rôle est de réduire les déséquilibres dans les échanges « all-to-all » engendrés par le routage sparse, afin de préserver la capacité d’entraînement et de service d’un grand pool d’experts. 1

C’est un aspect central de la thèse de K3 : l’architecture, le routage et les communications ne sont pas des explications indépendantes de la performance. Les trois doivent fonctionner ensemble pour transformer une vaste capacité théorique en débit réel.

Le deuxième axe : davantage de calcul pour le travail agentique

L’autre moitié de la stratégie se joue après le préentraînement. Moonshot décrit une infrastructure destinée à l’apprentissage par renforcement sur des trajectoires longues impliquant outils, programmation, navigation Web et résolution itérative de problèmes. Le rapport évoque également la distillation de plusieurs enseignants spécialisés dans des domaines et formes de raisonnement distincts vers un système unique. 1

L’environnement de soutien est un système léger de bacs à sable reposant sur des machines virtuelles, conçu pour créer, figer et reprendre des environnements de tâches à grande échelle. Les chiffres annoncés sont de 51,2 millions d’instances de sandbox, 133 ms pour les instantanés et 49 ms pour les restaurations. 1

L’idée stratégique est simple : si un modèle doit utiliser davantage de calcul à l’inférence — planifier, appeler un outil, vérifier une réponse, poursuivre une tâche longue — l’entraînement doit l’exposer à ce type de trajectoires. Pouvoir suspendre, embrancher et restaurer ces environnements à faible coût permet de produire davantage de parcours d’apprentissage.

Cela ne signifie pas qu’une réponse de K3 consomme automatiquement une quantité illimitée de calcul. Le rapport défend plutôt un système capable de convertir des étapes supplémentaires et davantage de contexte en meilleures performances sur une tâche, au lieu de ne compter que sur un modèle préentraîné plus gros.

Ce que le score BrowseComp indique — et ce qu’il ne permet pas de conclure

Kimi K3 est crédité d’un score de 91,2 % sur BrowseComp, un benchmark consacré à la recherche d’information sur un horizon long. Un classement tiers affiche également K3 à 91,2 %, même si les rangs et les configurations de publication peuvent évoluer. 18

Ce résultat est cohérent avec l’objectif du produit : un modèle conçu autour du long contexte, du post-entraînement agentique et du raisonnement à l’inférence doit être évalué sur des tâches complexes de recherche d’information. Mais il ne s’agit pas d’une ablation propre de chaque composant.

Un score unique ne permet pas de mesurer la part exacte attribuable à KDA, à AttnRes, au routage des experts, à l’infrastructure de communication, aux environnements d’apprentissage par renforcement, à la distillation, aux invites ou aux réglages d’inférence. L’interprétation la plus solide est que le système annoncé obtient de bons résultats en tant qu’ensemble intégré, non qu’une innovation architecturale isolée explique à elle seule le score. 118

Face à DeepSeek : une comparaison surtout architecturale

K3 est souvent présenté comme un concurrent d’autres grands modèles ouverts, notamment de la famille DeepSeek. Ce que le rapport permet d’affirmer est plus limité : Moonshot défend une orientation combinant capacité sparse très élevée, traitement efficace de très longs contextes et infrastructure de post-entraînement pour les agents. 117

Le document technique étaye les spécifications et les choix de conception de K3. Il ne démontre pas, à lui seul, que les autres modèles ouverts seraient « bloqués », ni qu’il existe un avantage architectural décisif sur un concurrent nommé. De telles affirmations exigeraient des comparaisons homogènes, indépendantes et reproductibles.

Les promesses de coût dépendent toujours de la configuration

Les comparaisons de prix par jeton ou de coût par tâche se lisent avec prudence. Elles varient selon l’invite, l’effort de raisonnement, la longueur du contexte, la mise en cache, l’usage d’outils, les hypothèses de débit, la date tarifaire et le protocole d’évaluation.

Une comparaison publiée dans les éléments disponibles estime le coût d’une tâche achevée à environ 0,94 $ pour K3, contre 1,04 $ pour GPT-5.6 Sol. Ce chiffre peut signaler un léger avantage dans cette configuration précise, mais il ne justifie pas une affirmation générale selon laquelle K3 coûterait « deux fois moins cher » que Sol. 20

La conclusion la plus robuste est donc moins spectaculaire : K3 cherche à rendre économiquement crédibles le long contexte et les capacités agentiques à une échelle de modèle bien plus élevée. La réalité de cet avantage dépendra d’évaluations reproductibles et d’une comptabilité des coûts propre à chaque déploiement.

À retenir

Le rapport technique de Kimi K3 avance un argument de montée en échelle « full stack ». La montée en puissance avant déploiement vient d’un MoE de 2,8 billions de paramètres, dont environ 104 milliards sont activés par jeton. La montée en puissance après déploiement passe par l’entraînement et le service d’un modèle capable d’exploiter un long contexte, des outils, des étapes de raisonnement et des trajectoires agentiques. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP et l’infrastructure de sandbox pour l’apprentissage par renforcement défendent tous la même proposition : des comportements agentiques de pointe ne demandent pas seulement un modèle plus grand, mais une conception qui rende utilisables davantage de contexte et davantage de travail à l’inférence. Les résultats de benchmark sont des indices encourageants pour cette approche intégrée ; ils ne constituent pas une preuve définitive de la contribution de chaque brique prise séparément. 118