MiniMax prépare un modèle géant de 2,7 billions de paramètres, le plus grand open-weight au monde

Comparaison avec les modèles existants de MiniMax

MiniMax a rapidement fait évoluer sa gamme de modèles :

Le bond du M3 (~428B) au M3 Pro (2,7 billions) représente une augmentation d'environ 6,3 fois du nombre total de paramètres. Si MiniMax conserve son approche MoE, le nombre de paramètres actifs par opération pourrait rester de l'ordre de quelques dizaines à quelques centaines de milliards, mais l'empreinte mémoire totale serait sans précédent pour un modèle open-weight .

Comparaison avec DeepSeek V4 Pro

DeepSeek V4 Pro est le modèle phare open-weight de DeepSeek, lancé le 23 avril 2026 . Voici les principales différences :

• DeepSeek V4 Pro : 1,6 billion de paramètres totaux, 49 milliards d'activés, sous licence MIT. Spécialiste du codage algorithmique pur, il détient le meilleur score sur Codeforces (3206) et 80,6 % sur SWE-bench Verified (le meilleur parmi les modèles open-weight) .
• MiniMax M3 (actuel) : ~428 milliards de paramètres totaux / ~23 milliards d'activés. Plus performant sur les tâches multimodales et les mathématiques (moyenne de 85,7 contre 31,7 sur un agrégat), mais moins bon en codage pur que DeepSeek V4 Pro .
• Futur modèle 2,7 billions : Il surpasserait massivement DeepSeek V4 Pro (1,6 billion) et MiniMax M3 (428 milliards) en nombre total de paramètres .

La plupart des analyses indiquent que MiniMax M3 et DeepSeek V4 Pro « ne sont pas vraiment en concurrence directe », car ils sont optimisés pour des charges de travail différentes : M3 pour le codage multimodal agentique et les tâches à long contexte, V4 Pro pour le codage algorithmique textuel pur, à moindre coût .

Contexte plus large des modèles open-weight chinois

Les laboratoires d'IA chinois ont publié une vague de modèles open-weight puissants en 2025-2026 :

• DeepSeek V4 Pro (23 avril 2026) — 1,6 billion MoE, licence MIT, performances de codage de pointe .
• Tencent Hy3 (Hunyuan 3.0) — Version préliminaire le 23 avril 2026 ; version open-weight complète le 6 juillet 2026 sous licence Apache 2.0. Modèle MoE de 295 milliards de paramètres (21 milliards d'activés, 192 experts, routage top-8) avec une fenêtre de contexte de 256K tokens, dirigé par l'ex-chercheur d'OpenAI Shunyu Yao .
• MiniMax-M1 (juin 2025) — Modèle de raisonnement open-weight de 456 milliards de paramètres, sous licence Apache 2.0, présenté comme le premier modèle de raisonnement à attention hybride open-weight à grande échelle .
• MiniMax-M3 (juin 2026) — ~428 milliards de paramètres totaux, codage multimodal de pointe .
• Ant Group Ling-2.6-flash (22 avril 2026) — Modèle MoE de 104 milliards de paramètres (7,4 milliards d'activés), axé sur l'efficacité .

Cette stratégie délibérée des laboratoires chinois vise à publier des modèles sous licence ouverte (Apache 2.0 ou MIT), contrairement à de nombreux laboratoires occidentaux (OpenAI, Anthropic, Google) qui gardent leurs modèles de pointe fermés .

Concurrence avec les laboratoires occidentaux et implications géopolitiques

Cette succession rapide de modèles open-weight chinois a plusieurs implications :

• Course à l'échelle : Le modèle prévu de 2,7 billions de paramètres surpasserait tout modèle open-weight occidental connu en nombre total de paramètres, remettant en cause le récit de l'avantage américain en matière de puissance de calcul .
• Stratégie open-weight comme levier géopolitique : En publiant leurs poids, les laboratoires chinois rendent leurs modèles accessibles gratuitement aux développeurs du monde entier, contournant les restrictions à l'exportation de matériel. Les développeurs occidentaux et du Sud global peuvent faire fonctionner ces modèles sur leur propre infrastructure .
• Migration de talents : Le Hy3 de Tencent a été dirigé par un chercheur recruté chez OpenAI (Shunyu Yao), illustrant la circulation des talents entre les deux pays .
• Concurrence sur les prix : DeepSeek V4 Pro et MiniMax M3 sont tous deux proposés à des tarifs compétitifs, voire inférieurs, à ceux de GPT-5.5 sur les fournisseurs d'API, ce qui fait baisser les coûts à l'échelle mondiale .
• Parité des performances : Le MiniMax M3 (59,0 % sur SWE-bench Pro) dépasse légèrement GPT-5.5 (58,6 %), tandis que DeepSeek V4 Pro (80,6 % sur SWE-bench Verified) est le meilleur score tous modèles open-weight confondus .

Défis de déploiement d'un modèle à 2,7 billions de paramètres

Un modèle open-weight de 2,7 billions de paramètres poserait des défis extrêmes en matière de déploiement :

• Mémoire requise : Même en quantification 8 bits, le chargement de 2,7 billions de paramètres nécessite environ 2,7 To de mémoire GPU. En FP16, cela passe à environ 5,4 To. Cela nécessiterait des centaines de GPU (par exemple, plus de 200 H100 avec 80 Go chacun) rien que pour charger le modèle en mémoire.
• Architecture MoE probable : Le M1 et le M3 utilisent tous deux une architecture MoE, où seule une fraction des paramètres est activée par token (par exemple, 23 milliards d'activés sur 428 milliards pour le M3) . Si le modèle de 2,7 billions suit ce schéma avec un ratio de paramètres actifs similaire (par exemple, ~135 milliards d'activés), l'inférence pourrait être réalisable sur un cluster plus petit que ne le suggère le nombre total de paramètres, mais resterait bien au-delà d'un seul GPU.
• Latence et débit d'inférence : Même avec un MoE parcimonieux, servir un tel modèle à grande échelle nécessite un parallélisme sophistiqué (tensoriel, pipeline et expert) sur de nombreux nœuds, avec des interconnexions à haute bande passante.
• Coût d'entraînement : L'entraînement d'un modèle de 2,7 billions de paramètres nécessiterait un budget de calcul énorme, probablement des dizaines de milliers de mois-GPU, même avec des techniques d'entraînement MoE efficaces.
• Distribution open-weight : L'hébergement et la distribution de 2,7 billions de paramètres (potentiellement 5 To de poids) représentent un défi logistique pour Hugging Face et autres dépôts.

Cela dit, MiniMax a fait preuve d'une grande efficacité d'ingénierie : le M1 a été entraîné avec 70 % de calcul en moins que DeepSeek R1 tout en atteignant des performances compétitives , et le M3 utilise des mécanismes d'attention parcimonieuse . La start-up pourrait employer des innovations similaires pour son modèle de 2,7 billions.

Adoption mondiale croissante des modèles d'IA chinois

Les modèles open-weight chinois gagnent du terrain à l'échelle mondiale pour plusieurs raisons :

• Prix compétitifs : DeepSeek V4 Pro facture environ 0,435 $ par million de tokens d'entrée, contre 0,30 $ pour MiniMax M3, soit des tarifs extrêmement compétitifs par rapport aux API occidentales .
• Licences permissives : Apache 2.0 (MiniMax M1, Tencent Hy3) et MIT (DeepSeek V4 Pro) autorisent l'utilisation commerciale, la modification et la redistribution sans restriction .
• Compétitivité des performances : Ces modèles égalent ou dépassent GPT-5.5 et Claude sur des benchmarks clés (codage, raisonnement, mathématiques) .
• Écosystème développeur : Les poids sont hébergés sur Hugging Face et intégrés à OpenRouter, Kilo Code et d'autres plateformes, ce qui les rend accessibles aux développeurs du monde entier .

Cette tendance montre que la Chine n'est plus un simple suiveur contraint par le matériel dans le domaine de l'IA. Elle devient un leader des modèles open-weight, utilisant l'ouverture comme un avantage concurrentiel face aux géants occidentaux aux modèles fermés. Si le modèle de 2,7 billions de paramètres se concrétise, il constituerait la déclaration la plus forte dans cette direction.