openPangu-2.0-Pro : Huawei ouvre une pile IA pensée pour Ascend, pas encore une recette de reproduction complète

La publication d’openPangu-2.0-Pro par Huawei est plus importante qu’une simple mise à disposition de poids de modèle. Mais il faut distinguer deux notions : elle ouvre une voie concrète pour examiner, tester et déployer un grand modèle sur la plateforme Ascend de Huawei ; elle ne fournit pas encore une recette clé en main permettant de reproduire intégralement son entraînement à très grande échelle.

Le point de départ est souvent mal rapporté : Pro est un modèle à mélange d’experts (Mixture of Experts, ou MoE) d’environ 505 milliards de paramètres au total, dont 18 milliards environ sont activés pour chaque token. Il prend en charge une fenêtre de contexte de 512 000 tokens et a été pré-entraîné sur environ 34 000 milliards de tokens, selon sa fiche de modèle. 21

Ce que Huawei a effectivement mis à disposition

Le 31 juillet 2026, Huawei a annoncé la publication des poids d’openPangu-2.0-Pro, de code d’inférence de base et de son rapport technique. L’entreprise a aussi indiqué que les autres composants liés à openPangu 2.0 seraient publiés progressivement dans ses canaux open source. 12

Chaque élément répond à un besoin différent :

• Les poids permettent d’évaluer le modèle entraîné et de le servir en production.
• Le code d’inférence fournit une voie d’implémentation adaptée à l’environnement Ascend visé.
• Le rapport technique et la documentation exposent l’architecture et les choix de conception présentés par Huawei. 1221

Lors de sa conférence HDC 2026, Huawei a également évoqué l’ouverture progressive de sept composants, dont le code de pré-entraînement, de post-entraînement et des opérateurs d’entraînement. 210 S’ils sont effectivement publiés dans une forme exploitable, ces éléments rapprocheront le projet d’une pile complète, de l’entraînement à l’inférence, plutôt que d’une simple publication de poids.

Pourquoi « entièrement reproductible » serait prématuré

Un modèle peut avoir des poids accessibles sans que son entraînement soit reproductible à l’échelle d’origine. Les poids téléchargeables permettent de tester le point de contrôle publié ; ils ne révèlent pas toutes les conditions nécessaires pour le recréer.

Reproduire un pré-entraînement sur 34 000 milliards de tokens nécessiterait au minimum les données exactes — ou une spécification reproductible de leur constitution —, l’ensemble du code d’entraînement et de post-entraînement, les hyperparamètres, la topologie du cluster, les versions logicielles et compilateurs, la configuration de l’entraînement distribué, les opérateurs personnalisés, le protocole d’évaluation et un parc matériel compatible suffisamment vaste. À ce stade, les documents confirment la disponibilité des poids, du code d’inférence de base et du rapport ; Huawei présente les autres composants comme une publication progressive. 1221

La formulation la plus juste est donc la suivante : un modèle ouvert, conçu d’abord pour Ascend, avec une trajectoire annoncée vers davantage de transparence sur la pile logicielle. Ce n’est pas encore la preuve qu’une organisation extérieure puisse refaire aujourd’hui l’entraînement initial de manière indépendante.

Les choix techniques derrière le contexte 512K

openPangu-2.0-Pro associe une très grande capacité paramétrique à des mécanismes destinés à limiter le coût de génération et du traitement de contextes très longs.

MoE : une grande capacité sans mobiliser tous les paramètres

Dans un modèle MoE, chaque token est orienté vers un sous-ensemble d’experts. Pour Pro, la fiche de modèle indique environ 505 milliards de paramètres au total, mais environ 18 milliards de paramètres activés par token. 21

Cela ne rend pas le système léger : stocker, distribuer et servir un modèle de 505 milliards de paramètres demande une infrastructure conséquente. En revanche, le calcul lié aux paramètres pour un token donné est inférieur à celui qu’exigerait un modèle dense de même taille totale.

DSA et SWA : contexte local et accès global épars

Le modèle conserve MLA et combine DSA avec une attention à fenêtre glissante (sliding-window attention, SWA), selon un ratio de couches de 1:2. Huawei indique que les couches SWA modélisent le contexte local, tandis que les couches DSA captent un contexte global de manière éparse. L’objectif annoncé est de réduire le calcul, l’empreinte mémoire et les accès mémoire lors de l’inférence sur de longues séquences, tout en préservant la précision. 21

C’est une réponse directe au défi d’un contexte de 512K : appliquer une attention complète sur tous les tokens devient rapidement très coûteux. L’attention locale traite à bas coût les informations voisines ; les mécanismes globaux épars cherchent à conserver l’accès aux éléments lointains pertinents.

Topologie résiduelle, prédiction multi-token et Muon

Huawei décrit aussi une topologie résiduelle mHC à quatre flux, censée améliorer la diversité des représentations et la généralisation. Son module de prédiction multi-token à trois têtes anticipe des tokens futurs supplémentaires, une approche destinée à accélérer l’inférence. La fiche de modèle cite enfin l’optimiseur Muon, avec l’objectif déclaré d’accélérer la convergence pendant l’entraînement. 21

Il s’agit de caractéristiques et de revendications techniques présentées par Huawei, pas d’une validation indépendante d’un gain de performance identique dans tous les environnements. Débit et latence dépendent fortement de la configuration des accélérateurs, de la précision numérique, du regroupement des requêtes, de la longueur des contextes, du profil de trafic et du logiciel de service.

À quoi peut servir un agent à contexte très long ?

Une fenêtre de 512K peut permettre à un agent d’examiner, dans une même session, bien davantage de documents : manuels, textes réglementaires, journaux techniques, résultats d’outils précédents ou spécifications. Cela peut réduire un découpage trop agressif des documents, sans supprimer le besoin de recherche documentaire, de contrôle des sources, de gestion des droits d’accès ou de validation humaine.

Les usages potentiellement utiles comprennent notamment :

• Administration publique : assistance à l’analyse de textes réglementaires, dossiers, contributions publiques et documents interservices, avec des contrôles d’accès stricts et des décisions humaines traçables.
• Finance : revue de recherches, publications d’entreprises, contrats et documents de conformité, sans laisser une sortie non vérifiée guider seule des décisions de trading, de crédit ou de régulation.
• Industrie et énergie : synthèse de manuels d’équipements, historiques d’alarmes, dossiers de maintenance, documents de procédé et rapports de relève pour aider au diagnostic et à la planification.
• Santé : synthèse de littérature et de dossiers longitudinaux dans un cadre de gouvernance clinique, et non diagnostic ou prescription autonomes.
• Ingénierie du véhicule autonome : analyse hors ligne de journaux d’essais, scénarios, dossiers de sûreté et documentation technique ; cela ne remplace pas un système de conduite temps réel validé.

Pour de nombreuses petites structures, Pro restera difficile à auto-héberger malgré son activation parcimonieuse. Huawei a aussi publié openPangu-2.0-Flash, une variante annoncée avec 92 milliards de paramètres au total et 6 milliards activés par token, qui peut constituer une option plus accessible pour l’évaluation ou certains déploiements. 1520

Génie logiciel : un assistant utile, pas un mainteneur autonome

Huawei rapporte un score de 68,5 sur SWE-bench Verified pour la version « Thinking » d’openPangu-2.0-Pro. 24 C’est un résultat de benchmark notable, mais il ne prouve pas que le modèle puisse prendre en charge de façon fiable des projets logiciels complexes en production.

Les dépôts réels dépendent de la configuration de l’environnement, des dépendances, de l’exécution des tests, de la sécurité, des choix d’architecture, de besoins produit mouvants et d’un débogage durable sur de nombreuses étapes. Un schéma de déploiement prudent repose donc sur un agent de code supervisé : accès limité au dépôt, exécution en bac à sable, tests automatisés, analyse statique, revue de code et procédures de retour arrière — pas des fusions autonomes.

Une stratégie d’écosystème, plus qu’une publication de modèle

L’enjeu stratégique ne se limite pas aux poids. Un modèle de référence natif d’Ascend peut encourager les développeurs à construire, tester et optimiser leurs charges de travail sur cette plateforme. Ces usages créent à leur tour une demande pour de meilleurs environnements d’exécution, opérateurs, outils et services managés. Huawei invite explicitement développeurs, partenaires entreprises et chercheurs à utiliser les ressources de la communauté Ascend Tribe et son offre Huawei Cloud MaaS, puis à faire remonter leurs retours. 12

La disponibilité de Flash et Pro à des échelles différentes élargit le public potentiel. Les composants annoncés pour l’entraînement, le post-entraînement et les opérateurs ciblent, eux, les couches logicielles qui déterminent si une plateforme matérielle est réellement praticable pour les équipes qui créent des modèles. 1015

openPangu 2.0 doit donc surtout être compris comme une tentative de renforcer un écosystème de développement Ascend + Pangu. Son ouverture est déjà significative pour le déploiement, l’inspection et l’expérimentation. Sa reproductibilité complète devra, elle, être jugée à l’aune des codes, configurations et précisions relatives aux données qui seront effectivement publiés, ainsi que des essais menés par des équipes indépendantes.