Huawei ouvre le code d’entraînement d’openPangu 2.0 pour Ascend

Le 28 septembre 2026, Huawei a publié du code pour le préentraînement, le réglage fin supervisé (SFT) et l’apprentissage par renforcement (RL) après entraînement de la famille openPangu 2.0. La différence avec les versions Pro et Flash déjà diffusées est importante : celles-ci permettaient surtout de récupérer les poids des modèles et les outils pour les faire fonctionner en inférence. Les nouveaux projets couvrent des étapes d’entraînement et d’adaptation, dans l’écosystème de calcul Ascend de Huawei. 1227

Ce que contient la nouvelle publication

Le projet openPangu-2.0-Training prend en charge le préentraînement et le SFT. openPangu-2.0-RL est consacré au post-entraînement par apprentissage par renforcement. Les deux sont conçus pour l’environnement d’entraînement Ascend. 1

Il s’agit donc de code d’entraînement, et pas simplement d’un nouveau point de contrôle du modèle. L’annonce précise les grandes fonctions des projets, mais ne suffit pas à établir les ressources de calcul, les données ou les configurations nécessaires pour reproduire les entraînements d’origine. 1

Pro et Flash : les chiffres annoncés

Les fiches des deux modèles les présentent comme des modèles à mélange d’experts (MoE). Voici leurs caractéristiques publiées : 1927

Modèle	Paramètres au total	Paramètres activés par token	Fenêtre de contexte	Tokens de préentraînement indiqués
openPangu-2.0-Pro	Environ 505 milliards	Environ 18 milliards	512 000 tokens	Environ 34 000 milliards
openPangu-2.0-Flash	Environ 92 milliards	Environ 6 milliards	512 000 tokens	Environ 34 000 milliards

Les quelque 34 000 milliards de tokens correspondent à chacun des modèles, et non à un total combiné. 1927

Les méthodes de post-entraînement décrites

Les fiches de Pro et Flash décrivent une étape de SFT conçue pour réunir des capacités de raisonnement « lent » et « rapide », suivie de plusieurs phases de RL spécialisées et d’une distillation de politique en ligne (OPD). Ces indications décrivent l’approche de post-entraînement rapportée pour les modèles ; la publication du 28 septembre met, elle, du code d’entraînement et de RL à disposition. 19271

Les choix d’architecture mentionnés dans les fiches

Les fiches indiquent une combinaison d’attention latente multi-têtes (MLA) et de couches DSA/SWA, dans une proportion de 1 pour 2. L’attention à fenêtre glissante (SWA) traite le contexte local, tandis que les couches DSA clairsemées agrègent des informations à plus longue portée. 1927

Elles mentionnent également une architecture mHC à quatre flux, un module de prédiction multi-token (MTP) à trois têtes et l’optimiseur Muon. Ces éléments sont présentés dans les fiches comme des caractéristiques de conception des modèles, et non comme de nouvelles fonctionnalités annoncées avec la publication du code en septembre. 1927

Ce que cela change pour les développeurs Ascend

Avec les poids et le code d’inférence précédemment publiés, les développeurs pouvaient exécuter les modèles Pro ou Flash disponibles. Les nouveaux projets étendent les outils aux étapes de préentraînement, de SFT et de RL après entraînement. Les développeurs travaillant sur Ascend peuvent donc explorer davantage le cycle de vie des modèles, au-delà de leur simple utilisation en inférence. Les sources indiquent les grands objectifs des projets, sans détailler tous les flux de travail compatibles ni leurs exigences matérielles. 1227