Architecture et innovations

Instella-MoE repose sur une configuration d'experts partagés et routés : 2 experts partagés toujours actifs et 6 experts routés, sélectionnés parmi un pool de 64 à chaque token . Le modèle compte 27 couches de décodeur avec une dimension cachée de 2 048 . Deux innovations architecturales se distinguent :

• Gated Multi-head Latent Attention (Gated MLA) : Une amélioration de l'attention latente multi-têtes (MLA) standard. Elle ajoute une porte de sortie légère et apprise qui introduit une non-linéarité, atténuant sélectivement les réponses d'attention de faible utilité pour augmenter l'expressivité, le tout à un coût de calcul modeste .
• FarSkip-Collective : Une modification de la connectivité MoE qui superpose la communication et le calcul pendant l'entraînement parallèle des experts, réduisant les goulots d'étranglement. Lors du pré-entraînement, cette technique a accéléré l'entraînement de 12,7 % .

Le modèle utilise également un objectif de prédiction multi-tokens (MTP) pendant ses phases de pré-entraînement et d'entraînement intermédiaire .

Fenêtre de contexte

Après une phase d'extension dédiée, Instella-MoE supporte un contexte de 64 000 tokens .

Un pipeline d'entraînement en six étapes

AMD a publié l'intégralité du pipeline d'entraînement, qui comprend six étapes séquentielles :

1. Pré-entraînement
2. Entraînement intermédiaire
3. Extension du contexte long (jusqu'à 64 000 tokens)
4. Ajustement supervisé (SFT) — incluant une étape de curation des données basée sur les retours, avec une analyse fine des erreurs et un filtrage par similarité
5. Optimisation directe des préférences (DPO) — avec mise à jour du biais de routage et désactivation de la perte d'équilibrage auxiliaire pour maintenir la stabilité
6. Apprentissage par renforcement (RL) — utilisant le framework Miles RL avec support ROCm sur GPU AMD Instinct, intégrant un RL spécialisé et une distillation multi-enseignants sur politique (MOPD)

Performances

Le modèle de base Instella-MoE-16B-A3B a obtenu un score moyen de 76,7 sur des benchmarks standards, le plaçant parmi les meilleurs modèles entièrement ouverts de sa catégorie . Il surpasse notamment SmolLM3-3B et OLMo-3-7B, et rivalise avec des modèles plus gros, malgré l'activation de seulement 2,8 milliards de paramètres par token .

Transparence totale et licence

Conformément à son engagement pour une IA ouverte, AMD a rendu publics tous les artéfacts d'entraînement :

• Les poids du modèle à chaque étape
• Les configurations d'entraînement et les mélanges de données
• Les points de contrôle intermédiaires
• Le code d'inférence

Tous ces éléments sont disponibles sur Hugging Face sous l'espace de noms amd/Instella-MoE-16B-A3B, avec une licence Research RAIL (Responsible AI License) pour une utilisation académique et de recherche .

Une portée stratégique

Instella-MoE est bien plus qu'un simple modèle : c'est une preuve de concept que la pile logicielle ROCm d'AMD et ses GPU Instinct peuvent prendre en charge le développement d'IA de pointe, du pré-entraînement à l'apprentissage par renforcement, en utilisant une infrastructure entièrement ouverte. En offrant des performances compétitives face aux meilleurs modèles open source entraînés sur du matériel Nvidia, AMD positionne son écosystème comme une alternative crédible à CUDA pour la recherche et le développement en IA à grande échelle .

Architecture et innovations

Instella-MoE repose sur une configuration d'experts partagés et routés : 2 experts partagés toujours actifs et 6 experts routés, sélectionnés parmi un pool de 64 à chaque token . Le modèle compte 27 couches de décodeur avec une dimension cachée de 2 048 . Deux innovations architecturales se distinguent :

• Gated Multi-head Latent Attention (Gated MLA) : Une amélioration de l'attention latente multi-têtes (MLA) standard. Elle ajoute une porte de sortie légère et apprise qui introduit une non-linéarité, atténuant sélectivement les réponses d'attention de faible utilité pour augmenter l'expressivité, le tout à un coût de calcul modeste .
• FarSkip-Collective : Une modification de la connectivité MoE qui superpose la communication et le calcul pendant l'entraînement parallèle des experts, réduisant les goulots d'étranglement. Lors du pré-entraînement, cette technique a accéléré l'entraînement de 12,7 % .

Le modèle utilise également un objectif de prédiction multi-tokens (MTP) pendant ses phases de pré-entraînement et d'entraînement intermédiaire .

Fenêtre de contexte

Après une phase d'extension dédiée, Instella-MoE supporte un contexte de 64 000 tokens .

Un pipeline d'entraînement en six étapes

AMD a publié l'intégralité du pipeline d'entraînement, qui comprend six étapes séquentielles :

1. Pré-entraînement
2. Entraînement intermédiaire
3. Extension du contexte long (jusqu'à 64 000 tokens)
4. Ajustement supervisé (SFT) — incluant une étape de curation des données basée sur les retours, avec une analyse fine des erreurs et un filtrage par similarité
5. Optimisation directe des préférences (DPO) — avec mise à jour du biais de routage et désactivation de la perte d'équilibrage auxiliaire pour maintenir la stabilité
6. Apprentissage par renforcement (RL) — utilisant le framework Miles RL avec support ROCm sur GPU AMD Instinct, intégrant un RL spécialisé et une distillation multi-enseignants sur politique (MOPD)

Performances

Le modèle de base Instella-MoE-16B-A3B a obtenu un score moyen de 76,7 sur des benchmarks standards, le plaçant parmi les meilleurs modèles entièrement ouverts de sa catégorie . Il surpasse notamment SmolLM3-3B et OLMo-3-7B, et rivalise avec des modèles plus gros, malgré l'activation de seulement 2,8 milliards de paramètres par token .

Transparence totale et licence

Conformément à son engagement pour une IA ouverte, AMD a rendu publics tous les artéfacts d'entraînement :

• Les poids du modèle à chaque étape
• Les configurations d'entraînement et les mélanges de données
• Les points de contrôle intermédiaires
• Le code d'inférence

Tous ces éléments sont disponibles sur Hugging Face sous l'espace de noms amd/Instella-MoE-16B-A3B, avec une licence Research RAIL (Responsible AI License) pour une utilisation académique et de recherche .

Une portée stratégique

Instella-MoE est bien plus qu'un simple modèle : c'est une preuve de concept que la pile logicielle ROCm d'AMD et ses GPU Instinct peuvent prendre en charge le développement d'IA de pointe, du pré-entraînement à l'apprentissage par renforcement, en utilisant une infrastructure entièrement ouverte. En offrant des performances compétitives face aux meilleurs modèles open source entraînés sur du matériel Nvidia, AMD positionne son écosystème comme une alternative crédible à CUDA pour la recherche et le développement en IA à grande échelle .