Architettura e innovazioni

Dal punto di vista architetturale, Instella-MoE adotta una configurazione shared-plus-routed expert: 2 esperti condivisi sempre attivi e 6 esperti selezionati di volta in volta da un pool di 64, per ogni token . Il modello è composto da 27 layer decoder, ciascuno con una dimensione nascosta di 2048 .

Due innovazioni spiccano:

• Gated Multi-head Latent Attention (Gated MLA): un'evoluzione dell'attenzione latente multi-testa standard. Aggiunge un gate di output leggero, una non-linearità che attenua selettivamente le risposte di attenzione meno utili, aumentando l'espressività a un costo computazionale modesto .
• FarSkip-Collective: una modifica alla connettività MoE che sovrappone la comunicazione con il calcolo durante l'addestramento parallelo degli esperti, riducendo i tempi morti di comunicazione. Durante la pre-addestramento, questa tecnica ha accelerato il processo del 12,7% .

Il modello utilizza anche un obiettivo di Multi-Token Prediction (MTP) durante le fasi di pre-addestramento e mid-training .

Finestra di contesto

Dopo una fase dedicata di estensione del contesto, Instella-MoE supporta una finestra di 64.000 token .

Un processo di addestramento in sei fasi

AMD ha pubblicato l'intero processo di addestramento, che si compone di sei fasi sequenziali :

1. Pre-training
2. Mid-training
3. Estensione del contesto (fino a 64.000 token)
4. Supervised Fine-Tuning (SFT) — include una fase di curation dei dati basata su analisi granulare degli errori e recupero basato su similarità
5. Direct Preference Optimization (DPO) — con aggiornamenti del bias del router e la disabilitazione della loss di bilanciamento del carico ausiliario per mantenere la stabilità
6. Reinforcement Learning (RL) — utilizzando il framework Miles RL con supporto ROCm su GPU AMD Instinct, includendo RL specializzato IF e Multi-Teacher On-Policy Distillation (MOPD)

Prestazioni nei benchmark

Il modello base Instella-MoE-16B-A3B ha ottenuto un punteggio medio di 76,7 nei benchmark standard, posizionandosi tra i migliori modelli completamente aperti della sua categoria . Secondo i report, ha superato SmolLM3-3B e OLMo-3-7B, competendo con modelli molto più grandi, nonostante attivasse solo 2,8 miliardi di parametri per token .

Trasparenza totale e licenza

Fedele al suo impegno per un'AI aperta, AMD ha rilasciato pubblicamente tutti gli artefatti dell'addestramento :

• Pesi del modello per ogni fase
• Configurazioni di addestramento e miscele di dati
• Checkpoint intermedi
• Codice per l'inferenza

Tutti gli artefatti sono disponibili su Hugging Face sotto il namespace amd/Instella-MoE-16B-A3B, con licenza Research RAIL (Responsible AI License) per scopi accademici e di ricerca .

Significato strategico

Instella-MoE non è solo un modello: è una prova concreta che l'hardware AMD Instinct e lo stack software ROCm possono supportare lo sviluppo di AI all'avanguardia, dalla pre-addestramento al RL, utilizzando un'infrastruttura completamente aperta. Con benchmark competitivi rispetto ai migliori modelli open-source addestrati su hardware Nvidia, AMD posiziona il proprio ecosistema come un'alternativa valida a CUDA per la ricerca e lo sviluppo di AI su larga scala .

Architettura e innovazioni

Dal punto di vista architetturale, Instella-MoE adotta una configurazione shared-plus-routed expert: 2 esperti condivisi sempre attivi e 6 esperti selezionati di volta in volta da un pool di 64, per ogni token . Il modello è composto da 27 layer decoder, ciascuno con una dimensione nascosta di 2048 .

Due innovazioni spiccano:

• Gated Multi-head Latent Attention (Gated MLA): un'evoluzione dell'attenzione latente multi-testa standard. Aggiunge un gate di output leggero, una non-linearità che attenua selettivamente le risposte di attenzione meno utili, aumentando l'espressività a un costo computazionale modesto .
• FarSkip-Collective: una modifica alla connettività MoE che sovrappone la comunicazione con il calcolo durante l'addestramento parallelo degli esperti, riducendo i tempi morti di comunicazione. Durante la pre-addestramento, questa tecnica ha accelerato il processo del 12,7% .

Il modello utilizza anche un obiettivo di Multi-Token Prediction (MTP) durante le fasi di pre-addestramento e mid-training .

Finestra di contesto

Dopo una fase dedicata di estensione del contesto, Instella-MoE supporta una finestra di 64.000 token .

Un processo di addestramento in sei fasi

AMD ha pubblicato l'intero processo di addestramento, che si compone di sei fasi sequenziali :

1. Pre-training
2. Mid-training
3. Estensione del contesto (fino a 64.000 token)
4. Supervised Fine-Tuning (SFT) — include una fase di curation dei dati basata su analisi granulare degli errori e recupero basato su similarità
5. Direct Preference Optimization (DPO) — con aggiornamenti del bias del router e la disabilitazione della loss di bilanciamento del carico ausiliario per mantenere la stabilità
6. Reinforcement Learning (RL) — utilizzando il framework Miles RL con supporto ROCm su GPU AMD Instinct, includendo RL specializzato IF e Multi-Teacher On-Policy Distillation (MOPD)

Prestazioni nei benchmark

Il modello base Instella-MoE-16B-A3B ha ottenuto un punteggio medio di 76,7 nei benchmark standard, posizionandosi tra i migliori modelli completamente aperti della sua categoria . Secondo i report, ha superato SmolLM3-3B e OLMo-3-7B, competendo con modelli molto più grandi, nonostante attivasse solo 2,8 miliardi di parametri per token .

Trasparenza totale e licenza

Fedele al suo impegno per un'AI aperta, AMD ha rilasciato pubblicamente tutti gli artefatti dell'addestramento :

• Pesi del modello per ogni fase
• Configurazioni di addestramento e miscele di dati
• Checkpoint intermedi
• Codice per l'inferenza

Tutti gli artefatti sono disponibili su Hugging Face sotto il namespace amd/Instella-MoE-16B-A3B, con licenza Research RAIL (Responsible AI License) per scopi accademici e di ricerca .

Significato strategico

Instella-MoE non è solo un modello: è una prova concreta che l'hardware AMD Instinct e lo stack software ROCm possono supportare lo sviluppo di AI all'avanguardia, dalla pre-addestramento al RL, utilizzando un'infrastruttura completamente aperta. Con benchmark competitivi rispetto ai migliori modelli open-source addestrati su hardware Nvidia, AMD posiziona il proprio ecosistema come un'alternativa valida a CUDA per la ricerca e lo sviluppo di AI su larga scala .