Arkitektur och innovationer

Instella-MoE använder en shared‑plus‑routed expertkonfiguration med 2 alltid aktiva delade experter och 6 routade experter som väljs från en pool på 64 per token . Modellen består av 27 avkodarlager med en gömd dimension på 2 048 . Två arkitektoniska innovationer utmärker sig:

• Gated Multi‑head Latent Attention (Gated MLA): En förbättring av standard‑MLA som lägger till en lättviktig, inlärd utport (gate) med data‑driven olinjäritet. Den dämpar selektivt uppmärksamhetssvar med låg nytta och ökar uttryckskraften till en blygsam beräkningskostnad .
• FarSkip‑Collective: En modifiering av MoE‑kopplingen som överlappar kommunikation med beräkning under expertparallell träning, vilket minskar kommunikationsflaskhalsar. Under förträningen snabbade tekniken upp träningen med 12,7 % .

Modellen använder också ett Multi‑Token Prediction‑mål (MTP) under förtränings‑ och mellanfaserna .

Kontextfönster

Efter en särskild fas med långkontextutökning stöder Instella-MoE ett 64K‑token långt kontextfönster .

Sex steg i träningspipelinen

AMD har publicerat hela träningspipelinen, som består av sex steg :

1. Förträning
2. Mellanträning
3. Långkontextutökning (till 64K token)
4. Övervakad finjustering (SFT) – inklusive en feedback‑driven datakureringsfas med finkornig felanalys och likhetsbaserad återvinning
5. Direkt preferensoptimering (DPO) – med router‑biasuppdateringar och den extra lastbalanseringsförlusten inaktiverad för stabilitet
6. Förstärkningsinlärning (RL) – med Miles RL‑ramverket och ROCm‑stöd på AMD Instinct GPU:er, med IF‑specialiserad RL‑träning och Multi‑Teacher On‑Policy Distillation (MOPD)

Prestanda i riktmärken

Instella‑MoE‑16B‑A3B basmodell uppnådde ett genomsnittligt resultat på 76,7 i standardriktmärken, vilket placerar den bland de främsta helt öppna modellerna i sin storleksklass . Den rapporteras överträffa SmolLM3‑3B och OLMo‑3‑7B och konkurrerar med större modeller trots att den bara aktiverar 2,8 miljarder parametrar per token .

Fullständig transparens och licensiering

I linje med sitt engagemang för öppen AI har AMD publicerat alla träningsartefakter öppet :

• Modellvikter från varje träningssteg
• Träningskonfigurationer och datablandningar
• Mellanlagringscheckpunkter
• Slutledningskod

Alla artefakter finns på Hugging Face under namnområdet amd/Instella‑MoE‑16B‑A3B och är licensierade under en Research RAIL (Responsible AI License) för akademiskt bruk och forskning .

Strategisk betydelse

Instella-MoE är mer än bara en modell – det är ett konkret bevis på att AMD:s ROCm‑programvara och Instinct‑hårdvara kan stödja AI‑utveckling i toppklass, från förträning till förstärkningsinlärning, med helt öppen infrastruktur. Genom att leverera konkurrenskraftiga riktmärken mot ledande öppna modeller som tränats på Nvidia‑hårdvara positionerar AMD sitt ekosystem som ett verkligt alternativ till Nvidias CUDA för storskalig AI‑forskning och utveckling .

Arkitektur och innovationer

Instella-MoE använder en shared‑plus‑routed expertkonfiguration med 2 alltid aktiva delade experter och 6 routade experter som väljs från en pool på 64 per token . Modellen består av 27 avkodarlager med en gömd dimension på 2 048 . Två arkitektoniska innovationer utmärker sig:

• Gated Multi‑head Latent Attention (Gated MLA): En förbättring av standard‑MLA som lägger till en lättviktig, inlärd utport (gate) med data‑driven olinjäritet. Den dämpar selektivt uppmärksamhetssvar med låg nytta och ökar uttryckskraften till en blygsam beräkningskostnad .
• FarSkip‑Collective: En modifiering av MoE‑kopplingen som överlappar kommunikation med beräkning under expertparallell träning, vilket minskar kommunikationsflaskhalsar. Under förträningen snabbade tekniken upp träningen med 12,7 % .

Modellen använder också ett Multi‑Token Prediction‑mål (MTP) under förtränings‑ och mellanfaserna .

Kontextfönster

Efter en särskild fas med långkontextutökning stöder Instella-MoE ett 64K‑token långt kontextfönster .

Sex steg i träningspipelinen

AMD har publicerat hela träningspipelinen, som består av sex steg :

1. Förträning
2. Mellanträning
3. Långkontextutökning (till 64K token)
4. Övervakad finjustering (SFT) – inklusive en feedback‑driven datakureringsfas med finkornig felanalys och likhetsbaserad återvinning
5. Direkt preferensoptimering (DPO) – med router‑biasuppdateringar och den extra lastbalanseringsförlusten inaktiverad för stabilitet
6. Förstärkningsinlärning (RL) – med Miles RL‑ramverket och ROCm‑stöd på AMD Instinct GPU:er, med IF‑specialiserad RL‑träning och Multi‑Teacher On‑Policy Distillation (MOPD)

Prestanda i riktmärken

Instella‑MoE‑16B‑A3B basmodell uppnådde ett genomsnittligt resultat på 76,7 i standardriktmärken, vilket placerar den bland de främsta helt öppna modellerna i sin storleksklass . Den rapporteras överträffa SmolLM3‑3B och OLMo‑3‑7B och konkurrerar med större modeller trots att den bara aktiverar 2,8 miljarder parametrar per token .

Fullständig transparens och licensiering

I linje med sitt engagemang för öppen AI har AMD publicerat alla träningsartefakter öppet :

• Modellvikter från varje träningssteg
• Träningskonfigurationer och datablandningar
• Mellanlagringscheckpunkter
• Slutledningskod

Alla artefakter finns på Hugging Face under namnområdet amd/Instella‑MoE‑16B‑A3B och är licensierade under en Research RAIL (Responsible AI License) för akademiskt bruk och forskning .

Strategisk betydelse

Instella-MoE är mer än bara en modell – det är ett konkret bevis på att AMD:s ROCm‑programvara och Instinct‑hårdvara kan stödja AI‑utveckling i toppklass, från förträning till förstärkningsinlärning, med helt öppen infrastruktur. Genom att leverera konkurrenskraftiga riktmärken mot ledande öppna modeller som tränats på Nvidia‑hårdvara positionerar AMD sitt ekosystem som ett verkligt alternativ till Nvidias CUDA för storskalig AI‑forskning och utveckling .