AMD Instella-MoE: Et fuldt åbent 16-milliarders MoE-sprogmodel, trænet på AMD Instinct GPU'er

Arkitektur og Innovationer

Instella-MoE anvender en shared-plus-routed expert-konfiguration med 2 altid aktive delte eksperter og 6 routede eksperter udvalgt fra en pulje på 64 pr. token . Modellen består af 27 decoder-lag med en skjult størrelse på 2.048 . To arkitektoniske innovationer skiller sig ud:

• Gated Multi-head Latent Attention (Gated MLA): En forbedring af standard Multi-head Latent Attention (MLA). Den tilføjer en letvægtsindlært output-port, der introducerer en datadrevet ikke-linearitet, som selektivt dæmper lav-nytte-opmærksomhedssvar for at øge udtryksfuldheden til en beskeden beregningsmæssig omkostning .
• FarSkip-Collective: En ændring af MoE-forbindelsen, der overlapper kommunikation med beregning under ekspert-parallel træning, hvilket reducerer kommunikationsbobler. Under præ-træning accelererede denne teknik træningen med 12,7% .

Modellen bruger også et Multi-Token Prediction (MTP)-mål under præ-træning og midt-træning .

Kontekstvindue

Efter en dedikeret træningsfase til forlængelse af konteksten understøtter Instella-MoE en 64K-tokens kontekst .

Seks-trins Træningspipeline

AMD offentliggjorde den komplette træningspipeline, som består af seks sekventielle faser :

1. Præ-træning
2. Midt-træning
3. Lang-kontekst-forlængelse (udvidelse til 64K tokens)
4. Supervised Fine-Tuning (SFT) – inklusive en feedback-drevet datakurationsfase med finkornet fejlanalyse og lighedsbaseret genfinding
5. Direct Preference Optimization (DPO) – med router-bias-opdateringer og deaktivering af det ekstra belastningsafbalanceringsstab for at opretholde træningsstabilitet
6. Forstærkningslæring (RL) – ved hjælp af Miles RL-rammen med ROCm-understøttelse på AMD Instinct GPU'er, inklusive IF-specialiseret RL-træning og Multi-Teacher On-Policy Distillation (MOPD)

Benchmarkydelse

Instella-MoE-16B-A3B-basismodellen opnåede en gennemsnitlig score på 76,7 på standardbenchmarks, hvilket placerer den blandt de bedste fuldt åbne modeller på dens skala . Den overgik angiveligt SmolLM3-3B og OLMo-3-7B og konkurrerede med større modeller på trods af kun at aktivere 2,8 milliarder parametre pr. token .

Fuld Gennemsigtighed og Licensering

I tråd med sin forpligtelse til åben AI frigav AMD alle træningsartefakter åbent :

• Modelvægte fra alle træningsstadier
• Træningskonfigurationer og datablandinger
• Mellemliggende checkpoint'er
• Slutningskode

Alle artefakter er tilgængelige på Hugging Face under amd/Instella-MoE-16B-A3B-navnerummet og er licenseret under en Research RAIL (Responsible AI License) til akademiske og forskningsmæssige formål .

Strategisk Betydning

Instella-MoE er mere end blot en modeludgivelse – det er et direkte bevis på, at AMDs ROCm-softwarestak og Instinct-GPU-hardware kan understøtte frontlinje-AI-udvikling, fra præ-træning til RL, ved hjælp af fuldt åben infrastruktur. Ved at levere konkurrencedygtige benchmarks mod førende open source-modeller trænet på Nvidia-hardware positionerer AMD sit økosystem som et levedygtigt alternativ til Nvidias CUDA til storstilet AI-forskning og -udvikling .