Arkitektur og nyvinninger

Instella-MoE benytter en delt-og-ruterkonfigurasjon med 2 alltid aktive delte eksperter og 6 ruterte eksperter valgt fra en pool på 64 per token . Modellen består av 27 dekoderlag, hver med en skjult dimensjon på 2 048 . To arkitektoniske nyvinninger skiller seg ut:

• Gated Multi-head Latent Attention (Gated MLA): En utvidelse av standard Multi-head Latent Attention (MLA). Den legger til en lettvekts lært utgangsport som introduserer en datadrevet ikke-linearitet, og selektivt demper lavnytte-oppmerksomhetsresponser for å øke uttrykkskraften med beskjeden beregningskostnad .
• FarSkip-Collective: En modifikasjon av MoE-konnektivitet som overlapper kommunikasjon med beregning under ekspertparallell trening, noe som reduserer kommunikasjonsbobler. Under forhåndsopplæring akselererte denne teknikken treningen med 12,7 % .

Modellen bruker også et Multi-Token Prediction (MTP) -mål under forhåndsopplærings- og mellomopplæringsfasene .

Kontekstvindu

Etter en dedikert treningsfase for utvidelse av lang kontekst støtter Instella-MoE et 64K-token kontekstvindu .

Seks-trinns opplæringspipeline

AMD publiserte hele opplæringspipelinen, som består av seks sekvensielle trinn :

1. Forhåndsopplæring (Pre-training)
2. Mellomopplæring (Mid-training)
3. Utvidelse av lang kontekst (Long-Context Extension) – utvider konteksten til 64K tokens
4. Overvåket finjustering (SFT) – inkluderer et tilbakemeldingsdrevet datasamlingstrinn med finmasket feilanalyse og likhetsbasert gjenfinning
5. Direkte preferanseoptimalisering (DPO) – med ruter-bias-oppdateringer og det ekstra lastbalanseringsmålet deaktivert for å opprettholde treningsstabilitet
6. Forsterkningsopplæring (RL) – ved hjelp av Miles RL-rammeverket med ROCm-støtte på AMD Instinct-GPUer, inkludert IF-spesialisert RL-trening og Multi-Teacher On-Policy Distillation (MOPD)

Ytelse på benchmark-tester

Instella-MoE-16B-A3B-basismodellen oppnådde en gjennomsnittlig poengsum på 76,7 på standard benchmark-tester, noe som plasserer den blant de beste fullstendig åpne modellene i sin klasse . Den skal ha prestert bedre enn SmolLM3-3B og OLMo-3-7B, og konkurrert med større modeller til tross for at den bare aktiverer 2,8 milliarder parametre per token .

Full åpenhet og lisensiering

I tråd med sitt engasjement for åpen KI, frigjorde AMD alle treningsartefakter åpent :

• Modellvekter fra hvert treningssteg
• Opplæringskonfigurasjoner og datablandinger
• Mellomlagrede sjekkpunkter
• Kode for slutninger

Alle artefakter er tilgjengelige på Hugging Face under navnerommet amd/Instella-MoE-16B-A3B, lisensiert under en Research RAIL (Responsible AI License) for akademiske og forskningsformål .

Strategisk betydning

Instella-MoE er mer enn bare en modell – det er et direkte bevis på at AMDs ROCm-programvarestakk og Instinct-GPU-maskinvare kan støtte avansert KI-utvikling, fra forhåndsopplæring til forsterkningsopplæring, ved hjelp av fullstendig åpen infrastruktur. Ved å levere konkurransedyktige benchmarkresultater mot ledende åpne modeller trent på Nvidia-maskinvare, posisjonerer AMD sitt økosystem som et levedyktig alternativ til Nvidias CUDA for storskala KI-forskning og -utvikling .

Arkitektur og nyvinninger

Instella-MoE benytter en delt-og-ruterkonfigurasjon med 2 alltid aktive delte eksperter og 6 ruterte eksperter valgt fra en pool på 64 per token . Modellen består av 27 dekoderlag, hver med en skjult dimensjon på 2 048 . To arkitektoniske nyvinninger skiller seg ut:

• Gated Multi-head Latent Attention (Gated MLA): En utvidelse av standard Multi-head Latent Attention (MLA). Den legger til en lettvekts lært utgangsport som introduserer en datadrevet ikke-linearitet, og selektivt demper lavnytte-oppmerksomhetsresponser for å øke uttrykkskraften med beskjeden beregningskostnad .
• FarSkip-Collective: En modifikasjon av MoE-konnektivitet som overlapper kommunikasjon med beregning under ekspertparallell trening, noe som reduserer kommunikasjonsbobler. Under forhåndsopplæring akselererte denne teknikken treningen med 12,7 % .

Modellen bruker også et Multi-Token Prediction (MTP) -mål under forhåndsopplærings- og mellomopplæringsfasene .

Kontekstvindu

Etter en dedikert treningsfase for utvidelse av lang kontekst støtter Instella-MoE et 64K-token kontekstvindu .

Seks-trinns opplæringspipeline

AMD publiserte hele opplæringspipelinen, som består av seks sekvensielle trinn :

1. Forhåndsopplæring (Pre-training)
2. Mellomopplæring (Mid-training)
3. Utvidelse av lang kontekst (Long-Context Extension) – utvider konteksten til 64K tokens
4. Overvåket finjustering (SFT) – inkluderer et tilbakemeldingsdrevet datasamlingstrinn med finmasket feilanalyse og likhetsbasert gjenfinning
5. Direkte preferanseoptimalisering (DPO) – med ruter-bias-oppdateringer og det ekstra lastbalanseringsmålet deaktivert for å opprettholde treningsstabilitet
6. Forsterkningsopplæring (RL) – ved hjelp av Miles RL-rammeverket med ROCm-støtte på AMD Instinct-GPUer, inkludert IF-spesialisert RL-trening og Multi-Teacher On-Policy Distillation (MOPD)

Ytelse på benchmark-tester

Instella-MoE-16B-A3B-basismodellen oppnådde en gjennomsnittlig poengsum på 76,7 på standard benchmark-tester, noe som plasserer den blant de beste fullstendig åpne modellene i sin klasse . Den skal ha prestert bedre enn SmolLM3-3B og OLMo-3-7B, og konkurrert med større modeller til tross for at den bare aktiverer 2,8 milliarder parametre per token .

Full åpenhet og lisensiering

I tråd med sitt engasjement for åpen KI, frigjorde AMD alle treningsartefakter åpent :

• Modellvekter fra hvert treningssteg
• Opplæringskonfigurasjoner og datablandinger
• Mellomlagrede sjekkpunkter
• Kode for slutninger

Alle artefakter er tilgjengelige på Hugging Face under navnerommet amd/Instella-MoE-16B-A3B, lisensiert under en Research RAIL (Responsible AI License) for akademiske og forskningsformål .

Strategisk betydning

Instella-MoE er mer enn bare en modell – det er et direkte bevis på at AMDs ROCm-programvarestakk og Instinct-GPU-maskinvare kan støtte avansert KI-utvikling, fra forhåndsopplæring til forsterkningsopplæring, ved hjelp av fullstendig åpen infrastruktur. Ved å levere konkurransedyktige benchmarkresultater mot ledende åpne modeller trent på Nvidia-maskinvare, posisjonerer AMD sitt økosystem som et levedyktig alternativ til Nvidias CUDA for storskala KI-forskning og -utvikling .