AMD Instella-MoE: Plně otevřený model se 16 miliardami parametrů a architekturou směsi expertů

Architektura a inovace

Instella-MoE využívá konfiguraci sdílených a směrovaných expertů se 2 vždy aktivními sdílenými experty a 6 směrovanými experty, kteří jsou vybíráni z celkového fondu 64 expertů na každý token . Model se skládá z 27 dekodérových vrstev, každá s hidden size 2 048 . Dvě architektonické novinky stojí za pozornost:

• Gated Multi-head Latent Attention (Gated MLA): Rozšíření standardní Multi-head Latent Attention (MLA). Přidává lehkou naučenou výstupní bránu, která zavádí datově řízenou nelinearitu a selektivně zeslabuje málo užitečné odezvy pozornosti, čímž zvyšuje expresivitu při nízkých výpočetních nákladech .
• FarSkip-Collective: Úprava konektivity MoE, která překrývá komunikaci s výpočty během tréninku expert-paralelních modelů a omezuje tak komunikační prodlevy. Během předtréninku tato technika zrychlila trénink o 12,7 % .

Model také během předtréninku a středního tréninku používá cíl Multi-Token Prediction (MTP) .

Kontextové okno

Po specializované fázi prodloužení kontextu podporuje Instella-MoE kontext o délce 64K tokenů .

Šestifázový tréninkový pipeline

AMD zveřejnilo kompletní tréninkový pipeline, který se skládá ze šesti na sebe navazujících fází :

1. Předtrénink
2. Střední trénink
3. Rozšíření dlouhého kontextu (na 64K tokenů)
4. Supervised Fine-Tuning (SFT) – včetně fáze kurátorování dat řízené zpětnou vazbou s využitím detailní analýzy chyb a vyhledávání na základě podobnosti
5. Direct Preference Optimization (DPO) – s aktualizacemi předpojatosti směrovače a vypnutím pomocné ztráty pro vyvážení zátěže kvůli stabilitě tréninku
6. Reinforcement Learning (RL) – s využitím frameworku Miles RL s podporou ROCm na GPU AMD Instinct, zahrnující RL trénink specializovaný na IF a Multi-Teacher On-Policy Distillation (MOPD)

Výsledky benchmarků

Základní model Instella-MoE-16B-A3B dosáhl průměrného skóre 76,7 ve standardních benchmarcích, čímž se zařadil mezi nejlepší plně otevřené modely své velikosti . Podle dostupných informací překonal modely SmolLM3-3B a OLMo-3-7B a dokázal konkurovat i větším modelům, přestože aktivuje jen 2,8 miliardy parametrů na token .

Plná transparentnost a licence

V souladu se svým závazkem k otevřené AI AMD zveřejnilo všechny tréninkové artefakty :

• Váhy modelů z každé tréninkové fáze
• Tréninkové konfigurace a datové směsi
• Mezilehlé checkpointy
• Inferenční kód

Všechny artefakty jsou k dispozici na Hugging Face pod namespacem amd/Instella-MoE-16B-A3B a jsou licencovány pod Research RAIL (Responsible AI License) pro akademické a výzkumné účely .

Strategický význam

Instella-MoE je víc než jen vydání modelu – je to přímý důkaz, že softwarový stack AMD ROCm a hardware Instinct GPU dokážou podpořit vývoj AI na špičkové úrovni, od předtréninku po reinforcement learning, s využitím zcela otevřené infrastruktury. Tím, že dosahuje konkurenceschopných výsledků v porovnání s předními open-source modely trénovanými na hardwaru Nvidia, staví AMD svůj ekosystém do role životaschopné alternativy k Nvidia CUDA pro rozsáhlý výzkum a vývoj v oblasti umělé inteligence .