AMD Instella-MoE: Täysin avoin 16B:n asiantuntijamalli koulutettuna AMD Instinct -kiihdyttimillä

Arkkitehtuuri ja innovaatiot

Instella-MoE käyttää jaettujen ja reititettyjen asiantuntijoiden konfiguraatiota, jossa on 2 aina aktiivista jaettua asiantuntijaa ja 6 reititettyä asiantuntijaa, jotka valitaan 64 asiantuntijan joukosta tokenia kohden . Mallissa on 27 dekooderikerrosta, kussakin piilotettu koko 2 048 . Kaksi arkkitehtuurista innovaatiota erottuvat edukseen:

• Gated Multi-head Latent Attention (Gated MLA): Paranneltu versio Multi-head Latent Attention -mekanismista. Se lisää kevyen opitun ulostuloportin, joka tuo datalähtöistä epälineaarisuutta ja vaimentaa matalahyötyisiä tulosignaalien vasteita, lisäten ilmaisuvoimaa ilman suurta laskennallista lisäkuormaa .
• FarSkip-Collective: Muunnos MoE-yhteyksiin, joka limittää viestinnän ja laskennan asiantuntijarinnakkaisessa koulutuksessa, vähentäen viestintäkatkoksia. Esikoulutuksessa tämä nopeutti koulutusta 12,7 % .

Malli käyttää myös monen tokenin ennustus (MTP) -tavoitetta esi- ja keskivaiheen koulutuksen aikana .

Konteksti-ikkuna

Omistetun pitkän kontekstin laajennuskoulutuksen jälkeen Instella-MoE tukee 64 000 tokenin kontekstia .

Kuusivaiheinen koulutusputki

AMD julkaisi täydellisen koulutusputken, joka koostuu kuudesta peräkkäisestä vaiheesta :

1. Esikoulutus
2. Keskivaiheen koulutus
3. Pitkän kontekstin laajennus (kontekstin pidentäminen 64 000 tokeniin)
4. Valvottu hienosäätö (SFT) — sisältää palautepohjaisen datan kuratointivaiheen tarkkarajaisen virheanalyysin ja samankaltaisuuteen perustuvan haun avulla
5. Suora preferenssioptimointi (DPO) — reitittimen harhapäivityksillä ja apukuormituksen tasapainotushäviön poiskytkennällä koulutusvakauden ylläpitämiseksi
6. Vahvistusoppiminen (RL) — käyttäen Miles RL -kehystä ROCm-tuella AMD Instinct -näytönohjaimilla, sisältäen IF-spesialisoitua RL-koulutusta ja Multi-Teacher On-Policy Distillation (MOPD) -mallia

Suorituskyky vertailutesteissä

Instella-MoE-16B-A3B -perusmalli saavutti keskiarvon 76,7 standardoiduissa vertailutesteissä, sijoittuen parhaiden täysin avoimien mallien joukossa omassa koossaan . Sen raportoitiin päihittävän SmolLM3-3B- ja OLMo-3-7B-mallit, ja se kilpaili suurempien mallien kanssa huolimatta siitä, että se aktivoi vain 2,8 miljardia parametria tokenia kohden .

Täysi läpinäkyvyys ja lisensointi

Sitoutuneena avoimeen tekoälyyn AMD julkaisi kaikki koulutusartefaktit avoimesti :

• Mallin painot jokaisesta koulutusvaiheesta
• Koulutuskonfiguraatiot ja datasekoitukset
• Välitarkistuspisteet
• Päättelykoodi

Kaikki artefaktit ovat saatavilla Hugging Facessa nimiavaruudessa amd/Instella-MoE-16B-A3B, lisensoituina Research RAIL (Responsible AI License) -lisenssillä akateemisiin ja tutkimustarkoituksiin .

Strateginen merkitys

Instella-MoE on enemmän kuin vain mallijulkaisu – se on suora todiste siitä, että AMD:n ROCm-ohjelmistopino ja Instinct-laitteisto kykenevät tukemaan huipputason tekoälykehitystä esikoulutuksesta RL:ään täysin avointa infrastruktuuria hyödyntäen. Tarjoamalla kilpailukykyisiä vertailutuloksia Nvidian laitteistolla koulutettuja johtavia avoimen lähdekoodin malleja vastaan AMD asemoi ekosysteemsinsä varteenotettavaksi vaihtoehdoksi Nvidian CUDA:lle laajamittaisessa tekoälytutkimuksessa ja -kehityksessä .