Architektura i innowacje

Instella-MoE wykorzystuje konfigurację ekspertów współdzielonych i routowanych z 2 zawsze aktywnymi ekspertami współdzielonymi oraz 6 routowanymi ekspertami wybieranymi z puli 64 na token . Model składa się z 27 warstw dekodera, każda z ukrytym rozmiarem 2048 . Wyróżniają się dwie innowacje architektoniczne:

• Gated Multi-head Latent Attention (Gated MLA): Rozszerzenie standardowej uwagi wielogłowicowej (MLA) o lekką, wyuczalną bramkę wyjściową. Wprowadza ona nieliniowość opartą na danych, selektywnie tłumiąc odpowiedzi uwagi o niskiej użyteczności, co zwiększa ekspresyjność przy niewielkim koszcie obliczeniowym .
• FarSkip-Collective: Modyfikacja łączności w MoE, która nakłada komunikację na obliczenia podczas trenowania z równoległością ekspertów, redukując przestoje komunikacyjne. Podczas wstępnego trenowania technika ta przyspieszyła proces o 12,7% .

Model wykorzystuje również cel Multi-Token Prediction (MTP) podczas faz wstępnego i środkowego trenowania .

Okno kontekstowe

Po dedykowanym etapie rozszerzania kontekstu, Instella-MoE obsługuje kontekst o długości 64K tokenów .

Sześcioetapowy pipeline treningowy

AMD opublikowało kompletny pipeline treningowy składający się z sześciu następujących po sobie etapów :

1. Wstępne trenowanie
2. Trenowanie środkowe
3. Rozszerzanie kontekstu (do 64K tokenów)
4. Nadzorowane dostrajanie (SFT) – z fazą selekcji danych opartą na szczegółowej analizie błędów i wyszukiwaniu podobieństw
5. Bezpośrednia optymalizacja preferencji (DPO) – z aktualizacją obciążeń routera i wyłączeniem pomocniczej funkcji strat równoważącej obciążenie w celu utrzymania stabilności trenowania
6. Uczenie przez wzmocnienie (RL) – z wykorzystaniem frameworku Miles RL ze wsparciem dla ROCm na GPU AMD Instinct, obejmujące specjalizowane trenowanie RL IF i wielonauczycielową dystylację polityki (MOPD)

Wyniki benchmarków

Model bazowy Instella-MoE-16B-A3B osiągnął średni wynik 76,7 pkt w standardowych benchmarkach, plasując się wśród najlepszych w pełni otwartych modeli w swojej skali . Według doniesień przewyższył on modele SmolLM3-3B i OLMo-3-7B, a także konkurował z większymi modelami, mimo aktywowania tylko 2,8 miliarda parametrów na token .

Pełna przejrzystość i licencjonowanie

Zgodnie z zaangażowaniem w otwartą AI, AMD udostępniło wszystkie elementy treningowe :

• Wagi modelu z każdego etapu trenowania
• Konfiguracje treningowe i składy danych
• Pośrednie punkty kontrolne
• Kod do wnioskowania

Wszystkie elementy są dostępne na Hugging Face w przestrzeni nazw amd/Instella-MoE-16B-A3B na licencji Research RAIL (Responsible AI License) do celów akademickich i badawczych .

Znaczenie strategiczne

Instella-MoE to coś więcej niż tylko wydanie modelu – to bezpośredni dowód na to, że stos oprogramowania ROCm i sprzęt Instinct GPU AMD mogą wspierać rozwój sztucznej inteligencji na skalę frontiera, od wstępnego trenowania po uczenie przez wzmocnienie, w pełni otwartej infrastrukturze. Osiągając wyniki porównywalne z wiodącymi modelami open-source trenowanymi na sprzęcie Nvidii, AMD pozycjonuje swój ekosystem jako realną alternatywę dla CUDA Nvidii w zakresie badań i rozwoju AI na dużą skalę .

Architektura i innowacje

Instella-MoE wykorzystuje konfigurację ekspertów współdzielonych i routowanych z 2 zawsze aktywnymi ekspertami współdzielonymi oraz 6 routowanymi ekspertami wybieranymi z puli 64 na token . Model składa się z 27 warstw dekodera, każda z ukrytym rozmiarem 2048 . Wyróżniają się dwie innowacje architektoniczne:

• Gated Multi-head Latent Attention (Gated MLA): Rozszerzenie standardowej uwagi wielogłowicowej (MLA) o lekką, wyuczalną bramkę wyjściową. Wprowadza ona nieliniowość opartą na danych, selektywnie tłumiąc odpowiedzi uwagi o niskiej użyteczności, co zwiększa ekspresyjność przy niewielkim koszcie obliczeniowym .
• FarSkip-Collective: Modyfikacja łączności w MoE, która nakłada komunikację na obliczenia podczas trenowania z równoległością ekspertów, redukując przestoje komunikacyjne. Podczas wstępnego trenowania technika ta przyspieszyła proces o 12,7% .

Model wykorzystuje również cel Multi-Token Prediction (MTP) podczas faz wstępnego i środkowego trenowania .

Okno kontekstowe

Po dedykowanym etapie rozszerzania kontekstu, Instella-MoE obsługuje kontekst o długości 64K tokenów .

Sześcioetapowy pipeline treningowy

AMD opublikowało kompletny pipeline treningowy składający się z sześciu następujących po sobie etapów :

1. Wstępne trenowanie
2. Trenowanie środkowe
3. Rozszerzanie kontekstu (do 64K tokenów)
4. Nadzorowane dostrajanie (SFT) – z fazą selekcji danych opartą na szczegółowej analizie błędów i wyszukiwaniu podobieństw
5. Bezpośrednia optymalizacja preferencji (DPO) – z aktualizacją obciążeń routera i wyłączeniem pomocniczej funkcji strat równoważącej obciążenie w celu utrzymania stabilności trenowania
6. Uczenie przez wzmocnienie (RL) – z wykorzystaniem frameworku Miles RL ze wsparciem dla ROCm na GPU AMD Instinct, obejmujące specjalizowane trenowanie RL IF i wielonauczycielową dystylację polityki (MOPD)

Wyniki benchmarków

Model bazowy Instella-MoE-16B-A3B osiągnął średni wynik 76,7 pkt w standardowych benchmarkach, plasując się wśród najlepszych w pełni otwartych modeli w swojej skali . Według doniesień przewyższył on modele SmolLM3-3B i OLMo-3-7B, a także konkurował z większymi modelami, mimo aktywowania tylko 2,8 miliarda parametrów na token .

Pełna przejrzystość i licencjonowanie

Zgodnie z zaangażowaniem w otwartą AI, AMD udostępniło wszystkie elementy treningowe :

• Wagi modelu z każdego etapu trenowania
• Konfiguracje treningowe i składy danych
• Pośrednie punkty kontrolne
• Kod do wnioskowania

Wszystkie elementy są dostępne na Hugging Face w przestrzeni nazw amd/Instella-MoE-16B-A3B na licencji Research RAIL (Responsible AI License) do celów akademickich i badawczych .

Znaczenie strategiczne

Instella-MoE to coś więcej niż tylko wydanie modelu – to bezpośredni dowód na to, że stos oprogramowania ROCm i sprzęt Instinct GPU AMD mogą wspierać rozwój sztucznej inteligencji na skalę frontiera, od wstępnego trenowania po uczenie przez wzmocnienie, w pełni otwartej infrastrukturze. Osiągając wyniki porównywalne z wiodącymi modelami open-source trenowanymi na sprzęcie Nvidii, AMD pozycjonuje swój ekosystem jako realną alternatywę dla CUDA Nvidii w zakresie badań i rozwoju AI na dużą skalę .