AMD Instella-MoE: Tamamen Açık 16 Milyar Parametrelik Uzman Karışımı Modeli

Mimari ve Yenilikler

Instella-MoE, paylaşımlı artı yönlendirilmiş uzman konfigürasyonu kullanır. Her bir token için 2'si her zaman aktif paylaşımlı uzman ve 64'lük bir havuzdan seçilen 6 yönlendirilmiş uzman olmak üzere toplam 27 kod çözücü katmanından oluşur . Modeldeki iki önemli mimari yenilik şunlardır:

• Gated Multi-head Latent Attention (Gated MLA): Standart Multi-head Latent Attention'ın (MLA) bir geliştirmesidir. Hafif bir öğrenilmiş çıktı kapısı ekleyerek, veri odaklı bir doğrusal olmama durumu yaratır ve düşük faydalı dikkat yanıtlarını seçici olarak zayıflatır. Bu sayede düşük bir hesaplama maliyetiyle ifade gücünü artırır .
• FarSkip-Collective: Uzman-paralel eğitim sırasında iletişim ile hesaplamayı üst üste bindirerek iletişim boşluklarını azaltan bir MoE bağlantı değişikliğidir. Ön eğitim sırasında bu teknik, eğitimi %12.7 oranında hızlandırmıştır .

Model ayrıca ön eğitim ve orta eğitim aşamalarında Multi-Token Prediction (MTP) hedefini kullanır .

Bağlam Penceresi

Özel bir uzun bağlam genişletme eğitim aşamasının ardından Instella-MoE, 64K token uzunluğunda bir bağlamı destekler .

Altı Aşamalı Eğitim Hattı

AMD, altı aşamadan oluşan tam eğitim hattını yayınladı :

1. Ön Eğitim
2. Orta Eğitim
3. Uzun Bağlam Genişletme (bağlamı 64K token'a çıkarma)
4. Denetimli İnce Ayar (SFT) — ince taneli hata analizi ve benzerlik tabanlı erişim kullanan geri bildirim odaklı bir veri düzenleme aşamasını içerir
5. Doğrudan Tercih Optimizasyonu (DPO) — stabiliteyi korumak için yönlendirici önyargı güncellemeleri ve yardımcı yük dengeleme kaybının devre dışı bırakılmasıyla
6. Pekiştirmeli Öğrenme (RL) — AMD Instinct GPU'larında ROCm desteğiyle Miles RL çerçevesini kullanarak; IF-özelleştirilmiş RL eğitimi ve Çoklu Öğretmen Politika İçi Damıtma (MOPD) içerir

Kıyaslama Performansı

Instella-MoE-16B-A3B temel modeli, standart kıyaslamalarda 76.7 ortalama puan elde ederek, kendi ölçeğindeki en iyi tamamen açık modeller arasında yer aldı . Bildirilenlere göre, SmolLM3-3B ve OLMo-3-7B modellerini geride bırakırken, token başına yalnızca 2.8 milyar parametreyi aktif hale getirmesine rağmen daha büyük modellerle rekabet etti .

Tam Şeffaflık ve Lisanslama

AMD, açık yapay zekaya olan bağlılığı doğrultusunda tüm eğitim yapıtlarını açıkça yayınladı :

• Her eğitim aşamasından model ağırlıkları
• Eğitim konfigürasyonları ve veri karışımları
• Ara kontrol noktaları
• Çıkarım kodu

Tüm yapıtlar, Hugging Face'te amd/Instella-MoE-16B-A3B ad alanında mevcut olup, Araştırma RAIL (Sorumlu Yapay Zeka Lisansı) kapsamında akademik ve araştırma amaçları için lisanslanmıştır .

Stratejik Önem

Instella-MoE, bir model sürümünden daha fazlasıdır. Bu, AMD'nin ROCm yazılım yığını ve Instinct GPU donanımının, tamamen açık bir altyapı kullanarak ön eğitimden RL'ye kadar sınır ölçeğinde yapay zeka gelişimini destekleyebileceğinin doğrudan bir kanıtıdır. NVIDIA donanımında eğitilmiş önde gelen açık kaynak modellere karşı rekabetçi kıyaslamalar sunarak AMD, ekosistemini büyük ölçekli yapay zeka araştırma ve geliştirmesi için NVIDIA'nın CUDA'sına uygun bir alternatif olarak konumlandırıyor .