AMD Luncurkan Instella-MoE: Model AI Open-Source 16B yang Siap Saingi Dominasi Nvidia

• Gated Multi-head Latent Attention (Gated MLA): Ini adalah pengembangan dari mekanisme Multi-head Latent Attention (MLA) standar. Gated MLA menambahkan sebuah gate output ringan yang dipelajari, yang secara selektif meredam respons atensi yang kurang berguna. Hasilnya, model menjadi lebih ekspresif dengan biaya komputasi yang relatif kecil .
• FarSkip-Collective: Sebuah modifikasi pada konektivitas MoE yang memungkinkan komunikasi dan komputasi berjalan secara tumpang tindih (overlap) selama pelatihan paralel expert. Teknik ini secara efektif mengurangi 'gelembung komunikasi' dan berhasil mempercepat pelatihan hingga 12,7% .

Model ini juga menggunakan objektif Multi-Token Prediction (MTP) selama fase pre-training dan mid-training .

Jendela Konteks

Setelah melalui tahap pelatihan ekstensi konteks panjang, Instella-MoE mampu mendukung jendela konteks hingga 64K token .

Enam Tahap Pelatihan

AMD mempublikasikan secara lengkap jalur pelatihan model ini yang terdiri dari enam tahap berurutan :

1. Pre-training
2. Mid-training
3. Long-Context Extension (memperluas konteks hingga 64K token)
4. Supervised Fine-Tuning (SFT) — termasuk tahap kurasi data berbasis umpan balik menggunakan analisis kesalahan dan pencarian berbasis kesamaan
5. Direct Preference Optimization (DPO) — dengan pembaruan bias router dan penonaktifan loss penyeimbang beban tambahan untuk menjaga stabilitas pelatihan
6. Reinforcement Learning (RL) — menggunakan framework Miles RL dengan dukungan ROCm pada GPU AMD Instinct, menggabungkan pelatihan RL khusus IF dan Multi-Teacher On-Policy Distillation (MOPD)

Performa Benchmark

Model dasar Instella-MoE-16B-A3B berhasil mencapai skor rata-rata 76,7 pada benchmark standar. Skor ini menempatkannya di jajaran teratas model open-source dengan skala serupa . Model ini dilaporkan mampu mengungguli SmolLM3-3B dan OLMo-3-7B, serta bersaing dengan model yang lebih besar meskipun hanya mengaktifkan 2,8 miliar parameter per token .

Transparansi Penuh dan Lisensi

Sesuai dengan komitmennya terhadap AI terbuka, AMD merilis semua artefak pelatihan secara publik :

• Bobot model dari setiap tahap pelatihan
• Konfigurasi pelatihan dan campuran data (data mixtures)
• Checkpoint antara
• Kode inferensi

Semua artefak ini tersedia di Hugging Face di bawah namespace amd/Instella-MoE-16B-A3B dengan lisensi Research RAIL (Responsible AI License) untuk keperluan akademis dan riset .

Signifikansi Strategis

Instella-MoE bukan sekadar rilis model — ini adalah bukti langsung bahwa tumpukan perangkat lunak ROCm dan GPU Instinct dari AMD mampu mendukung pengembangan AI skala frontier, dari pre-training hingga RL, menggunakan infrastruktur yang sepenuhnya terbuka. Dengan menghadirkan performa benchmark yang kompetitif melawan model open-source terkemuka yang dilatih di perangkat keras Nvidia, AMD memposisikan ekosistemnya sebagai alternatif yang layak bagi ekosistem CUDA milik Nvidia untuk riset dan pengembangan AI skala besar .