Seni Bina dan Inovasi

Instella-MoE menggunakan konfigurasi pakar kongsi dan laluan (shared-plus-routed experts) dengan 2 pakar kongsi yang sentiasa aktif dan 6 pakar laluan yang dipilih daripada kumpulan 58 pakar lain bagi setiap token . Model ini terdiri daripada 27 lapisan dekoder dengan saiz tersembunyi 2,048 . Dua inovasi seni bina yang menonjol:

• Gated Multi-head Latent Attention (Gated MLA): Penambahbaikan kepada Multi-head Latent Attention (MLA) standard. Ia menambah get output ringan yang mempelajari cara mengenakan keluk tak linear, secara selektif melemahkan respons perhatian yang kurang berguna untuk meningkatkan ekspresi model dengan kos pengiraan yang kecil .
• FarSkip-Collective: Pengubahsuaian pada sambungan MoE yang membenarkan komunikasi dan pengiraan bertindih semasa latihan selari, mengurangkan masa terbiar. Semasa pra-latihan, teknik ini mempercepatkan latihan sebanyak 12.7% .

Model ini juga menggunakan objektif Multi-Token Prediction (MTP) semasa fasa pra-latihan dan latihan pertengahan .

Tetingkap Konteks

Selepas peringkat latihan lanjutan konteks khas, Instella-MoE menyokong tetingkap konteks sehingga 64K token .

Enam Peringkat Latihan

AMD menerbitkan keseluruhan saluran paip latihan yang terdiri daripada enam peringkat berturut-turut :

1. Pra-latihan
2. Latihan Pertengahan
3. Sambungan Konteks Panjang (melanjutkan konteks kepada 64K token)
4. Penalaan Halus Terselia (SFT) — termasuk peringkat kurasi data berdasarkan maklum balas menggunakan analisis ralat terperinci dan pencarian berdasarkan persamaan
5. Pengoptimuman Keutamaan Langsung (DPO) — dengan kemas kini bias penghala dan fungsi pengimbangan beban tambahan dilumpuhkan untuk mengekalkan kestabilan latihan
6. Pembelajaran Pengukuhan (RL) — menggunakan rangka kerja Miles RL dengan sokongan ROCm pada GPU AMD Instinct, termasuk latihan RL khusus IF dan Penyulingan Dasar Multi-Guru (MOPD)

Prestasi Penanda Aras

Model asas Instella-MoE-16B-A3B mencapai skor purata 76.7 dalam penanda aras standard, meletakkannya antara model terbuka terbaik pada skala tersebut . Ia dilaporkan mengatasi SmolLM3-3B dan OLMo-3-7B, serta mampu bersaing dengan model yang lebih besar walaupun hanya mengaktifkan 2.8 bilion parameter setiap token .

Ketelusan Penuh dan Pelesenan

Selari dengan komitmen terhadap AI terbuka, AMD mengeluarkan semua artifak latihan secara terbuka :

• Pemberat model dari setiap peringkat latihan
• Konfigurasi latihan dan campuran data
• Pusat pemeriksaan pertengahan
• Kod inferens

Kesemua artifak boleh didapati di Hugging Face di bawah ruang nama amd/Instella-MoE-16B-A3B, dilesenkan di bawah Research RAIL (Responsible AI License) untuk tujuan akademik dan penyelidikan .

Kepentingan Strategik

Instella-MoE bukan sekadar pelancaran model — ia adalah bukti langsung bahawa timbunan perisian ROCm dan perkakasan GPU Instinct AMD mampu menyokong pembangunan AI berskala besar, dari pra-latihan hingga RL, menggunakan infrastruktur terbuka sepenuhnya. Dengan menyampaikan penanda aras yang kompetitif berbanding model sumber terbuka terkemuka yang dilatih pada perkakasan Nvidia, AMD meletakkan ekosistemnya sebagai alternatif yang berdaya maju kepada CUDA Nvidia untuk penyelidikan dan pembangunan AI berskala besar .

Seni Bina dan Inovasi

Instella-MoE menggunakan konfigurasi pakar kongsi dan laluan (shared-plus-routed experts) dengan 2 pakar kongsi yang sentiasa aktif dan 6 pakar laluan yang dipilih daripada kumpulan 58 pakar lain bagi setiap token . Model ini terdiri daripada 27 lapisan dekoder dengan saiz tersembunyi 2,048 . Dua inovasi seni bina yang menonjol:

• Gated Multi-head Latent Attention (Gated MLA): Penambahbaikan kepada Multi-head Latent Attention (MLA) standard. Ia menambah get output ringan yang mempelajari cara mengenakan keluk tak linear, secara selektif melemahkan respons perhatian yang kurang berguna untuk meningkatkan ekspresi model dengan kos pengiraan yang kecil .
• FarSkip-Collective: Pengubahsuaian pada sambungan MoE yang membenarkan komunikasi dan pengiraan bertindih semasa latihan selari, mengurangkan masa terbiar. Semasa pra-latihan, teknik ini mempercepatkan latihan sebanyak 12.7% .

Model ini juga menggunakan objektif Multi-Token Prediction (MTP) semasa fasa pra-latihan dan latihan pertengahan .

Tetingkap Konteks

Selepas peringkat latihan lanjutan konteks khas, Instella-MoE menyokong tetingkap konteks sehingga 64K token .

Enam Peringkat Latihan

AMD menerbitkan keseluruhan saluran paip latihan yang terdiri daripada enam peringkat berturut-turut :

1. Pra-latihan
2. Latihan Pertengahan
3. Sambungan Konteks Panjang (melanjutkan konteks kepada 64K token)
4. Penalaan Halus Terselia (SFT) — termasuk peringkat kurasi data berdasarkan maklum balas menggunakan analisis ralat terperinci dan pencarian berdasarkan persamaan
5. Pengoptimuman Keutamaan Langsung (DPO) — dengan kemas kini bias penghala dan fungsi pengimbangan beban tambahan dilumpuhkan untuk mengekalkan kestabilan latihan
6. Pembelajaran Pengukuhan (RL) — menggunakan rangka kerja Miles RL dengan sokongan ROCm pada GPU AMD Instinct, termasuk latihan RL khusus IF dan Penyulingan Dasar Multi-Guru (MOPD)

Prestasi Penanda Aras

Model asas Instella-MoE-16B-A3B mencapai skor purata 76.7 dalam penanda aras standard, meletakkannya antara model terbuka terbaik pada skala tersebut . Ia dilaporkan mengatasi SmolLM3-3B dan OLMo-3-7B, serta mampu bersaing dengan model yang lebih besar walaupun hanya mengaktifkan 2.8 bilion parameter setiap token .

Ketelusan Penuh dan Pelesenan

Selari dengan komitmen terhadap AI terbuka, AMD mengeluarkan semua artifak latihan secara terbuka :

• Pemberat model dari setiap peringkat latihan
• Konfigurasi latihan dan campuran data
• Pusat pemeriksaan pertengahan
• Kod inferens

Kesemua artifak boleh didapati di Hugging Face di bawah ruang nama amd/Instella-MoE-16B-A3B, dilesenkan di bawah Research RAIL (Responsible AI License) untuk tujuan akademik dan penyelidikan .

Kepentingan Strategik

Instella-MoE bukan sekadar pelancaran model — ia adalah bukti langsung bahawa timbunan perisian ROCm dan perkakasan GPU Instinct AMD mampu menyokong pembangunan AI berskala besar, dari pra-latihan hingga RL, menggunakan infrastruktur terbuka sepenuhnya. Dengan menyampaikan penanda aras yang kompetitif berbanding model sumber terbuka terkemuka yang dilatih pada perkakasan Nvidia, AMD meletakkan ekosistemnya sebagai alternatif yang berdaya maju kepada CUDA Nvidia untuk penyelidikan dan pembangunan AI berskala besar .