AMD 發佈 Instella-MoE：完全開源 16B 專家混合模型，挑戰 NVIDIA CUDA 生態

架構與創新

Instella-MoE 採用共享加路由專家配置，內含 2 個永遠啟動的共享專家，並從 64 個專家中為每個 Token 選取 6 個路由專家 。模型由 27 個解碼器層組成，每個層的隱藏維度為 2,048 。兩項架構創新尤為突出：

• Gated Multi-head Latent Attention（門控多頭潛在注意力，Gated MLA）： 這是標準多頭潛在注意力（MLA）的改良版，加入一個輕量級學習式輸出閘門，透過資料驅動的非線性機制，選擇性地衰減低效用的注意力回應，以適度的運算成本提升表達力 。
• FarSkip-Collective（遠跳躍集體通訊）： 這項 MoE 連線改良技術能在專家並行訓練過程中，讓通訊與運算重疊，減少通訊空窗。在預訓練階段，此技術將訓練速度提升了 12.7% 。

此模型在預訓練與中期訓練階段也使用了多 Token 預測（Multi-Token Prediction, MTP） 目標 。

上下文視窗

經過專門的長上下文擴展訓練後，Instella-MoE 支援 64K Token 的上下文長度 。

六階段訓練管線

AMD 公開了完整的訓練管線，共包含六個循序階段 ：

1. 預訓練（Pre-training）
2. 中期訓練（Mid-training）
3. 長上下文擴展（Long-Context Extension）（將上下文延伸至 64K Token）
4. 監督式微調（Supervised Fine-Tuning, SFT）——包含一個回饋驅動的資料篩選階段，採用細粒度錯誤分析與基於相似度的檢索
5. 直接偏好最佳化（Direct Preference Optimization, DPO）——更新路由器偏誤，並停用輔助負載平衡損失以維持訓練穩定性
6. 強化學習（Reinforcement Learning, RL）——使用 Miles RL 框架，在 AMD Instinct GPU 上以 ROCm 支援執行，包含 IF 專用 RL 訓練與多教師同策略蒸餾（MOPD）

基準測試表現

Instella-MoE-16B-A3B 基礎模型在標準基準測試中取得了 平均 76.7 分，在同等規模的完全開源模型中名列前茅 。據報導，它超越了 SmolLM3-3B 與 OLMo-3-7B，儘管每個 Token 僅激活 28 億參數，仍能與更大的模型競爭 。

完全透明與授權

秉持開放 AI 的承諾，AMD 開放了所有訓練成果 ：

• 每個階段的模型權重
• 訓練配置與資料混合比例
• 中間檢查點
• 推論程式碼

所有成果均可在 Hugging Face 的 amd/Instella-MoE-16B-A3B 命名空間下取得，並採用 Research RAIL（Responsible AI License） 授權，僅供學術與研究用途 。

戰略意義

Instella-MoE 不只是一次模型發佈，更是AMD 的 ROCm 軟體堆疊與 Instinct GPU 硬體能夠支撐前沿規模 AI 開發的直接實證——從預訓練到強化學習，全部使用完全開放的基礎設施。透過在基準測試中與基於 NVIDIA 硬體訓練的頂尖開源模型一較高下，AMD 將自身生態系定位為大規模 AI 研究與開發中，NVIDIA CUDA 的可行替代方案 。