AMD Instella-MoE：16B参数全开源混合专家模型，仅激活2.8B参数，性能领先

架构与创新

Instella-MoE采用共享+路由专家配置，包含2个始终激活的共享专家，并从64个候选专家中为每个Token选择6个路由专家。模型由27个解码器层组成，每层隐藏维度为2048。两大架构创新引人注目：

• 门控多头潜在注意力（Gated MLA）： 对标准多头潜在注意力（MLA）的增强。它增加了一个轻量级学习输出门，引入数据驱动的非线性，选择性地削弱低效注意力响应，以适度的计算成本提升表达能力。
• FarSkip-Collective： 一种MoE连接方式的改进，在专家并行训练期间将通信与计算重叠，减少通信空闲时间。在预训练阶段，该技术将训练速度提升了12.7%。

模型在预训练和中期训练阶段还使用了多Token预测（MTP）目标。

上下文窗口

经过专门的长上下文扩展训练后，Instella-MoE支持64K Token上下文。

六阶段训练流水线

AMD公开了完整的训练流水线，包含六个连续阶段：

1. 预训练
2. 中期训练
3. 长上下文扩展（将上下文扩展至64K Token）
4. 监督微调（SFT）——包括基于细粒度错误分析和相似性检索的反馈驱动数据筛选阶段
5. 直接偏好优化（DPO）——更新路由器偏置，并禁用辅助负载均衡损失以保持训练稳定性
6. 强化学习（RL）——使用支持ROCm的Miles RL框架在AMD Instinct GPU上进行，包含IF专用RL训练和多教师在线策略蒸馏（MOPD）

基准测试表现

Instella-MoE-16B-A3B基础模型在标准基准测试中取得了平均76.7分的成绩，在其规模的全开源模型中位居前列。据报道，它超越了SmolLM3-3B和OLMo-3-7B等模型，尽管每个Token仅激活28亿参数，仍能与更大规模的模型一较高下。

完全透明与许可

秉承对开放AI的承诺，AMD公开发布了所有训练产物：

• 每个训练阶段的模型权重
• 训练配置和数据配比
• 中间检查点
• 推理代码

所有产物均可在Hugging Face的amd/Instella-MoE-16B-A3B命名空间下获取，并采用Research RAIL（负责任AI许可证） 仅供学术和研究目的使用。

战略意义

Instella-MoE不仅仅是一个模型发布——它直接证明了AMD的ROCm软件栈和Instinct GPU硬件能够支撑从预训练到强化学习的前沿AI开发，且全部基于开放基础设施。通过在与NVIDIA硬件上训练的主流开源模型的竞争中交出有竞争力的成绩单，AMD将其生态系统定位为大规模AI研究与开发中NVIDIA CUDA的可行替代方案。