AMD、完全オープンな16BパラメータMoEモデル「Instella-MoE」発表——Nvidia CUDAに拮抗するエコシステムの実力を証明

アーキテクチャと革新

Instella-MoEは、共有＋ルーティング型エキスパート構成を採用しており、常時アクティブな2つの共有エキスパートと、トークンごとに64のプールから選択される6つのルーティングエキスパートで構成されます。モデルは27のデコーダー層からなり、各層の隠れサイズは2,048です。2つのアーキテクチャ上の革新が際立ちます。

• Gated Multi-head Latent Attention（Gated MLA）： 標準のMulti-head Latent Attention（MLA）を拡張したものです。軽量な学習可能な出力ゲートを追加し、データ駆動型の非線形性を導入することで、低ユーティリティのアテンション応答を選択的に減衰させ、計算コストを抑えつつ表現力を高めます。
• FarSkip-Collective： MoEの接続性を変更し、エキスパート並列学習中に通信と計算をオーバーラップさせることで、通信のボトルネックを低減します。事前学習では、これにより訓練速度が**12.7%**向上しました。

また、事前学習および中期学習フェーズでは、Multi-Token Prediction（MTP）目的関数も使用されています。

コンテキストウィンドウ

専用の長文脈拡張学習ステージを経て、Instella-MoEは64Kトークンのコンテキストをサポートします。

6段階のトレーニングパイプライン

AMDは完全なトレーニングパイプラインを公開しており、これは以下の6つの連続したステージで構成されます：

1. 事前学習
2. 中期学習
3. 長文脈拡張（コンテキストを64Kトークンに拡張）
4. 教師ありファインチューニング（SFT） — きめ細かいエラー分析と類似性ベースの検索を用いたフィードバック駆動型データキュレーションを含む
5. 直接選好最適化（DPO） — ルーターバイアスの更新と、学習安定性維持のための補助負荷バランシング損失の無効化を実施
6. 強化学習（RL） — AMD Instinct GPU上でのROCm対応Miles RLフレームワークを使用。IF特化型RLトレーニングとマルチ教師オンポリシー蒸留（MOPD）を採用

ベンチマーク性能

Instella-MoE-16B-A3Bベースモデルは、標準ベンチマークで平均スコア76.7を達成し、同規模の完全オープンモデルの中でトップクラスに位置しています。トークンあたりわずか2.8Bパラメータしか活性化しないにもかかわらず、SmolLM3-3BやOLMo-3-7Bを上回り、より大規模なモデルとも競合すると報告されています。

完全な透明性とライセンス

AMDはオープンAIへのコミットメントに沿い、すべての学習成果物を公開しました：

• 各学習ステージのモデル重み
• 学習構成とデータ混合比
• 中間チェックポイント
• 推論コード

これらの成果物はすべて、Hugging Face上のamd/Instella-MoE-16B-A3B名前空間で、学術および研究目的のための**Research RAIL（Responsible AI License）**の下で利用可能です。

戦略的意義

Instella-MoEは単なるモデルリリースにとどまらず、AMDのROCmソフトウェアスタックとInstinct GPUハードウェアが、事前学習からRLまで、完全にオープンなインフラを用いてフロンティア規模のAI開発をサポートできることを直接的に示す実証です。Nvidiaハードウェアで学習された主要なオープンソースモデルに対して競争力のあるベンチマークを達成することで、AMDは自社のエコシステムを大規模AI研究開発におけるNvidia CUDAの有力な代替案として位置づけています。