AMD bringt Instella-MoE: Ein offenes KI-Kraftpaket mit 16 Milliarden Parametern

Architektur und Innovationen

Instella-MoE setzt auf eine Shared-plus-Routed-Expert-Konfiguration: Zwei Experten sind immer aktiv, während aus einem Pool von 64 weiteren sechs pro Token hinzugezogen werden . Das Modell besteht aus 27 Decoder-Schichten mit einer Hidden Size von 2.048 .

Zwei architektonische Neuerungen stechen hervor:

• Gated Multi-head Latent Attention (Gated MLA): Eine Erweiterung der standardmäßigen Multi-Head Latent Attention. Ein leichtgewichtiger, gelernter Output-Gate führt eine datengetriebene Nichtlinearität ein und blendet wenig nützliche Aufmerksamkeitsantworten selektiv aus – bei moderatem Rechenaufwand .
• FarSkip-Collective: Eine Modifikation der MoE-Konnektivität, die während des Trainings die Kommunikation mit der Berechnung überlappt und Kommunikationsengpässe reduziert. Dies beschleunigte das Pre-Training um 12,7 % .

Zudem wird während des Pre-Trainings und des Mid-Trainings ein Multi-Token-Prediction (MTP) Objective verwendet .

Kontextfenster

Nach einer speziellen Phase zur Erweiterung des Langzeitkontexts unterstützt Instella-MoE einen Kontext von 64.000 Tokens .

Trainingspipeline in sechs Phasen

AMD hat den gesamten Trainingsprozess offengelegt, der sich über sechs aufeinanderfolgende Phasen erstreckt :

1. Pre-Training
2. Mid-Training
3. Long-Context Extension (Erweiterung auf 64.000 Token)
4. Supervised Fine-Tuning (SFT) – inklusive einer feedbackgesteuerten Datenkuratierung mittels Feingranular-Fehleranalyse und ähnlichkeitsbasierter Abfrage
5. Direct Preference Optimization (DPO) – mit Aktualisierung der Router-Bias und deaktiviertem Lastausgleichsverlust für Stabilität
6. Reinforcement Learning (RL) – unter Verwendung des Miles-RL-Frameworks mit ROCm-Unterstützung auf AMD Instinct GPUs, inklusive IF-spezialisiertem RL-Training und Multi-Teacher On-Policy Distillation (MOPD)

Benchmark-Ergebnisse

Das Instella-MoE-16B-A3B-Basismodell erreichte eine durchschnittliche Punktzahl von 76,7 in Standard-Benchmarks und zählt damit zu den leistungsfähigsten vollständig offenen Modellen in seiner Klasse . Es soll SmolLM3-3B und OLMo-3-7B übertroffen haben und selbst mit deutlich größeren Modellen konkurrieren können – und das bei nur 2,8 Milliarden aktiven Parametern pro Token .

Vollständige Transparenz und Lizenzierung

Im Sinne seiner Open-AI-Strategie hat AMD sämtliche Trainingsartefakte veröffentlicht :

• Modellgewichte aus jeder Trainingsphase
• Trainingskonfigurationen und Datenmischungen
• Zwischenstände der Modelle
• Code für die Inferenz

Alle Artefakte sind auf Hugging Face unter dem Namensraum amd/Instella-MoE-16B-A3B verfügbar und unter einer Research RAIL (Responsible AI License) für akademische und Forschungszwecke lizenziert .

Strategische Bedeutung

Instella-MoE ist mehr als nur ein neues KI-Modell – es ist ein handfester Beweis dafür, dass AMDs ROCm-Softwarestack und die Instinct-GPU-Hardware in der Lage sind, KI-Entwicklung auf Spitzenniveau zu unterstützen, vom Pre-Training bis zum Reinforcement Learning, und das auf einer vollständig offenen Infrastruktur. Mit konkurrenzfähigen Benchmarks gegenüber führenden auf Nvidia-Hardware trainierten Open-Source-Modellen positioniert sich AMD als ernsthafte Alternative zu Nvidias CUDA-Ökosystem für groß angelegte KI-Forschung und -Entwicklung .