AMD bringt Instella-MoE: Ein offenes KI-Kraftpaket mit 16 Milliarden Parametern
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs.
Veröffentlicht vonBearbeitet mit DeepSeek-V4-FlashBilder erstellt mit GPT Image 1.5
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs.
Das Modell nutzt eine sparsame Mixture of Experts Architektur, die pro Token nur 2,8 Milliarden Parameter aktiviert und dank Gated Multi head Latent Attention und FarSkip Collective besonders effizient arbeitet.
Der gesamte Trainingsprozess, einschließlich aller Modellgewichte, Konfigurationen und Zwischenstände, wird offen auf Hugging Face unter einer Research RAIL Lizenz bereitgestellt.
Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parameAn AI-generated artistic representation of the Instella-MoE architecture, highlighting its Mixture-of-Experts design with multiple specialized expert pathways.
KI-Prompt
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parame. Article summary: Here are the key verified details of AMD's Instella-MoE release, based primarily on the official AMD ROCm blog post (July 24, 2026) and corroborating news sources.. Topic tags: general, academic, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails
openai.com
Am 24. Juli 2026 hat AMD mit Instella-MoE ein vollständig offenes Sprachmodell mit 16 Milliarden Parametern vorgestellt . Das Modell basiert auf einer Mixture-of-Experts (MoE)-Architektur, bei der pro Verarbeitungsschritt nur 2,8 Milliarden Parameter aktiv sind – das macht es besonders effizient. Trainiert wurde es von Grund auf auf den AMD-eigenen Instinct MI300X- und MI325X-GPUs mit dem hauseigenen ROCm-Softwarestack .
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Wie lautet die kurze Antwort auf „AMD bringt Instella-MoE: Ein offenes KI-Kraftpaket mit 16 Milliarden Parametern“?
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs. Das Modell nutzt eine sparsame Mixture of Experts Architektur, die pro Token nur 2,8 Milliarden Parameter aktiviert und dank Gated Multi head Latent Attention und FarSkip Collective besonders effizient arbeitet.
Was soll ich als nächstes in der Praxis tun?
Der gesamte Trainingsprozess, einschließlich aller Modellgewichte, Konfigurationen und Zwischenstände, wird offen auf Hugging Face unter einer Research RAIL Lizenz bereitgestellt.
AMD bringt Instella-MoE: Ein offenes KI-Kraftpaket mit 16 Milliarden Parametern
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs.
Veröffentlicht vonBearbeitet mit DeepSeek-V4-FlashBilder erstellt mit GPT Image 1.5
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs.
Das Modell nutzt eine sparsame Mixture of Experts Architektur, die pro Token nur 2,8 Milliarden Parameter aktiviert und dank Gated Multi head Latent Attention und FarSkip Collective besonders effizient arbeitet.
Der gesamte Trainingsprozess, einschließlich aller Modellgewichte, Konfigurationen und Zwischenstände, wird offen auf Hugging Face unter einer Research RAIL Lizenz bereitgestellt.
Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parameAn AI-generated artistic representation of the Instella-MoE architecture, highlighting its Mixture-of-Experts design with multiple specialized expert pathways.
KI-Prompt
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parame. Article summary: Here are the key verified details of AMD's Instella-MoE release, based primarily on the official AMD ROCm blog post (July 24, 2026) and corroborating news sources.. Topic tags: general, academic, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails
openai.com
Am 24. Juli 2026 hat AMD mit Instella-MoE ein vollständig offenes Sprachmodell mit 16 Milliarden Parametern vorgestellt . Das Modell basiert auf einer Mixture-of-Experts (MoE)-Architektur, bei der pro Verarbeitungsschritt nur 2,8 Milliarden Parameter aktiv sind – das macht es besonders effizient. Trainiert wurde es von Grund auf auf den AMD-eigenen Instinct MI300X- und MI325X-GPUs mit dem hauseigenen ROCm-Softwarestack .
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Wie lautet die kurze Antwort auf „AMD bringt Instella-MoE: Ein offenes KI-Kraftpaket mit 16 Milliarden Parametern“?
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
AMD veröffentlicht am 24. Juli 2026 das offene KI Modell Instella MoE mit 16 Milliarden Parametern, trainiert auf den hauseigenen Instinct MI300X und MI325X GPUs. Das Modell nutzt eine sparsame Mixture of Experts Architektur, die pro Token nur 2,8 Milliarden Parameter aktiviert und dank Gated Multi head Latent Attention und FarSkip Collective besonders effizient arbeitet.
Was soll ich als nächstes in der Praxis tun?
Der gesamte Trainingsprozess, einschließlich aller Modellgewichte, Konfigurationen und Zwischenstände, wird offen auf Hugging Face unter einer Research RAIL Lizenz bereitgestellt.
Instella-MoE setzt auf eine Shared-plus-Routed-Expert-Konfiguration: Zwei Experten sind immer aktiv, während aus einem Pool von 64 weiteren sechs pro Token hinzugezogen werden . Das Modell besteht aus 27 Decoder-Schichten mit einer Hidden Size von 2.048 .
Zwei architektonische Neuerungen stechen hervor:
Gated Multi-head Latent Attention (Gated MLA): Eine Erweiterung der standardmäßigen Multi-Head Latent Attention. Ein leichtgewichtiger, gelernter Output-Gate führt eine datengetriebene Nichtlinearität ein und blendet wenig nützliche Aufmerksamkeitsantworten selektiv aus – bei moderatem Rechenaufwand .
FarSkip-Collective: Eine Modifikation der MoE-Konnektivität, die während des Trainings die Kommunikation mit der Berechnung überlappt und Kommunikationsengpässe reduziert. Dies beschleunigte das Pre-Training um 12,7 %.
Zudem wird während des Pre-Trainings und des Mid-Trainings ein Multi-Token-Prediction (MTP) Objective verwendet .
Kontextfenster
Nach einer speziellen Phase zur Erweiterung des Langzeitkontexts unterstützt Instella-MoE einen Kontext von 64.000 Tokens.
Trainingspipeline in sechs Phasen
AMD hat den gesamten Trainingsprozess offengelegt, der sich über sechs aufeinanderfolgende Phasen erstreckt :
Pre-Training
Mid-Training
Long-Context Extension (Erweiterung auf 64.000 Token)
Supervised Fine-Tuning (SFT) – inklusive einer feedbackgesteuerten Datenkuratierung mittels Feingranular-Fehleranalyse und ähnlichkeitsbasierter Abfrage
Direct Preference Optimization (DPO) – mit Aktualisierung der Router-Bias und deaktiviertem Lastausgleichsverlust für Stabilität
Reinforcement Learning (RL) – unter Verwendung des Miles-RL-Frameworks mit ROCm-Unterstützung auf AMD Instinct GPUs, inklusive IF-spezialisiertem RL-Training und Multi-Teacher On-Policy Distillation (MOPD)
Benchmark-Ergebnisse
Das Instella-MoE-16B-A3B-Basismodell erreichte eine durchschnittliche Punktzahl von 76,7 in Standard-Benchmarks und zählt damit zu den leistungsfähigsten vollständig offenen Modellen in seiner Klasse . Es soll SmolLM3-3B und OLMo-3-7B übertroffen haben und selbst mit deutlich größeren Modellen konkurrieren können – und das bei nur 2,8 Milliarden aktiven Parametern pro Token .
Vollständige Transparenz und Lizenzierung
Im Sinne seiner Open-AI-Strategie hat AMD sämtliche Trainingsartefakte veröffentlicht :
Modellgewichte aus jeder Trainingsphase
Trainingskonfigurationen und Datenmischungen
Zwischenstände der Modelle
Code für die Inferenz
Alle Artefakte sind auf Hugging Face unter dem Namensraum amd/Instella-MoE-16B-A3B verfügbar und unter einer Research RAIL (Responsible AI License) für akademische und Forschungszwecke lizenziert .
Strategische Bedeutung
Instella-MoE ist mehr als nur ein neues KI-Modell – es ist ein handfester Beweis dafür, dass AMDs ROCm-Softwarestack und die Instinct-GPU-Hardware in der Lage sind, KI-Entwicklung auf Spitzenniveau zu unterstützen, vom Pre-Training bis zum Reinforcement Learning, und das auf einer vollständig offenen Infrastruktur. Mit konkurrenzfähigen Benchmarks gegenüber führenden auf Nvidia-Hardware trainierten Open-Source-Modellen positioniert sich AMD als ernsthafte Alternative zu Nvidias CUDA-Ökosystem für groß angelegte KI-Forschung und -Entwicklung .
Instella-MoE setzt auf eine Shared-plus-Routed-Expert-Konfiguration: Zwei Experten sind immer aktiv, während aus einem Pool von 64 weiteren sechs pro Token hinzugezogen werden . Das Modell besteht aus 27 Decoder-Schichten mit einer Hidden Size von 2.048 .
Zwei architektonische Neuerungen stechen hervor:
Gated Multi-head Latent Attention (Gated MLA): Eine Erweiterung der standardmäßigen Multi-Head Latent Attention. Ein leichtgewichtiger, gelernter Output-Gate führt eine datengetriebene Nichtlinearität ein und blendet wenig nützliche Aufmerksamkeitsantworten selektiv aus – bei moderatem Rechenaufwand .
FarSkip-Collective: Eine Modifikation der MoE-Konnektivität, die während des Trainings die Kommunikation mit der Berechnung überlappt und Kommunikationsengpässe reduziert. Dies beschleunigte das Pre-Training um 12,7 %.
Zudem wird während des Pre-Trainings und des Mid-Trainings ein Multi-Token-Prediction (MTP) Objective verwendet .
Kontextfenster
Nach einer speziellen Phase zur Erweiterung des Langzeitkontexts unterstützt Instella-MoE einen Kontext von 64.000 Tokens.
Trainingspipeline in sechs Phasen
AMD hat den gesamten Trainingsprozess offengelegt, der sich über sechs aufeinanderfolgende Phasen erstreckt :
Pre-Training
Mid-Training
Long-Context Extension (Erweiterung auf 64.000 Token)
Supervised Fine-Tuning (SFT) – inklusive einer feedbackgesteuerten Datenkuratierung mittels Feingranular-Fehleranalyse und ähnlichkeitsbasierter Abfrage
Direct Preference Optimization (DPO) – mit Aktualisierung der Router-Bias und deaktiviertem Lastausgleichsverlust für Stabilität
Reinforcement Learning (RL) – unter Verwendung des Miles-RL-Frameworks mit ROCm-Unterstützung auf AMD Instinct GPUs, inklusive IF-spezialisiertem RL-Training und Multi-Teacher On-Policy Distillation (MOPD)
Benchmark-Ergebnisse
Das Instella-MoE-16B-A3B-Basismodell erreichte eine durchschnittliche Punktzahl von 76,7 in Standard-Benchmarks und zählt damit zu den leistungsfähigsten vollständig offenen Modellen in seiner Klasse . Es soll SmolLM3-3B und OLMo-3-7B übertroffen haben und selbst mit deutlich größeren Modellen konkurrieren können – und das bei nur 2,8 Milliarden aktiven Parametern pro Token .
Vollständige Transparenz und Lizenzierung
Im Sinne seiner Open-AI-Strategie hat AMD sämtliche Trainingsartefakte veröffentlicht :
Modellgewichte aus jeder Trainingsphase
Trainingskonfigurationen und Datenmischungen
Zwischenstände der Modelle
Code für die Inferenz
Alle Artefakte sind auf Hugging Face unter dem Namensraum amd/Instella-MoE-16B-A3B verfügbar und unter einer Research RAIL (Responsible AI License) für akademische und Forschungszwecke lizenziert .
Strategische Bedeutung
Instella-MoE ist mehr als nur ein neues KI-Modell – es ist ein handfester Beweis dafür, dass AMDs ROCm-Softwarestack und die Instinct-GPU-Hardware in der Lage sind, KI-Entwicklung auf Spitzenniveau zu unterstützen, vom Pre-Training bis zum Reinforcement Learning, und das auf einer vollständig offenen Infrastruktur. Mit konkurrenzfähigen Benchmarks gegenüber führenden auf Nvidia-Hardware trainierten Open-Source-Modellen positioniert sich AMD als ernsthafte Alternative zu Nvidias CUDA-Ökosystem für groß angelegte KI-Forschung und -Entwicklung .
arxiv.orgInstella: Fully Open Language Models with Stellar Performance
rocm.blogs.amd.comIntroducing Instella-MoE: A State-of-the-Art Fully Open Mixture ...
feixiaohao.comAMD发布全开源MoE大模型Instella-MoE，16B参数规模挑战 ...
developer.nvidia.comApplying Mixture of Experts in LLM Architectures