AMD Instella-MoE: Tamamen Açık 16 Milyar Parametrelik Uzman Karışımı Modeli
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli. Model, Gated Multi head Latent Attention (Gated MLA) ve FarSkip Collective gibi mimari yenilikler içeriyor.
YayımlayanDeepSeek-V4-Flash ile düzenlendiGörseller GPT Image 1.5 ile oluşturuldu
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli.
Model, Gated Multi head Latent Attention (Gated MLA) ve FarSkip Collective gibi mimari yenilikler içeriyor.
Tüm yapay zeka eserleri (eğitim aşamalarının ağırlıkları, konfigürasyonlar, ara kontrol noktaları ve çıkarım kodu) Hugging Face üzerinde Research RAIL lisansıyla yayınlandı.
Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parameAn AI-generated artistic representation of the Instella-MoE architecture, highlighting its Mixture-of-Experts design with multiple specialized expert pathways.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parame. Article summary: Here are the key verified details of AMD's Instella-MoE release, based primarily on the official AMD ROCm blog post (July 24, 2026) and corroborating news sources.. Topic tags: general, academic, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails
openai.com
24 Temmuz 2026'da AMD, Instella-MoE'yi duyurdu. Bu, tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli olup, baştan sona AMD Instinct MI300X ve MI325X GPU'ları ve ROCm yazılım yığını kullanılarak eğitildi . Model, her bir token için yalnızca 2.8 milyar parametreyi aktif hale getirerek yüksek verimlilik sunarken, kıyaslama testlerinde rekabetçi bir performans sergiliyor. Bu sürüm, AMD'nin donanım ve açık kaynak yazılım yığınının, ön eğitimden pekiştirmeli öğrenmeye kadar büyük ölçekli yapay zeka geliştirmeyi destekleyebileceğini ve hakim NVIDIA CUDA ekosistemine meydan okuyabileceğini gösteren stratejik bir dönüm noktasıdır .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "AMD Instella-MoE: Tamamen Açık 16 Milyar Parametrelik Uzman Karışımı Modeli"?
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli.
What are the key points to validate first?
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli. Model, Gated Multi head Latent Attention (Gated MLA) ve FarSkip Collective gibi mimari yenilikler içeriyor.
What should I do next in practice?
Tüm yapay zeka eserleri (eğitim aşamalarının ağırlıkları, konfigürasyonlar, ara kontrol noktaları ve çıkarım kodu) Hugging Face üzerinde Research RAIL lisansıyla yayınlandı.
AMD Instella-MoE: Tamamen Açık 16 Milyar Parametrelik Uzman Karışımı Modeli
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli. Model, Gated Multi head Latent Attention (Gated MLA) ve FarSkip Collective gibi mimari yenilikler içeriyor.
YayımlayanDeepSeek-V4-Flash ile düzenlendiGörseller GPT Image 1.5 ile oluşturuldu
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli.
Model, Gated Multi head Latent Attention (Gated MLA) ve FarSkip Collective gibi mimari yenilikler içeriyor.
Tüm yapay zeka eserleri (eğitim aşamalarının ağırlıkları, konfigürasyonlar, ara kontrol noktaları ve çıkarım kodu) Hugging Face üzerinde Research RAIL lisansıyla yayınlandı.
Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parameAn AI-generated artistic representation of the Instella-MoE architecture, highlighting its Mixture-of-Experts design with multiple specialized expert pathways.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parame. Article summary: Here are the key verified details of AMD's Instella-MoE release, based primarily on the official AMD ROCm blog post (July 24, 2026) and corroborating news sources.. Topic tags: general, academic, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails
openai.com
24 Temmuz 2026'da AMD, Instella-MoE'yi duyurdu. Bu, tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli olup, baştan sona AMD Instinct MI300X ve MI325X GPU'ları ve ROCm yazılım yığını kullanılarak eğitildi . Model, her bir token için yalnızca 2.8 milyar parametreyi aktif hale getirerek yüksek verimlilik sunarken, kıyaslama testlerinde rekabetçi bir performans sergiliyor. Bu sürüm, AMD'nin donanım ve açık kaynak yazılım yığınının, ön eğitimden pekiştirmeli öğrenmeye kadar büyük ölçekli yapay zeka geliştirmeyi destekleyebileceğini ve hakim NVIDIA CUDA ekosistemine meydan okuyabileceğini gösteren stratejik bir dönüm noktasıdır .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "AMD Instella-MoE: Tamamen Açık 16 Milyar Parametrelik Uzman Karışımı Modeli"?
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli.
What are the key points to validate first?
AMD, 24 Temmuz 2026'da Instella MoE'yi duyurdu: Tamamen açık kaynak, 16 milyar parametrelik bir Uzman Karışımı (MoE) dil modeli. Model, Gated Multi head Latent Attention (Gated MLA) ve FarSkip Collective gibi mimari yenilikler içeriyor.
What should I do next in practice?
Tüm yapay zeka eserleri (eğitim aşamalarının ağırlıkları, konfigürasyonlar, ara kontrol noktaları ve çıkarım kodu) Hugging Face üzerinde Research RAIL lisansıyla yayınlandı.
Instella-MoE, paylaşımlı artı yönlendirilmiş uzman konfigürasyonu kullanır. Her bir token için 2'si her zaman aktif paylaşımlı uzman ve 64'lük bir havuzdan seçilen 6 yönlendirilmiş uzman olmak üzere toplam 27 kod çözücü katmanından oluşur . Modeldeki iki önemli mimari yenilik şunlardır:
Gated Multi-head Latent Attention (Gated MLA): Standart Multi-head Latent Attention'ın (MLA) bir geliştirmesidir. Hafif bir öğrenilmiş çıktı kapısı ekleyerek, veri odaklı bir doğrusal olmama durumu yaratır ve düşük faydalı dikkat yanıtlarını seçici olarak zayıflatır. Bu sayede düşük bir hesaplama maliyetiyle ifade gücünü artırır .
FarSkip-Collective: Uzman-paralel eğitim sırasında iletişim ile hesaplamayı üst üste bindirerek iletişim boşluklarını azaltan bir MoE bağlantı değişikliğidir. Ön eğitim sırasında bu teknik, eğitimi %12.7 oranında hızlandırmıştır .
Model ayrıca ön eğitim ve orta eğitim aşamalarında Multi-Token Prediction (MTP) hedefini kullanır .
Bağlam Penceresi
Özel bir uzun bağlam genişletme eğitim aşamasının ardından Instella-MoE, 64K token uzunluğunda bir bağlamı destekler .
Altı Aşamalı Eğitim Hattı
AMD, altı aşamadan oluşan tam eğitim hattını yayınladı :
Ön Eğitim
Orta Eğitim
Uzun Bağlam Genişletme (bağlamı 64K token'a çıkarma)
Denetimli İnce Ayar (SFT) — ince taneli hata analizi ve benzerlik tabanlı erişim kullanan geri bildirim odaklı bir veri düzenleme aşamasını içerir
Doğrudan Tercih Optimizasyonu (DPO) — stabiliteyi korumak için yönlendirici önyargı güncellemeleri ve yardımcı yük dengeleme kaybının devre dışı bırakılmasıyla
Pekiştirmeli Öğrenme (RL) — AMD Instinct GPU'larında ROCm desteğiyle Miles RL çerçevesini kullanarak; IF-özelleştirilmiş RL eğitimi ve Çoklu Öğretmen Politika İçi Damıtma (MOPD) içerir
Kıyaslama Performansı
Instella-MoE-16B-A3B temel modeli, standart kıyaslamalarda 76.7 ortalama puan elde ederek, kendi ölçeğindeki en iyi tamamen açık modeller arasında yer aldı . Bildirilenlere göre, SmolLM3-3B ve OLMo-3-7B modellerini geride bırakırken, token başına yalnızca 2.8 milyar parametreyi aktif hale getirmesine rağmen daha büyük modellerle rekabet etti .
Tam Şeffaflık ve Lisanslama
AMD, açık yapay zekaya olan bağlılığı doğrultusunda tüm eğitim yapıtlarını açıkça yayınladı :
Her eğitim aşamasından model ağırlıkları
Eğitim konfigürasyonları ve veri karışımları
Ara kontrol noktaları
Çıkarım kodu
Tüm yapıtlar, Hugging Face'te amd/Instella-MoE-16B-A3B ad alanında mevcut olup, Araştırma RAIL (Sorumlu Yapay Zeka Lisansı) kapsamında akademik ve araştırma amaçları için lisanslanmıştır .
Stratejik Önem
Instella-MoE, bir model sürümünden daha fazlasıdır. Bu, AMD'nin ROCm yazılım yığını ve Instinct GPU donanımının, tamamen açık bir altyapı kullanarak ön eğitimden RL'ye kadar sınır ölçeğinde yapay zeka gelişimini destekleyebileceğinin doğrudan bir kanıtıdır. NVIDIA donanımında eğitilmiş önde gelen açık kaynak modellere karşı rekabetçi kıyaslamalar sunarak AMD, ekosistemini büyük ölçekli yapay zeka araştırma ve geliştirmesi için NVIDIA'nın CUDA'sına uygun bir alternatif olarak konumlandırıyor .
Instella-MoE, paylaşımlı artı yönlendirilmiş uzman konfigürasyonu kullanır. Her bir token için 2'si her zaman aktif paylaşımlı uzman ve 64'lük bir havuzdan seçilen 6 yönlendirilmiş uzman olmak üzere toplam 27 kod çözücü katmanından oluşur . Modeldeki iki önemli mimari yenilik şunlardır:
Gated Multi-head Latent Attention (Gated MLA): Standart Multi-head Latent Attention'ın (MLA) bir geliştirmesidir. Hafif bir öğrenilmiş çıktı kapısı ekleyerek, veri odaklı bir doğrusal olmama durumu yaratır ve düşük faydalı dikkat yanıtlarını seçici olarak zayıflatır. Bu sayede düşük bir hesaplama maliyetiyle ifade gücünü artırır .
FarSkip-Collective: Uzman-paralel eğitim sırasında iletişim ile hesaplamayı üst üste bindirerek iletişim boşluklarını azaltan bir MoE bağlantı değişikliğidir. Ön eğitim sırasında bu teknik, eğitimi %12.7 oranında hızlandırmıştır .
Model ayrıca ön eğitim ve orta eğitim aşamalarında Multi-Token Prediction (MTP) hedefini kullanır .
Bağlam Penceresi
Özel bir uzun bağlam genişletme eğitim aşamasının ardından Instella-MoE, 64K token uzunluğunda bir bağlamı destekler .
Altı Aşamalı Eğitim Hattı
AMD, altı aşamadan oluşan tam eğitim hattını yayınladı :
Ön Eğitim
Orta Eğitim
Uzun Bağlam Genişletme (bağlamı 64K token'a çıkarma)
Denetimli İnce Ayar (SFT) — ince taneli hata analizi ve benzerlik tabanlı erişim kullanan geri bildirim odaklı bir veri düzenleme aşamasını içerir
Doğrudan Tercih Optimizasyonu (DPO) — stabiliteyi korumak için yönlendirici önyargı güncellemeleri ve yardımcı yük dengeleme kaybının devre dışı bırakılmasıyla
Pekiştirmeli Öğrenme (RL) — AMD Instinct GPU'larında ROCm desteğiyle Miles RL çerçevesini kullanarak; IF-özelleştirilmiş RL eğitimi ve Çoklu Öğretmen Politika İçi Damıtma (MOPD) içerir
Kıyaslama Performansı
Instella-MoE-16B-A3B temel modeli, standart kıyaslamalarda 76.7 ortalama puan elde ederek, kendi ölçeğindeki en iyi tamamen açık modeller arasında yer aldı . Bildirilenlere göre, SmolLM3-3B ve OLMo-3-7B modellerini geride bırakırken, token başına yalnızca 2.8 milyar parametreyi aktif hale getirmesine rağmen daha büyük modellerle rekabet etti .
Tam Şeffaflık ve Lisanslama
AMD, açık yapay zekaya olan bağlılığı doğrultusunda tüm eğitim yapıtlarını açıkça yayınladı :
Her eğitim aşamasından model ağırlıkları
Eğitim konfigürasyonları ve veri karışımları
Ara kontrol noktaları
Çıkarım kodu
Tüm yapıtlar, Hugging Face'te amd/Instella-MoE-16B-A3B ad alanında mevcut olup, Araştırma RAIL (Sorumlu Yapay Zeka Lisansı) kapsamında akademik ve araştırma amaçları için lisanslanmıştır .
Stratejik Önem
Instella-MoE, bir model sürümünden daha fazlasıdır. Bu, AMD'nin ROCm yazılım yığını ve Instinct GPU donanımının, tamamen açık bir altyapı kullanarak ön eğitimden RL'ye kadar sınır ölçeğinde yapay zeka gelişimini destekleyebileceğinin doğrudan bir kanıtıdır. NVIDIA donanımında eğitilmiş önde gelen açık kaynak modellere karşı rekabetçi kıyaslamalar sunarak AMD, ekosistemini büyük ölçekli yapay zeka araştırma ve geliştirmesi için NVIDIA'nın CUDA'sına uygun bir alternatif olarak konumlandırıyor .
arxiv.orgInstella: Fully Open Language Models with Stellar Performance
rocm.blogs.amd.comIntroducing Instella-MoE: A State-of-the-Art Fully Open Mixture ...
feixiaohao.comAMD发布全开源MoE大模型Instella-MoE，16B参数规模挑战 ...
developer.nvidia.comApplying Mixture of Experts in LLM Architectures