AMD Instella-MoE: NVIDIA को चुनौती देने वाला पूरी तरह से ओपन 16B MoE मॉडल
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै... इस मॉडल की खास बात यह है कि यह प्रति टोकन सिर्फ 2.8 बिलियन पैरामीटर को एक्टिवेट करता है, जिससे य...
प्रकाशितकर्ताDeepSeek-V4-Flash से संपादितGPT Image 1.5 से चित्र बनाए गए
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै...
इस मॉडल की खास बात यह है कि यह प्रति टोकन सिर्फ 2.8 बिलियन पैरामीटर को एक्टिवेट करता है, जिससे यह बेहद कुशल बनता है। इसमें Gated Multi head Latent Attention (Gated MLA) और FarSkip Collective जैसी नई आर्किटेक्चरल इनोवे...
Instella MoE ने बेंचमार्क टेस्ट में SmolLM3 3B और OLMo 3 7B जैसे मॉडलों को पीछे छोड़ते हुए 76.7 का औसत स्कोर हासिल किया। इसके सभी आर्टिफैक्ट्स मॉडल वेट्स, ट्रेनिंग कॉन्फ़िगरेशन, और कोड हगिंग फेस पर Research RAIL लाइसे...
Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parameAn AI-generated artistic representation of the Instella-MoE architecture, highlighting its Mixture-of-Experts design with multiple specialized expert pathways.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parame. Article summary: Here are the key verified details of AMD's Instella-MoE release, based primarily on the official AMD ROCm blog post (July 24, 2026) and corroborating news sources.. Topic tags: general, academic, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails
openai.com
24 जुलाई 2026 को, AMD ने Instella-MoE की घोषणा की - यह एक पूरी तरह से खुला (fully open) 16 बिलियन पैरामीटर वाला Mixture-of-Experts (MoE) भाषा मॉडल है, जिसे पूरी तरह से स्क्रैच से AMD Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक का उपयोग करके प्रशिक्षित किया गया है । यह मॉडल प्रति टोकन केवल 2.8 बिलियन पैरामीटर को सक्रिय करता है, जो इसे अत्यधिक कुशल बनाता है, साथ ही प्रतिस्पर्धी बेंचमार्क प्रदर्शन भी देता है। यह रिलीज़ एक रणनीतिक मील का पत्थर है, जो दर्शाता है कि AMD का हार्डवेयर और ओपन-सोर्स सॉफ्टवेयर स्टैक प्री-ट्रेनिंग से लेकर रीइन्फोर्समेंट लर्निंग तक बड़े पैमाने पर AI विकास का समर्थन कर सकता है, जो दबदबे वाले NVIDIA CUDA इकोसिस्टम को चुनौती देता है ।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
"AMD Instella-MoE: NVIDIA को चुनौती देने वाला पूरी तरह से ओपन 16B MoE मॉडल" का संक्षिप्त उत्तर क्या है?
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै... इस मॉडल की खास बात यह है कि यह प्रति टोकन सिर्फ 2.8 बिलियन पैरामीटर को एक्टिवेट करता है, जिससे यह बेहद कुशल बनता है। इसमें Gated Multi head Latent Attention (Gated MLA) और FarSkip Collective जैसी नई आर्किटेक्चरल इनोवे...
मुझे अभ्यास में आगे क्या करना चाहिए?
Instella MoE ने बेंचमार्क टेस्ट में SmolLM3 3B और OLMo 3 7B जैसे मॉडलों को पीछे छोड़ते हुए 76.7 का औसत स्कोर हासिल किया। इसके सभी आर्टिफैक्ट्स मॉडल वेट्स, ट्रेनिंग कॉन्फ़िगरेशन, और कोड हगिंग फेस पर Research RAIL लाइसे...
AMD Instella-MoE: NVIDIA को चुनौती देने वाला पूरी तरह से ओपन 16B MoE मॉडल
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै... इस मॉडल की खास बात यह है कि यह प्रति टोकन सिर्फ 2.8 बिलियन पैरामीटर को एक्टिवेट करता है, जिससे य...
प्रकाशितकर्ताDeepSeek-V4-Flash से संपादितGPT Image 1.5 से चित्र बनाए गए
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै...
इस मॉडल की खास बात यह है कि यह प्रति टोकन सिर्फ 2.8 बिलियन पैरामीटर को एक्टिवेट करता है, जिससे यह बेहद कुशल बनता है। इसमें Gated Multi head Latent Attention (Gated MLA) और FarSkip Collective जैसी नई आर्किटेक्चरल इनोवे...
Instella MoE ने बेंचमार्क टेस्ट में SmolLM3 3B और OLMo 3 7B जैसे मॉडलों को पीछे छोड़ते हुए 76.7 का औसत स्कोर हासिल किया। इसके सभी आर्टिफैक्ट्स मॉडल वेट्स, ट्रेनिंग कॉन्फ़िगरेशन, और कोड हगिंग फेस पर Research RAIL लाइसे...
Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parameAn AI-generated artistic representation of the Instella-MoE architecture, highlighting its Mixture-of-Experts design with multiple specialized expert pathways.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What are the key details of AMD's July 24 release of Instella-MoE, a fully open 16-billion-parame. Article summary: Here are the key verified details of AMD's Instella-MoE release, based primarily on the official AMD ROCm blog post (July 24, 2026) and corroborating news sources.. Topic tags: general, academic, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails
openai.com
24 जुलाई 2026 को, AMD ने Instella-MoE की घोषणा की - यह एक पूरी तरह से खुला (fully open) 16 बिलियन पैरामीटर वाला Mixture-of-Experts (MoE) भाषा मॉडल है, जिसे पूरी तरह से स्क्रैच से AMD Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक का उपयोग करके प्रशिक्षित किया गया है । यह मॉडल प्रति टोकन केवल 2.8 बिलियन पैरामीटर को सक्रिय करता है, जो इसे अत्यधिक कुशल बनाता है, साथ ही प्रतिस्पर्धी बेंचमार्क प्रदर्शन भी देता है। यह रिलीज़ एक रणनीतिक मील का पत्थर है, जो दर्शाता है कि AMD का हार्डवेयर और ओपन-सोर्स सॉफ्टवेयर स्टैक प्री-ट्रेनिंग से लेकर रीइन्फोर्समेंट लर्निंग तक बड़े पैमाने पर AI विकास का समर्थन कर सकता है, जो दबदबे वाले NVIDIA CUDA इकोसिस्टम को चुनौती देता है ।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
"AMD Instella-MoE: NVIDIA को चुनौती देने वाला पूरी तरह से ओपन 16B MoE मॉडल" का संक्षिप्त उत्तर क्या है?
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
AMD ने 24 जुलाई 2026 को Instella MoE लॉन्च किया, जो एक पूरी तरह से ओपन 16 बिलियन पैरामीटर वाला Mixture of Experts (MoE) भाषा मॉडल है। यह AMD के अपने Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक के साथ स्क्रै... इस मॉडल की खास बात यह है कि यह प्रति टोकन सिर्फ 2.8 बिलियन पैरामीटर को एक्टिवेट करता है, जिससे यह बेहद कुशल बनता है। इसमें Gated Multi head Latent Attention (Gated MLA) और FarSkip Collective जैसी नई आर्किटेक्चरल इनोवे...
मुझे अभ्यास में आगे क्या करना चाहिए?
Instella MoE ने बेंचमार्क टेस्ट में SmolLM3 3B और OLMo 3 7B जैसे मॉडलों को पीछे छोड़ते हुए 76.7 का औसत स्कोर हासिल किया। इसके सभी आर्टिफैक्ट्स मॉडल वेट्स, ट्रेनिंग कॉन्फ़िगरेशन, और कोड हगिंग फेस पर Research RAIL लाइसे...
Instella-MoE एक shared-plus-routed expert कॉन्फ़िगरेशन का उपयोग करता है, जिसमें 2 हमेशा सक्रिय रहने वाले शेयर्ड एक्सपर्ट और प्रति टोकन 64 के पूल में से चुने गए 6 रूटेड एक्सपर्ट शामिल होते हैं । मॉडल में 27 डिकोडर लेयर हैं, जिनमें से प्रत्येक का छिपा हुआ आकार (hidden size) 2,048 है । दो आर्किटेक्चरल इनोवेशन खास तौर पर उल्लेखनीय हैं:
गेटेड मल्टी-हेड लेटेंट अटेंशन (Gated MLA): यह स्टैंडर्ड मल्टी-हेड लेटेंट अटेंशन (MLA) का एक उन्नत संस्करण है। इसमें एक हल्का सीखा हुआ आउटपुट गेट जोड़ा जाता है जो एक डेटा-संचालित नॉन-लीनियरिटी प्रस्तुत करता है, जो कम उपयोगी अटेंशन प्रतिक्रियाओं को चुनिंदा रूप से कम करता है और मामूली कम्प्यूटेशनल लागत पर अभिव्यक्तता (expressivity) बढ़ाता है ।
FarSkip-कलेक्टिव: MoE कनेक्टिविटी में एक संशोधन जो एक्सपर्ट-पैरेलल ट्रेनिंग के दौरान कम्युनिकेशन को कम्प्यूटेशन के साथ ओवरलैप करता है, जिससे कम्युनिकेशन बबल कम होता है। प्री-ट्रेनिंग के दौरान, इस तकनीक ने ट्रेनिंग को 12.7% तक तेज कर दिया ।
मॉडल अपने प्री-ट्रेनिंग और मिड-ट्रेनिंग चरणों के दौरान मल्टी-टोकन प्रेडिक्शन (MTP) ऑब्जेक्टिव का भी उपयोग करता है ।
कॉन्टेक्स्ट विंडो
एक समर्पित लॉन्ग-कॉन्टेक्स्ट एक्सटेंशन ट्रेनिंग चरण के बाद, Instella-MoE 64K-टोकन कॉन्टेक्स्ट को सपोर्ट करता है ।
छह-चरणीय ट्रेनिंग पाइपलाइन
AMD ने पूरी ट्रेनिंग पाइपलाइन प्रकाशित की, जिसमें छह क्रमिक चरण शामिल हैं :
प्री-ट्रेनिंग
मिड-ट्रेनिंग
लॉन्ग-कॉन्टेक्स्ट एक्सटेंशन (कॉन्टेक्स्ट को 64K टोकन तक बढ़ाना)
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) — जिसमें फाइन-ग्रेन एरर एनालिसिस और समानता-आधारित रिट्रीवल का उपयोग करके फीडबैक-संचालित डेटा क्यूरेशन चरण शामिल है
डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) — राउटर बायस अपडेट के साथ और ट्रेनिंग स्थिरता बनाए रखने के लिए सहायक लोड-बैलेंसिंग लॉस को निष्क्रिय किया गया
रीइन्फोर्समेंट लर्निंग (RL) — AMD Instinct GPUs पर ROCm सपोर्ट के साथ Miles RL फ्रेमवर्क का उपयोग करते हुए, जिसमें IF-विशिष्ट RL ट्रेनिंग और मल्टी-टीचर ऑन-पॉलिसी डिस्टिलेशन (MOPD) शामिल है
बेंचमार्क प्रदर्शन
Instella-MoE-16B-A3B बेस मॉडल ने मानक बेंचमार्क पर 76.7 का औसत स्कोर हासिल किया, जो इसे अपने पैमाने पर शीर्ष पूरी तरह से खुले मॉडलों में स्थान देता है । यह कथित तौर पर SmolLM3-3B और OLMo-3-7B से बेहतर प्रदर्शन करता है, और प्रति टोकन केवल 2.8 बिलियन पैरामीटर को सक्रिय करने के बावजूद बड़े मॉडलों के साथ प्रतिस्पर्धा करता है ।
पूर्ण पारदर्शिता और लाइसेंसिंग
खुले AI के प्रति अपनी प्रतिबद्धता के अनुरूप, AMD ने सभी प्रशिक्षण आर्टिफैक्ट्स को खुले तौर पर जारी किया :
प्रत्येक प्रशिक्षण चरण से मॉडल वेट
प्रशिक्षण कॉन्फ़िगरेशन और डेटा मिक्सचर
मध्यवर्ती चेकपॉइंट
इनफरेंस कोड
सभी आर्टिफैक्ट हगिंग फेस पर amd/Instella-MoE-16B-A3B नेमस्पेस के तहत Research RAIL (Responsible AI License) के अंतर्गत अकादमिक और अनुसंधान उद्देश्यों के लिए उपलब्ध हैं ।
सामरिक महत्व
Instella-MoE केवल एक मॉडल रिलीज़ से कहीं अधिक है - यह एक प्रत्यक्ष प्रमाण है कि AMD का ROCm सॉफ्टवेयर स्टैक और Instinct GPU हार्डवेयर पूरी तरह से खुले बुनियादी ढांचे का उपयोग करके फ्रंटियर-स्केल AI विकास का समर्थन कर सकता है। NVIDIA हार्डवेयर पर प्रशिक्षित प्रमुख ओपन-सोर्स मॉडलों के मुकाबले प्रतिस्पर्धी बेंचमार्क देकर, AMD अपने इकोसिस्टम को बड़े पैमाने पर AI अनुसंधान और विकास के लिए NVIDIA के CUDA के एक व्यवहार्य विकल्प के रूप में स्थापित करता है ।
Instella-MoE एक shared-plus-routed expert कॉन्फ़िगरेशन का उपयोग करता है, जिसमें 2 हमेशा सक्रिय रहने वाले शेयर्ड एक्सपर्ट और प्रति टोकन 64 के पूल में से चुने गए 6 रूटेड एक्सपर्ट शामिल होते हैं । मॉडल में 27 डिकोडर लेयर हैं, जिनमें से प्रत्येक का छिपा हुआ आकार (hidden size) 2,048 है । दो आर्किटेक्चरल इनोवेशन खास तौर पर उल्लेखनीय हैं:
गेटेड मल्टी-हेड लेटेंट अटेंशन (Gated MLA): यह स्टैंडर्ड मल्टी-हेड लेटेंट अटेंशन (MLA) का एक उन्नत संस्करण है। इसमें एक हल्का सीखा हुआ आउटपुट गेट जोड़ा जाता है जो एक डेटा-संचालित नॉन-लीनियरिटी प्रस्तुत करता है, जो कम उपयोगी अटेंशन प्रतिक्रियाओं को चुनिंदा रूप से कम करता है और मामूली कम्प्यूटेशनल लागत पर अभिव्यक्तता (expressivity) बढ़ाता है ।
FarSkip-कलेक्टिव: MoE कनेक्टिविटी में एक संशोधन जो एक्सपर्ट-पैरेलल ट्रेनिंग के दौरान कम्युनिकेशन को कम्प्यूटेशन के साथ ओवरलैप करता है, जिससे कम्युनिकेशन बबल कम होता है। प्री-ट्रेनिंग के दौरान, इस तकनीक ने ट्रेनिंग को 12.7% तक तेज कर दिया ।
मॉडल अपने प्री-ट्रेनिंग और मिड-ट्रेनिंग चरणों के दौरान मल्टी-टोकन प्रेडिक्शन (MTP) ऑब्जेक्टिव का भी उपयोग करता है ।
कॉन्टेक्स्ट विंडो
एक समर्पित लॉन्ग-कॉन्टेक्स्ट एक्सटेंशन ट्रेनिंग चरण के बाद, Instella-MoE 64K-टोकन कॉन्टेक्स्ट को सपोर्ट करता है ।
छह-चरणीय ट्रेनिंग पाइपलाइन
AMD ने पूरी ट्रेनिंग पाइपलाइन प्रकाशित की, जिसमें छह क्रमिक चरण शामिल हैं :
प्री-ट्रेनिंग
मिड-ट्रेनिंग
लॉन्ग-कॉन्टेक्स्ट एक्सटेंशन (कॉन्टेक्स्ट को 64K टोकन तक बढ़ाना)
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) — जिसमें फाइन-ग्रेन एरर एनालिसिस और समानता-आधारित रिट्रीवल का उपयोग करके फीडबैक-संचालित डेटा क्यूरेशन चरण शामिल है
डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) — राउटर बायस अपडेट के साथ और ट्रेनिंग स्थिरता बनाए रखने के लिए सहायक लोड-बैलेंसिंग लॉस को निष्क्रिय किया गया
रीइन्फोर्समेंट लर्निंग (RL) — AMD Instinct GPUs पर ROCm सपोर्ट के साथ Miles RL फ्रेमवर्क का उपयोग करते हुए, जिसमें IF-विशिष्ट RL ट्रेनिंग और मल्टी-टीचर ऑन-पॉलिसी डिस्टिलेशन (MOPD) शामिल है
बेंचमार्क प्रदर्शन
Instella-MoE-16B-A3B बेस मॉडल ने मानक बेंचमार्क पर 76.7 का औसत स्कोर हासिल किया, जो इसे अपने पैमाने पर शीर्ष पूरी तरह से खुले मॉडलों में स्थान देता है । यह कथित तौर पर SmolLM3-3B और OLMo-3-7B से बेहतर प्रदर्शन करता है, और प्रति टोकन केवल 2.8 बिलियन पैरामीटर को सक्रिय करने के बावजूद बड़े मॉडलों के साथ प्रतिस्पर्धा करता है ।
पूर्ण पारदर्शिता और लाइसेंसिंग
खुले AI के प्रति अपनी प्रतिबद्धता के अनुरूप, AMD ने सभी प्रशिक्षण आर्टिफैक्ट्स को खुले तौर पर जारी किया :
प्रत्येक प्रशिक्षण चरण से मॉडल वेट
प्रशिक्षण कॉन्फ़िगरेशन और डेटा मिक्सचर
मध्यवर्ती चेकपॉइंट
इनफरेंस कोड
सभी आर्टिफैक्ट हगिंग फेस पर amd/Instella-MoE-16B-A3B नेमस्पेस के तहत Research RAIL (Responsible AI License) के अंतर्गत अकादमिक और अनुसंधान उद्देश्यों के लिए उपलब्ध हैं ।
सामरिक महत्व
Instella-MoE केवल एक मॉडल रिलीज़ से कहीं अधिक है - यह एक प्रत्यक्ष प्रमाण है कि AMD का ROCm सॉफ्टवेयर स्टैक और Instinct GPU हार्डवेयर पूरी तरह से खुले बुनियादी ढांचे का उपयोग करके फ्रंटियर-स्केल AI विकास का समर्थन कर सकता है। NVIDIA हार्डवेयर पर प्रशिक्षित प्रमुख ओपन-सोर्स मॉडलों के मुकाबले प्रतिस्पर्धी बेंचमार्क देकर, AMD अपने इकोसिस्टम को बड़े पैमाने पर AI अनुसंधान और विकास के लिए NVIDIA के CUDA के एक व्यवहार्य विकल्प के रूप में स्थापित करता है ।
arxiv.orgInstella: Fully Open Language Models with Stellar Performance
rocm.blogs.amd.comIntroducing Instella-MoE: A State-of-the-Art Fully Open Mixture ...
feixiaohao.comAMD发布全开源MoE大模型Instella-MoE，16B参数规模挑战 ...
developer.nvidia.comApplying Mixture of Experts in LLM Architectures