AMD Instella-MoE: NVIDIA को चुनौती देने वाला पूरी तरह से ओपन 16B MoE मॉडल

24 जुलाई 2026 को, AMD ने Instella-MoE की घोषणा की - यह एक पूरी तरह से खुला (fully open) 16 बिलियन पैरामीटर वाला Mixture-of-Experts (MoE) भाषा मॉडल है, जिसे पूरी तरह से स्क्रैच से AMD Instinct MI300X और MI325X GPUs पर ROCm सॉफ्टवेयर स्टैक का उपयोग करके प्रशिक्षित किया गया है । यह मॉडल प्रति टोकन केवल 2.8 बिलियन पैरामीटर को सक्रिय करता है, जो इसे अत्यधिक कुशल बनाता है, साथ ही प्रतिस्पर्धी बेंचमार्क प्रदर्शन भी देता है। यह रिलीज़ एक रणनीतिक मील का पत्थर है, जो दर्शाता है कि AMD का हार्डवेयर और ओपन-सोर्स सॉफ्टवेयर स्टैक प्री-ट्रेनिंग से लेकर रीइन्फोर्समेंट लर्निंग तक बड़े पैमाने पर AI विकास का समर्थन कर सकता है, जो दबदबे वाले NVIDIA CUDA इकोसिस्टम को चुनौती देता है ।

आर्किटेक्चर और इनोवेशन

Instella-MoE एक shared-plus-routed expert कॉन्फ़िगरेशन का उपयोग करता है, जिसमें 2 हमेशा सक्रिय रहने वाले शेयर्ड एक्सपर्ट और प्रति टोकन 64 के पूल में से चुने गए 6 रूटेड एक्सपर्ट शामिल होते हैं । मॉडल में 27 डिकोडर लेयर हैं, जिनमें से प्रत्येक का छिपा हुआ आकार (hidden size) 2,048 है । दो आर्किटेक्चरल इनोवेशन खास तौर पर उल्लेखनीय हैं:

• गेटेड मल्टी-हेड लेटेंट अटेंशन (Gated MLA): यह स्टैंडर्ड मल्टी-हेड लेटेंट अटेंशन (MLA) का एक उन्नत संस्करण है। इसमें एक हल्का सीखा हुआ आउटपुट गेट जोड़ा जाता है जो एक डेटा-संचालित नॉन-लीनियरिटी प्रस्तुत करता है, जो कम उपयोगी अटेंशन प्रतिक्रियाओं को चुनिंदा रूप से कम करता है और मामूली कम्प्यूटेशनल लागत पर अभिव्यक्तता (expressivity) बढ़ाता है ।
• FarSkip-कलेक्टिव: MoE कनेक्टिविटी में एक संशोधन जो एक्सपर्ट-पैरेलल ट्रेनिंग के दौरान कम्युनिकेशन को कम्प्यूटेशन के साथ ओवरलैप करता है, जिससे कम्युनिकेशन बबल कम होता है। प्री-ट्रेनिंग के दौरान, इस तकनीक ने ट्रेनिंग को 12.7% तक तेज कर दिया ।

मॉडल अपने प्री-ट्रेनिंग और मिड-ट्रेनिंग चरणों के दौरान मल्टी-टोकन प्रेडिक्शन (MTP) ऑब्जेक्टिव का भी उपयोग करता है ।

कॉन्टेक्स्ट विंडो

एक समर्पित लॉन्ग-कॉन्टेक्स्ट एक्सटेंशन ट्रेनिंग चरण के बाद, Instella-MoE 64K-टोकन कॉन्टेक्स्ट को सपोर्ट करता है ।

छह-चरणीय ट्रेनिंग पाइपलाइन

AMD ने पूरी ट्रेनिंग पाइपलाइन प्रकाशित की, जिसमें छह क्रमिक चरण शामिल हैं :

1. प्री-ट्रेनिंग
2. मिड-ट्रेनिंग
3. लॉन्ग-कॉन्टेक्स्ट एक्सटेंशन (कॉन्टेक्स्ट को 64K टोकन तक बढ़ाना)
4. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) — जिसमें फाइन-ग्रेन एरर एनालिसिस और समानता-आधारित रिट्रीवल का उपयोग करके फीडबैक-संचालित डेटा क्यूरेशन चरण शामिल है
5. डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) — राउटर बायस अपडेट के साथ और ट्रेनिंग स्थिरता बनाए रखने के लिए सहायक लोड-बैलेंसिंग लॉस को निष्क्रिय किया गया
6. रीइन्फोर्समेंट लर्निंग (RL) — AMD Instinct GPUs पर ROCm सपोर्ट के साथ Miles RL फ्रेमवर्क का उपयोग करते हुए, जिसमें IF-विशिष्ट RL ट्रेनिंग और मल्टी-टीचर ऑन-पॉलिसी डिस्टिलेशन (MOPD) शामिल है

बेंचमार्क प्रदर्शन

Instella-MoE-16B-A3B बेस मॉडल ने मानक बेंचमार्क पर 76.7 का औसत स्कोर हासिल किया, जो इसे अपने पैमाने पर शीर्ष पूरी तरह से खुले मॉडलों में स्थान देता है । यह कथित तौर पर SmolLM3-3B और OLMo-3-7B से बेहतर प्रदर्शन करता है, और प्रति टोकन केवल 2.8 बिलियन पैरामीटर को सक्रिय करने के बावजूद बड़े मॉडलों के साथ प्रतिस्पर्धा करता है ।

पूर्ण पारदर्शिता और लाइसेंसिंग

खुले AI के प्रति अपनी प्रतिबद्धता के अनुरूप, AMD ने सभी प्रशिक्षण आर्टिफैक्ट्स को खुले तौर पर जारी किया :

• प्रत्येक प्रशिक्षण चरण से मॉडल वेट
• प्रशिक्षण कॉन्फ़िगरेशन और डेटा मिक्सचर
• मध्यवर्ती चेकपॉइंट
• इनफरेंस कोड

सभी आर्टिफैक्ट हगिंग फेस पर amd/Instella-MoE-16B-A3B नेमस्पेस के तहत Research RAIL (Responsible AI License) के अंतर्गत अकादमिक और अनुसंधान उद्देश्यों के लिए उपलब्ध हैं ।

सामरिक महत्व

Instella-MoE केवल एक मॉडल रिलीज़ से कहीं अधिक है - यह एक प्रत्यक्ष प्रमाण है कि AMD का ROCm सॉफ्टवेयर स्टैक और Instinct GPU हार्डवेयर पूरी तरह से खुले बुनियादी ढांचे का उपयोग करके फ्रंटियर-स्केल AI विकास का समर्थन कर सकता है। NVIDIA हार्डवेयर पर प्रशिक्षित प्रमुख ओपन-सोर्स मॉडलों के मुकाबले प्रतिस्पर्धी बेंचमार्क देकर, AMD अपने इकोसिस्टम को बड़े पैमाने पर AI अनुसंधान और विकास के लिए NVIDIA के CUDA के एक व्यवहार्य विकल्प के रूप में स्थापित करता है ।