AMD تطلق Instella-MoE: نموذج مفتوح بالكامل بـ 16 مليار معلمة يعمل بتقنية الخبراء المختلطة على معالجات AMD Instinct

الهندسة والابتكارات

يعتمد Instella-MoE على تكوين خبراء مشتركين وموجهين، حيث يضم خبيرين مشتركين نشطين دائمًا و6 خبراء يتم توجيههم من مجموعة تضم 64 خبيرًا لكل رمز . يتكون النموذج من 27 طبقة لفك التشفير، كل طبقة بحجم خفي يبلغ 2,048 . هناك ابتكاران معماريان رئيسيان:

• انتباه الرؤوس الكامنة المُبوّب (Gated Multi-head Latent Attention – Gated MLA): وهو تطوير لنوعية 'انتباه الرؤوس الكامنة' (MLA) التقليدية، حيث يضيف بوابة إخراج خفيفة الوزن تُدخل اللاخطية المستندة إلى البيانات، مما يسمح بتقليل الاستجابات منخفضة الفائدة وزيادة القدرة التعبيرية بتكلفة حسابية متواضعة .
• التخطي الجماعي البعيد (FarSkip-Collective): تعديل في طريقة اتصال الخبراء المختلطة (MoE) يسمح بتداخل أعمال الاتصال مع الحساب أثناء تدريب الخبراء المتوازي، مما يقلل من فترات التوقف. خلال مرحلة ما قبل التدريب، أدت هذه التقنية إلى تسريع العملية بنسبة 12.7% .

كما يستخدم النموذج أسلوب التنبؤ متعدد الرموز (Multi-Token Prediction – MTP) خلال مرحلتي التدريب الأولي والمتوسط .

نافذة السياق

بعد مرحلة تدريب مخصصة لتمديد السياق الطويل، يدعم نموذج Instella-MoE نافذة سياق يصل طولها إلى 64 ألف رمز .

مسار التدريب السداسي

نشرت AMD بالكامل مسار التدريب الكامل للنموذج، والذي يتكون من ست مراحل متتالية :

1. مرحلة ما قبل التدريب (Pre-training)
2. التدريب المتوسط (Mid-training)
3. تمديد السياق الطويل (Long-Context Extension) (تمديد السياق إلى 64 ألف رمز)
4. الضبط الدقيق الخاضع للإشراف (Supervised Fine-Tuning – SFT) — ويتضمن مرحلة لتنظيم البيانات مدفوعة بالتغذية الراجعة باستخدام تحليل الأخطاء والبحث القائم على التشابه
5. تحسين التفضيل المباشر (Direct Preference Optimization – DPO) — مع تحديث تحيزات الموجه وإلغاء فقدان موازنة التحميل المساعد للحفاظ على استقرار التدريب
6. التعلم المعزز (Reinforcement Learning – RL) — باستخدام إطار عمل Miles RL الذي يدعم ROCm على معالجات AMD Instinct، ويتضمن تدريب RL متخصصًا وتقطيرًا متعدد المعلمين داخل السياسة.

أداء المعايير

حقق النموذج الأساسي Instella-MoE-16B-A3B متوسط درجات 76.7 على المعايير القياسية، مما يضعه بين أفضل النماذج المفتوحة بالكامل في فئته . وبحسب التقارير، فقد تفوق على نموذجي SmolLM3-3B وOLMo-3-7B، ونافس نماذج أكبر حجمًا على الرغم من أنه لا ينشط سوى 2.8 مليار معلمة لكل رمز .

الشفافية الكاملة والترخيص

التزامًا منها بمبدأ الذكاء الاصطناعي المفتوح، أصدرت AMD جميع مخرجات التدريب بشكل علني :

• أوزان النموذج من كل مرحلة تدريبية
• تكوينات التدريب ومزيج البيانات
• نقاط التفتيش الوسيطة
• رمز الاستدلال

جميع المخرجات متاحة على منصة Hugging Face تحت مساحة amd/Instella-MoE-16B-A3B، ومرخصة بموجب رخصة Research RAIL (رخصة الذكاء الاصطناعي المسؤولة) لأغراض أكاديمية وبحثية .

الأهمية الاستراتيجية

يمثل إطلاق Instella-MoE أكثر من مجرد نموذج جديد؛ إنه إثبات مباشر على أن حزمة برامج ROCm وأجهزة معالجات Instinct من AMD قادرة على دعم تطوير الذكاء الاصطناعي على نطاق عالمي، من مرحلة ما قبل التدريب وحتى التعلم المعزز، باستخدام بنية تحتية مفتوحة بالكامل. من خلال تقديم معايير أداء منافسة لنماذج رائدة مفتوحة المصدر تم تدريبها على أجهزة Nvidia، تضع AMD نظامها البيئي كبديل عملي لنظام CUDA من Nvidia للبحث والتطوير في مجال الذكاء الاصطناعي على نطاق واسع .