AMD Instella-MoE: מודל הבינה המלאכותית החדש שמאיים על הדומיננטיות של NVIDIA

ארכיטקטורה וחידושים

Instella-MoE משתמש בתצורת מומחים משותפים ומנותבים (Shared-plus-routed expert configuration) עם 2 מומחים משותפים פעילים תמיד ו-6 מומחים מנותבים הנבחרים ממאגר של 64 מומחים לכל טוקן . המודל מורכב מ-27 שכבות מפענח (decoder), כל אחת עם גודל חבוי של 2,048 . שני חידושים ארכיטקטוניים בולטים:

• Gated Multi-head Latent Attention (Gated MLA): שדרוג של מנגנון ה-Multi-head Latent Attention (MLA) הסטנדרטי. הוא מוסיף שער פלט קל משקל שנלמד, המייצר אי-ליניאריות מונעת-נתונים, ומחליש באופן סלקטיבי תגובות קשב בעלות תועלת נמוכה, ובכך מגדיל את כושר ההבעה בעלות חישובית מתונה .
• FarSkip-Collective: שינוי בקישוריות של MoE החופף תקשורת עם חישוב במהלך אימון מקבילי של מומחים, ובכך מפחית 'בועות תקשורת'. במהלך האימון המקדים, טכניקה זו האיצה את ההדרכה ב-12.7% .

המודל משתמש גם ביעד Multi-Token Prediction (MTP) בשלבי האימון המקדים והאימון האמצעי שלו .

חלון ההקשר

לאחר שלב ייעודי של הרחבת הקשר ארוך, Instella-MoE תומך בהקשר של 64K טוקנים .

צינור אימון בן שישה שלבים

AMD פרסמה את צינור האימון המלא, המורכב משישה שלבים עוקבים :

1. אימון מקדים (Pre-training)
2. אימון אמצעי (Mid-training)
3. הרחבת הקשר ארוך (Long-Context Extension) (הרחבת ההקשר ל-64K טוקנים)
4. כיוונון עדין מפוקח (Supervised Fine-Tuning - SFT) — כולל שלב של אוצרות נתונים מונע משוב תוך שימוש בניתוח שגיאות עדין ואחזור מבוסס דמיון
5. אופטימיזציית העדפות ישירה (Direct Preference Optimization - DPO) — עם עדכוני הטיית הנתב והשבתת פונקציית העזר לאיזון עומסים לשמירה על יציבות האימון
6. למידת חיזוקים (Reinforcement Learning - RL) — תוך שימוש במסגרת ה-Miles RL עם תמיכת ROCm ב-GPUs של AMD Instinct, המשלבת אימון RL מיוחד של IF וזיקוק מדיניות מרובה מורים על-פוליסה (Multi-Teacher On-Policy Distillation - MOPD)

ביצועים במבחני השוואה

מודל הבסיס Instella-MoE-16B-A3B השיג ציון ממוצע של 76.7 במבחני השוואה סטנדרטיים, מה שממקם אותו בין המודלים הפתוחים המובילים בקנה המידה שלו . על פי הדיווחים, הוא עלה על SmolLM3-3B ו-OLMo-3-7B, והתחרה במודלים גדולים יותר למרות שהוא מפעיל רק 2.8 מיליארד פרמטרים לכל טוקן .

שקיפות מלאה ורישוי

בהתאם למחויבותה ל-AI פתוח, AMD שחררה את כל ארטיפקטי האימון באופן פתוח :

• משקולות מודל מכל שלב אימון
• תצורות אימון ותערובות נתונים
• נקודות ביניים (checkpoints)
• קוד הסקה

כל הארטיפקטים זמינים ב-Hugging Face תחת המרחב amd/Instella-MoE-16B-A3B, ברישיון Research RAIL (Responsible AI License) למטרות אקדמיות ומחקר .

משמעות אסטרטגית

Instella-MoE הוא יותר מסתם שחרור מודל - הוא הוכחה ישירה לכך שערימת התוכנה ROCm וחומרת Instinct GPU של AMD יכולות לתמוך בפיתוח AI בקנה מידה גבול, מאימון מקדים ועד ללמידת חיזוקים, תוך שימוש בתשתית פתוחה לחלוטין. על ידי הצגת ביצועים תחרותיים מול מודלי קוד פתוח מובילים שאומנו על חומרת NVIDIA, AMD ממקמת את המערכת האקולוגית שלה כאלטרנטיבה בת-קיימא ל-CUDA של NVIDIA עבור מחקר ופיתוח AI בקנה מידה גדול .