Muse Glimmer הוא שנאי סיבתי דחוס (לא Mixture-of-Experts) הכולל מקודד תפיסה ייעודי ViT-G/14 בעל ~1.8 מיליארד פרמטרים לקלט רב-מודאלי . הוא כולל 52 שכבות, ממד חבוי של 6,656, ו-32 ראשי שאילתה בתבנית 16:1 Grouped Query Attention .
| מאפיין | פרט |
|---|---|
| **סה |
Muse Glimmer הוא שנאי סיבתי דחוס (לא Mixture-of-Experts) הכולל מקודד תפיסה ייעודי ViT-G/14 בעל ~1.8 מיליארד פרמטרים לקלט רב-מודאלי . הוא כולל 52 שכבות, ממד חבוי של 6,656, ו-32 ראשי שאילתה בתבנית 16:1 Grouped Query Attention .
| מאפיין | פרט |
|---|---|
| **סה |