קוונטיזציה היא תהליך שמקטין את הדיוק המספרי המשמש לאחסון וחישוב של הפרמטרים במודל. בשיטת int4, כל ערך מיוצג בעזרת 4 סיביות בלבד, במקום 16 סיביות (BF16). זהו קיצוץ של פי 4 בגודל הנתונים .
החידוש בגישה של גוגל הוא שיטת ה-QAT. בניגוד לקוונטיזציה רגילה שמתבצעת לאחר סיום האימון (Post-Training Quantization) ועלולה לפגוע באיכות, אימון מודע קוונטיזציה משלב סימולציה של תהליך הכיווץ במהלך שלב האימון עצמו. המודל לומד לפצות על אובדן הדיוק, וכך ניתן לשמר ביצועים קרובים למקור תוך שימוש בזיכרון קטן משמעותית .
נקודות הביקורת הרשמיות משתמשות בסכמה בשם W4A16 עבור דגמי ה-dense במשפחת Gemma 4. פירוש הדבר הוא שימוש במשקלים (weights) באורך 4 סיביות (int4) והפעלות (activations) באורך 16 סיביות בפורמט compressed-tensors, עם group_size=32 .
סדרת Gemma 4 זמינה בחמישה גדלים: E2B, E4B, 12B, 26B A4B ו-31B . השימוש בקוונטיזציה של QAT ב-4 סיביות מפחית את דרישות הזיכרון בכ-72% תוך שמירה על ביצועים הקרובים למקור .
| דגם | סוג | זיכרון ב-4 סיביות (Q4_0) | חיסכון מול BF16 |
|---|---|---|---|
| E2B | Dense, כ-2.3B פרמטרים אפקטיביים | ~3.2 GB | חיסכון של כ-72% |
| E4B | Dense, כ-4.5B פרמטרים אפקטיביים | ~5 GB | חיסכון של כ-72% |
| 12B | מודל אחוד (unified) לטקסט, תמונה ושמע | ~7 GB | חיסכון של כ-72% |
| 26B A4B | מודל MoE (תערובת מומחים), כ-3.8B פרמטרים פעילים | ~15 GB | חיסכון של כ-72% |
| 31B | Dense, כ-30.7B פרמטרים | ~18–20 GB | חיסכון של כ-72% |
חשוב להדגיש: באותה רמת דיוק של 4 סיביות, שיטת QAT שומרת על איכות גבוהה בהרבה לעומת המרה פשוטה (
קוונטיזציה היא תהליך שמקטין את הדיוק המספרי המשמש לאחסון וחישוב של הפרמטרים במודל. בשיטת int4, כל ערך מיוצג בעזרת 4 סיביות בלבד, במקום 16 סיביות (BF16). זהו קיצוץ של פי 4 בגודל הנתונים .
החידוש בגישה של גוגל הוא שיטת ה-QAT. בניגוד לקוונטיזציה רגילה שמתבצעת לאחר סיום האימון (Post-Training Quantization) ועלולה לפגוע באיכות, אימון מודע קוונטיזציה משלב סימולציה של תהליך הכיווץ במהלך שלב האימון עצמו. המודל לומד לפצות על אובדן הדיוק, וכך ניתן לשמר ביצועים קרובים למקור תוך שימוש בזיכרון קטן משמעותית .
נקודות הביקורת הרשמיות משתמשות בסכמה בשם W4A16 עבור דגמי ה-dense במשפחת Gemma 4. פירוש הדבר הוא שימוש במשקלים (weights) באורך 4 סיביות (int4) והפעלות (activations) באורך 16 סיביות בפורמט compressed-tensors, עם group_size=32 .
סדרת Gemma 4 זמינה בחמישה גדלים: E2B, E4B, 12B, 26B A4B ו-31B . השימוש בקוונטיזציה של QAT ב-4 סיביות מפחית את דרישות הזיכרון בכ-72% תוך שמירה על ביצועים הקרובים למקור .
| דגם | סוג | זיכרון ב-4 סיביות (Q4_0) | חיסכון מול BF16 |
|---|---|---|---|
| E2B | Dense, כ-2.3B פרמטרים אפקטיביים | ~3.2 GB | חיסכון של כ-72% |
| E4B | Dense, כ-4.5B פרמטרים אפקטיביים | ~5 GB | חיסכון של כ-72% |
| 12B | מודל אחוד (unified) לטקסט, תמונה ושמע | ~7 GB | חיסכון של כ-72% |
| 26B A4B | מודל MoE (תערובת מומחים), כ-3.8B פרמטרים פעילים | ~15 GB | חיסכון של כ-72% |
| 31B | Dense, כ-30.7B פרמטרים | ~18–20 GB | חיסכון של כ-72% |
חשוב להדגיש: באותה רמת דיוק של 4 סיביות, שיטת QAT שומרת על איכות גבוהה בהרבה לעומת המרה פשוטה (