AnswersPublished17 sources
המדריך המלא לדגמי Gemma 4 QAT של גוגל: בינה מלאכותית מתקדמת רצה עכשיו בנייד שלכם
גוגל סיפקה נקודות ביקורת רשמיות של QAT (אימון מודע קוונטיזציה) למשפחת Gemma 4, הכוללת דגמים בגדלים E2B, E4B, 12B, 26B A4B ו 31B [1][4][5]. טכנולוגיית הקוונטיזציה מפחיתה את דיוק הערכים המספריים לאחסון וחישוב, כש int4 מייצג כל מספר ב 4 סיביות לעומת 16 סיביות בדיוק BF16 [2].
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
גוגל סיפקה נקודות ביקורת רשמיות של אימון מודע קוונטיזציה (Quantization-Aware Training, או בקיצור QAT) עבור סדרת Gemma 4. המגוון כולל את הדגמים E2B, E4B, 12B, 26B A4B ו-31B . המטרה היא לאפשר הרצה של בינה מלאכותית מתקדמת על מכשירים עם משאבים מוגבלים, כמו סמארטפונים. הנה כל מה שאתם צריכים לדעת.
גישת הקוונטיזציה
קוונטיזציה היא תהליך שמקטין את הדיוק המספרי המשמש לאחסון וחישוב של הפרמטרים במודל. בשיטת int4, כל ערך מיוצג בעזרת 4 סיביות בלבד, במקום 16 סיביות (BF16). זהו קיצוץ של פי 4 בגודל הנתונים .
החידוש בגישה של גוגל הוא שיטת ה-QAT. בניגוד לקוונטיזציה רגילה שמתבצעת לאחר סיום האימון (Post-Training Quantization) ועלולה לפגוע באיכות, אימון מודע קוונטיזציה משלב סימולציה של תהליך הכיווץ במהלך שלב האימון עצמו. המודל לומד לפצות על אובדן הדיוק, וכך ניתן לשמר ביצועים קרובים למקור תוך שימוש בזיכרון קטן משמעותית .
נקודות הביקורת הרשמיות משתמשות בסכמה בשם W4A16 עבור דגמי ה-dense במשפחת Gemma 4. פירוש הדבר הוא שימוש במשקלים (weights) באורך 4 סיביות (int4) והפעלות (activations) באורך 16 סיביות בפורמט compressed-tensors, עם group_size=32 .
דגמים, גדלים וחיסכון בזיכרון
סדרת Gemma 4 זמינה בחמישה גדלים: E2B, E4B, 12B, 26B A4B ו-31B . השימוש בקוונטיזציה של QAT ב-4 סיביות מפחית את דרישות הזיכרון בכ-72% תוך שמירה על ביצועים הקרובים למקור
.
| דגם | סוג | זיכרון ב-4 סיביות (Q4_0) | חיסכון מול BF16 |
|---|---|---|---|
| E2B | Dense, כ-2.3B פרמטרים אפקטיביים | ~3.2 GB | חיסכון של כ-72% |
| E4B | Dense, כ-4.5B פרמטרים אפקטיביים | ~5 GB | חיסכון של כ-72% |
| 12B | מודל אחוד (unified) לטקסט, תמונה ושמע | ~7 GB | חיסכון של כ-72% |
| 26B A4B | מודל MoE (תערובת מומחים), כ-3.8B פרמטרים פעילים | ~15 GB | חיסכון של כ-72% |
| 31B | Dense, כ-30.7B פרמטרים | ~18–20 GB | חיסכון של כ-72% |
חשוב להדגיש: באותה רמת דיוק של 4 סיביות, שיטת QAT שומרת על איכות גבוהה בהרבה לעומת המרה פשוטה (
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
People also ask
What is the short answer to "המדריך המלא לדגמי Gemma 4 QAT של גוגל: בינה מלאכותית מתקדמת רצה עכשיו בנייד שלכם"?
גוגל סיפקה נקודות ביקורת רשמיות של QAT (אימון מודע קוונטיזציה) למשפחת Gemma 4, הכוללת דגמים בגדלים E2B, E4B, 12B, 26B A4B ו 31B [1][4][5].
What are the key points to validate first?
גוגל סיפקה נקודות ביקורת רשמיות של QAT (אימון מודע קוונטיזציה) למשפחת Gemma 4, הכוללת דגמים בגדלים E2B, E4B, 12B, 26B A4B ו 31B [1][4][5]. טכנולוגיית הקוונטיזציה מפחיתה את דיוק הערכים המספריים לאחסון וחישוב, כש int4 מייצג כל מספר ב 4 סיביות לעומת 16 סיביות בדיוק BF16 [2].
What should I do next in practice?
שיטת QAT מאמנת את המודל תוך התחשבות בקוונטיזציה, מה שמאפשר לפריסות ב 4 סיביות לשמר ביצועים קרובים למקור תוך שימוש בזיכרון קטן בהרבה [5].
Sources
- docs.vllm.aiGemma 4 Usage Guide - vLLM Recipes
- ai.google.devGemma 4 model overview | Google AI for Developers
- unsloth.aiGemma 4 QAT | Unsloth Documentation
- developers.googleblog.comGemma 3 QAT Models: Bringing state-of-the-Art AI to ...
- ai.google.devGemma 4 model card | Google AI for Developers
- ai.google.devRingkasan model Gemma 4 - Google AI for Developers
- unsloth.aiGemma 4 - How to Run Locally
- ai.google.devGet started with Gemma models | Google AI for Developers
- ai.google.devGemma releases | Google AI for Developers
- gemma4.devGemma 4 Memory Requirements — VRAM Guide for All Models
- note.comGemma 4 QAT 徹底解説 ── 同じ賢さのままメモリ3分の1
- blog.googleGemma 4 with quantization-aware training
- marktechpost.comGoogle DeepMind Releases Gemma 4 QAT Checkpoints: Q4_0 and a New Mobile Format Cut On-Device Memory
- digg.comGoogle DeepMind releases Gemma 4 QAT, but Unsloth ...
- huggingface.cogoogle/gemma-4-12B-it-qat-q4_0-gguf
- huggingface.cogoogle/gemma-4-E2B-it-qat-mobile-transformers - Hugging Face
- digg.comGoogle DeepMind releases Gemma 4 QAT checkpoints ...