Google maakt krachtige AI bereikbaar voor iedereen: Gemma 4 QAT-modellen draaien lokaal op je telefoon en laptop
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5]. De modellen gebruiken een W4A16 schema: 4 bit gewichten en 16 bit activeringen, wat het geheugengebruik met 72% vermindert met vrijwel dezelfde prestaties [1][5].
Gepubliceerd doorBewerkt met DeepSeek-V4-ProAfbeeldingen gegenereerd met GPT Image 1.5
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5].
De modellen gebruiken een W4A16 schema: 4 bit gewichten en 16 bit activeringen, wat het geheugengebruik met 72% vermindert met vrijwel dezelfde prestaties [1][5].
Het E2B model is geoptimaliseerd voor mobiele apparaten en heeft een nieuw mobiel specifiek formaat dat het werkgeheugengebruik terugbrengt tot ongeveer 1 GB [12][13][16].
Met QAT kunnen modellen zoals de 12B op een GPU met 8 GB VRAM draaien en de 26B A4B op een GPU met 16 GB, wat lokale uitvoering op gangbare hardware haalbaar maakt [3][5][7].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Stel je voor: een geavanceerd AI-model dat razendsnel teksten schrijft, afbeeldingen analyseert en zelfs spraakopdrachten begrijpt – en dat allemaal direct op je smartphone, zonder internetverbinding. Dat is precies wat Google mogelijk maakt met de nieuwste Gemma 4-modellen, geoptimaliseerd met Quantization-Aware Training (QAT). We zetten de belangrijkste details voor je op een rij.
Wat is QAT en waarom is het belangrijk?
Normaal gesproken zijn AI-modellen geheugenvreters. Een model met 31 miljard parameters kan zomaar 58 GB aan werkgeheugen nodig hebben . Dat past alleen op dure, gespecialiseerde hardware. Kwantisatie pakt dit aan door de precisie waarmee de modelgewichten worden opgeslagen te verlagen. In plaats van 16-bits getallen (BF16), worden ze weergegeven met slechts 4 bits (int4). Dit zorgt voor een 4x kleinere datagrootte.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Google maakt krachtige AI bereikbaar voor iedereen: Gemma 4 QAT-modellen draaien lokaal op je telefoon en laptop"?
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5].
What are the key points to validate first?
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5]. De modellen gebruiken een W4A16 schema: 4 bit gewichten en 16 bit activeringen, wat het geheugengebruik met 72% vermindert met vrijwel dezelfde prestaties [1][5].
What should I do next in practice?
Het E2B model is geoptimaliseerd voor mobiele apparaten en heeft een nieuw mobiel specifiek formaat dat het werkgeheugengebruik terugbrengt tot ongeveer 1 GB [12][13][16].
Google maakt krachtige AI bereikbaar voor iedereen: Gemma 4 QAT-modellen draaien lokaal op je telefoon en laptop
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5]. De modellen gebruiken een W4A16 schema: 4 bit gewichten en 16 bit activeringen, wat het geheugengebruik met 72% vermindert met vrijwel dezelfde prestaties [1][5].
Gepubliceerd doorBewerkt met DeepSeek-V4-ProAfbeeldingen gegenereerd met GPT Image 1.5
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5].
De modellen gebruiken een W4A16 schema: 4 bit gewichten en 16 bit activeringen, wat het geheugengebruik met 72% vermindert met vrijwel dezelfde prestaties [1][5].
Het E2B model is geoptimaliseerd voor mobiele apparaten en heeft een nieuw mobiel specifiek formaat dat het werkgeheugengebruik terugbrengt tot ongeveer 1 GB [12][13][16].
Met QAT kunnen modellen zoals de 12B op een GPU met 8 GB VRAM draaien en de 26B A4B op een GPU met 16 GB, wat lokale uitvoering op gangbare hardware haalbaar maakt [3][5][7].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Stel je voor: een geavanceerd AI-model dat razendsnel teksten schrijft, afbeeldingen analyseert en zelfs spraakopdrachten begrijpt – en dat allemaal direct op je smartphone, zonder internetverbinding. Dat is precies wat Google mogelijk maakt met de nieuwste Gemma 4-modellen, geoptimaliseerd met Quantization-Aware Training (QAT). We zetten de belangrijkste details voor je op een rij.
Wat is QAT en waarom is het belangrijk?
Normaal gesproken zijn AI-modellen geheugenvreters. Een model met 31 miljard parameters kan zomaar 58 GB aan werkgeheugen nodig hebben . Dat past alleen op dure, gespecialiseerde hardware. Kwantisatie pakt dit aan door de precisie waarmee de modelgewichten worden opgeslagen te verlagen. In plaats van 16-bits getallen (BF16), worden ze weergegeven met slechts 4 bits (int4). Dit zorgt voor een 4x kleinere datagrootte.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Google maakt krachtige AI bereikbaar voor iedereen: Gemma 4 QAT-modellen draaien lokaal op je telefoon en laptop"?
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5].
What are the key points to validate first?
Google heeft officiële QAT checkpoints (Quantization Aware Training) voor Gemma 4 uitgebracht, met modellen van E2B tot 31B [1][4][5]. De modellen gebruiken een W4A16 schema: 4 bit gewichten en 16 bit activeringen, wat het geheugengebruik met 72% vermindert met vrijwel dezelfde prestaties [1][5].
What should I do next in practice?
Het E2B model is geoptimaliseerd voor mobiele apparaten en heeft een nieuw mobiel specifiek formaat dat het werkgeheugengebruik terugbrengt tot ongeveer 1 GB [12][13][16].
Het addertje onder het gras: standaard compressie ná training (PTQ) leidt vaak tot een flinke kwaliteitsdaling. QAT pakt het slimmer aan: het model wordt al getraind mét de wetenschap dat het later gecomprimeerd wordt. Het leert dus als het ware om te gaan met het precisieverlies. Het resultaat? Een model dat tot ~72% minder geheugen gebruikt, terwijl het vrijwel de originele prestaties behoudt .
De officiële checkpoints van Google gebruiken een zogeheten W4A16-schema: de gewichten zijn 4-bit integers, de activeringen blijven 16-bit, met een group_size=32. Deze modellen worden aangeboden in het compressed-tensors-formaat .
De Gemma 4-familie: van mobieltje tot server
De QAT-release omvat de volledige Gemma 4-reeks in vijf groottes. Van een model dat op je smartphone past tot een model dat op een krachtige thuis-pc draait :
Model
Type
Werkgeheugen (4-bit)
Besparing t.o.v. BF16
E2B
Dicht model, 2.3B effectieve parameters
~3.2 GB
~72% lager
E4B
Dicht model, 4.5B effectieve parameters
~5 GB
~72% lager
12B
Geïntegreerd model voor tekst, beeld en audio
~7 GB
~72% lager
26B A4B
Mixture-of-Experts, ~3.8B actieve parameters
~15 GB
~72% lager
31B
Dicht model, 30.7B parameters
~18–20 GB
~72% lager
De 26B A4B is een zogenaamd Mixture-of-Experts-model. Hoewel het in totaal 26 miljard parameters heeft, worden er per taak slechts ongeveer 3.8 miljard actief. Dit maakt het model razendsnel bij inferentie, vergelijkbaar met een 4B-model, terwijl het de 'slimheid' van een 26B-model benadert .
Beschikbare formaten: van GGUF tot mobiel
Google biedt vier hoofdvarianten aan om aan te sluiten bij verschillende toepassingen :
GGUF (Q4_0): Kant-en-klare formaten voor brede ecosysteem-compatibiliteit met tools zoals Ollama, llama.cpp en MLX.
Compressed-tensors: Het officiële W4A16-formaat voor vLLM-inferentie.
Mobiel-geoptimaliseerd (wNa8o8): Een speciaal schema gericht op mobiele hardware. Het gebruikt 2-bit decodering-lagen voor een deel van het model, geoptimaliseerde KV-caches en andere slimme technieken. Hiermee is het geheugengebruik van de E2B teruggebracht tot ongeveer 1 GB.
Ongekwantiseerde QAT-checkpoints: Voor ontwikkelaars die zelf willen experimenteren met verdere compilatie en kwantisatie.
Een belangrijke waarschuwing: het simpelweg converteren van QAT-gewichten naar een standaard Q4_0-formaat kan, vreemd genoeg, de kwaliteit schaden. Bij het 26B-model kan de top-1 accuracy daarmee zakken tot slechts 70.2% . Gebruik dus bij voorkeur de officiële QAT-formaten om de kwaliteitsvoordelen te behouden.
Wat dit in de praktijk betekent voor jouw hardware
Deze release is een gamechanger voor wie met AI wil werken op gangbare apparatuur:
Smartphones: Het E2B-model is met de mobiele kwantisatie specifiek ontworpen voor mobiele apparaten en ondersteunt daar tekst, beeld en audio . Via apps als de Google AI Edge Gallery kun je het model volledig op je toestel draaien, zonder data naar de cloud te sturen .
Budget-GPU's (8 GB VRAM): De E2B-, E4B- en 12B-modellen zijn praktisch uitvoerbaar in 4-bit modus. Het 12B-model, dat naast tekst ook beeld en audio aankan, draait op een kaart met 8 GB RAM .
Krachtige thuis-GPU's (12-16 GB VRAM): Het 26B A4B Mixture-of-Experts-model vraagt ongeveer 15 GB in 4-bit, wat het geschikt maakt voor kaarten zoals de RTX 3090 of 4070 Ti. Het 31B-model heeft met ~18-20 GB iets meer hoofdruimte nodig, maar blijft binnen bereik van high-end consumentenkaarten .
Contextlengte: De grotere modellen (12B, 26B A4B en 31B) ondersteunen een contextvenster van 256.000 tokens. Dat is genoeg om een compleet boek in één keer te verwerken. Probeer dat maar eens op een smartphone – het kan nu dus echt, lokaal en offline.
Conclusie
Met de QAT-release van Gemma 4 vervaagt Google de grens tussen 'cloud-AI' en 'device-AI'. De belofte van krachtige, open-source AI die direct op jouw apparaat draait, met behoud van je privacy en zonder dure abonnementen, is een flinke stap dichterbij gekomen. Het is niet langer de vraag óf je een groot taalmodel lokaal kunt draaien, maar wélk model het beste bij jouw hardware past .
Het addertje onder het gras: standaard compressie ná training (PTQ) leidt vaak tot een flinke kwaliteitsdaling. QAT pakt het slimmer aan: het model wordt al getraind mét de wetenschap dat het later gecomprimeerd wordt. Het leert dus als het ware om te gaan met het precisieverlies. Het resultaat? Een model dat tot ~72% minder geheugen gebruikt, terwijl het vrijwel de originele prestaties behoudt .
De officiële checkpoints van Google gebruiken een zogeheten W4A16-schema: de gewichten zijn 4-bit integers, de activeringen blijven 16-bit, met een group_size=32. Deze modellen worden aangeboden in het compressed-tensors-formaat .
De Gemma 4-familie: van mobieltje tot server
De QAT-release omvat de volledige Gemma 4-reeks in vijf groottes. Van een model dat op je smartphone past tot een model dat op een krachtige thuis-pc draait :
Model
Type
Werkgeheugen (4-bit)
Besparing t.o.v. BF16
E2B
Dicht model, 2.3B effectieve parameters
~3.2 GB
~72% lager
E4B
Dicht model, 4.5B effectieve parameters
~5 GB
~72% lager
12B
Geïntegreerd model voor tekst, beeld en audio
~7 GB
~72% lager
26B A4B
Mixture-of-Experts, ~3.8B actieve parameters
~15 GB
~72% lager
31B
Dicht model, 30.7B parameters
~18–20 GB
~72% lager
De 26B A4B is een zogenaamd Mixture-of-Experts-model. Hoewel het in totaal 26 miljard parameters heeft, worden er per taak slechts ongeveer 3.8 miljard actief. Dit maakt het model razendsnel bij inferentie, vergelijkbaar met een 4B-model, terwijl het de 'slimheid' van een 26B-model benadert .
Beschikbare formaten: van GGUF tot mobiel
Google biedt vier hoofdvarianten aan om aan te sluiten bij verschillende toepassingen :
GGUF (Q4_0): Kant-en-klare formaten voor brede ecosysteem-compatibiliteit met tools zoals Ollama, llama.cpp en MLX.
Compressed-tensors: Het officiële W4A16-formaat voor vLLM-inferentie.
Mobiel-geoptimaliseerd (wNa8o8): Een speciaal schema gericht op mobiele hardware. Het gebruikt 2-bit decodering-lagen voor een deel van het model, geoptimaliseerde KV-caches en andere slimme technieken. Hiermee is het geheugengebruik van de E2B teruggebracht tot ongeveer 1 GB.
Ongekwantiseerde QAT-checkpoints: Voor ontwikkelaars die zelf willen experimenteren met verdere compilatie en kwantisatie.
Een belangrijke waarschuwing: het simpelweg converteren van QAT-gewichten naar een standaard Q4_0-formaat kan, vreemd genoeg, de kwaliteit schaden. Bij het 26B-model kan de top-1 accuracy daarmee zakken tot slechts 70.2% . Gebruik dus bij voorkeur de officiële QAT-formaten om de kwaliteitsvoordelen te behouden.
Wat dit in de praktijk betekent voor jouw hardware
Deze release is een gamechanger voor wie met AI wil werken op gangbare apparatuur:
Smartphones: Het E2B-model is met de mobiele kwantisatie specifiek ontworpen voor mobiele apparaten en ondersteunt daar tekst, beeld en audio . Via apps als de Google AI Edge Gallery kun je het model volledig op je toestel draaien, zonder data naar de cloud te sturen .
Budget-GPU's (8 GB VRAM): De E2B-, E4B- en 12B-modellen zijn praktisch uitvoerbaar in 4-bit modus. Het 12B-model, dat naast tekst ook beeld en audio aankan, draait op een kaart met 8 GB RAM .
Krachtige thuis-GPU's (12-16 GB VRAM): Het 26B A4B Mixture-of-Experts-model vraagt ongeveer 15 GB in 4-bit, wat het geschikt maakt voor kaarten zoals de RTX 3090 of 4070 Ti. Het 31B-model heeft met ~18-20 GB iets meer hoofdruimte nodig, maar blijft binnen bereik van high-end consumentenkaarten .
Contextlengte: De grotere modellen (12B, 26B A4B en 31B) ondersteunen een contextvenster van 256.000 tokens. Dat is genoeg om een compleet boek in één keer te verwerken. Probeer dat maar eens op een smartphone – het kan nu dus echt, lokaal en offline.
Conclusie
Met de QAT-release van Gemma 4 vervaagt Google de grens tussen 'cloud-AI' en 'device-AI'. De belofte van krachtige, open-source AI die direct op jouw apparaat draait, met behoud van je privacy en zonder dure abonnementen, is een flinke stap dichterbij gekomen. Het is niet langer de vraag óf je een groot taalmodel lokaal kunt draaien, maar wélk model het beste bij jouw hardware past .
