Google maakt krachtige AI bereikbaar voor iedereen: Gemma 4 QAT-modellen draaien lokaal op je telefoon en laptop

De Gemma 4-familie: van mobieltje tot server

De QAT-release omvat de volledige Gemma 4-reeks in vijf groottes. Van een model dat op je smartphone past tot een model dat op een krachtige thuis-pc draait :

De 26B A4B is een zogenaamd Mixture-of-Experts-model. Hoewel het in totaal 26 miljard parameters heeft, worden er per taak slechts ongeveer 3.8 miljard actief. Dit maakt het model razendsnel bij inferentie, vergelijkbaar met een 4B-model, terwijl het de 'slimheid' van een 26B-model benadert .

Beschikbare formaten: van GGUF tot mobiel

Google biedt vier hoofdvarianten aan om aan te sluiten bij verschillende toepassingen :

• GGUF (Q4_0): Kant-en-klare formaten voor brede ecosysteem-compatibiliteit met tools zoals Ollama, llama.cpp en MLX.
• Compressed-tensors: Het officiële W4A16-formaat voor vLLM-inferentie.
• Mobiel-geoptimaliseerd (wNa8o8): Een speciaal schema gericht op mobiele hardware. Het gebruikt 2-bit decodering-lagen voor een deel van het model, geoptimaliseerde KV-caches en andere slimme technieken. Hiermee is het geheugengebruik van de E2B teruggebracht tot ongeveer 1 GB .
• Ongekwantiseerde QAT-checkpoints: Voor ontwikkelaars die zelf willen experimenteren met verdere compilatie en kwantisatie.

Een belangrijke waarschuwing: het simpelweg converteren van QAT-gewichten naar een standaard Q4_0-formaat kan, vreemd genoeg, de kwaliteit schaden. Bij het 26B-model kan de top-1 accuracy daarmee zakken tot slechts 70.2% . Gebruik dus bij voorkeur de officiële QAT-formaten om de kwaliteitsvoordelen te behouden.

Wat dit in de praktijk betekent voor jouw hardware

Deze release is een gamechanger voor wie met AI wil werken op gangbare apparatuur:

• Smartphones: Het E2B-model is met de mobiele kwantisatie specifiek ontworpen voor mobiele apparaten en ondersteunt daar tekst, beeld en audio . Via apps als de Google AI Edge Gallery kun je het model volledig op je toestel draaien, zonder data naar de cloud te sturen .
• Budget-GPU's (8 GB VRAM): De E2B-, E4B- en 12B-modellen zijn praktisch uitvoerbaar in 4-bit modus. Het 12B-model, dat naast tekst ook beeld en audio aankan, draait op een kaart met 8 GB RAM .
• Krachtige thuis-GPU's (12-16 GB VRAM): Het 26B A4B Mixture-of-Experts-model vraagt ongeveer 15 GB in 4-bit, wat het geschikt maakt voor kaarten zoals de RTX 3090 of 4070 Ti. Het 31B-model heeft met ~18-20 GB iets meer hoofdruimte nodig, maar blijft binnen bereik van high-end consumentenkaarten .
• Contextlengte: De grotere modellen (12B, 26B A4B en 31B) ondersteunen een contextvenster van 256.000 tokens . Dat is genoeg om een compleet boek in één keer te verwerken. Probeer dat maar eens op een smartphone – het kan nu dus echt, lokaal en offline.

Conclusie

Met de QAT-release van Gemma 4 vervaagt Google de grens tussen 'cloud-AI' en 'device-AI'. De belofte van krachtige, open-source AI die direct op jouw apparaat draait, met behoud van je privacy en zonder dure abonnementen, is een flinke stap dichterbij gekomen. Het is niet langer de vraag óf je een groot taalmodel lokaal kunt draaien, maar wélk model het beste bij jouw hardware past .