Google åbner for avanceret AI på forbrugerhardware med nye Gemma 4 QAT-modeller

Google har taget et bemærkelsesværdigt skridt for at gøre avancerede, åbne AI-modeller tilgængelige på helt almindeligt forbrugerudstyr. Den 5. juni 2025 offentliggjorde de officielle QAT-checkpoints (Quantization-Aware Training) til hele deres nye Gemma 4-serie . Det er en teknik, der gør det muligt at skære op mod 72 % af hukommelsesforbruget, uden at modellernes præcision forringes nævneværdigt .

Hvad er QAT, og hvorfor er det en gamechanger?

Kvantisering handler i bund og grund om at reducere præcisionen af de tal, en AI-model gemmer og regner med. Hvor en model normalt bruger 16-bit (BF16) til hver vægt, nøjes en 4-bit (int4) model med kun 4 bit – en firdobling af effektiviteten .

Traditionel efter-træningskvantisering (PTQ) komprimerer en færdigtrænet model, hvilket ofte koster på kvaliteten. QAT er smartere: Her simuleres kvantiseringen allerede under træningsprocessen, så modellen lærer at kompensere for det præcisionstab, der opstår . Google sammenligner det med, at modellen bliver "trænet med komprimeringen i tankerne", hvilket resulterer i en 4-bit udgave, der performer næsten identisk med originalen .

Gemma 4-serien: Fra mobilen til arbejdsstationen

Google har gjort QAT-checkpoints tilgængelige for alle fem størrelser i Gemma 4-serien, som spænder fra ultra-mobil til krævende opgaver. Det officielle format for dense-modellerne er W4A16, hvilket betyder 4-bit heltalsvægte og 16-bit aktiveringer .

Model	Type	Hukommelse (4-bit)	Besparelse vs. 16-bit
E2B	2,3 mia. parametre (effektiv), tæt + PLE	~3,2 GB	~72 % lavere
E4B	4,5 mia. parametre (effektiv), tæt	~5 GB	~72 % lavere
12B	11,95 mia. parametre, tæt, encoder-fri	~7 GB	~72 % lavere
26B A4B	26 mia. totale (3,8 mia. aktive), Mixture-of-Experts	~15 GB	~72 % lavere
31B	30,7 mia. parametre, tæt	17-20 GB	~72 % lavere

De komprimerede modeller frigør markant plads, men det er vigtigt at forstå, at 26B A4B er en MoE-model (Mixture-of-Experts), der ved hvert token kun aktiverer ca. 3,8 af sine 26 milliarder parametre. Det giver en meget effektiv inferens-profil, der ligner en langt mindre model i praksis .

Udgivelsesformater: Mere end bare én opskrift

Google udgiver QAT-modellerne i flere formater for at sikre bred kompatibilitet:

• Compressed-tensors (W4A16): Det officielle format til server-inferens, for eksempel via vLLM. Vægte gemmes som 4-bit heltal, mens aktiveringer forbliver 16-bit for at bevare præcision .
• GGUF (Q4_0): Klar-til-brug format til populære værktøjer som Ollama, llama.cpp og MLX, designet til bred økosystemkompatibilitet .
• Mobil-optimeret: Et splinternyt format, der er udviklet specifikt til mobil hardware. Det bruger en blanding af kvantiseringsbredder og kan reducere Gemma 4 E2B til kun 1 GB hukommelse . En rent tekstbaseret version kan endda fylde under 1 GB .
• Ukomprimerede QAT-checkpoints: Halvpræcisionsvægte ekstraheret fra QAT-pipelinen, beregnet til forskere der selv ønsker at eksperimentere med videre kompilering .

Vigtig advarsel: QAT’s fordel er størst ved 4-bit. Hvis man naivt konverterer QAT-vægte til et Q4_0-format uden om de officielle pipelines, kan kvaliteten falde dramatisk. For 26B-modellen er der set et fald i top-1 nøjagtighed til blot 70,2 % . Brug derfor altid de officielle QAT-orienterede formater for at bevare kvaliteten .

Hvad kan du køre og på hvilket udstyr?

Den praktiske konsekvens er, at AI-landskabet på forbrugerhardware rykkes markant.

• Smartphones: E2B og E4B er direkte målrettet mobile enheder og understøtter udover tekst både billede- og lydinput . Med den nye mobile kvantisering er E2B nu inden for rækkevidde på langt de fleste nyere telefoner .
• 8 GB GPU’er: Modellerne E2B, E4B og den helt nye 12B er praktisk mulige i 4-bit. 12B-modellen, der er en encoder-fri multimodel model, er opgivet til at kunne køre på 7-8 GB RAM i 4-bit .
• 12–16 GB GPU’er: Her åbner 26B A4B MoE-modellen sig. Med et forbrug på omkring 15-16 GB i 4-bit er den inden for rækkevidde af grafikkort som en RTX 4080 eller 3090 .
• High-end: Den massive 31B tætte model lander på 17-20 GB og understøtter en kontekstlængde på hele 256.000 tokens, hvilket nu gør den tilgængelig for entusiaster med topkort som en RTX 4090 (24 GB) .

Det er ikke længere nødvendigt med et serverkort til titusindvis af kroner for at eksperimentere med topmodellerne. QAT rykker avanceret, multimodal AI ned på forbrugerens skrivebord og ned i lommen.