Google åbner for avanceret AI på forbrugerhardware med nye Gemma 4 QAT-modeller

Gemma 4-serien: Fra mobilen til arbejdsstationen

Google har gjort QAT-checkpoints tilgængelige for alle fem størrelser i Gemma 4-serien, som spænder fra ultra-mobil til krævende opgaver. Det officielle format for dense-modellerne er W4A16, hvilket betyder 4-bit heltalsvægte og 16-bit aktiveringer .

De komprimerede modeller frigør markant plads, men det er vigtigt at forstå, at 26B A4B er en MoE-model (Mixture-of-Experts), der ved hvert token kun aktiverer ca. 3,8 af sine 26 milliarder parametre. Det giver en meget effektiv inferens-profil, der ligner en langt mindre model i praksis .

Udgivelsesformater: Mere end bare én opskrift

Google udgiver QAT-modellerne i flere formater for at sikre bred kompatibilitet:

• Compressed-tensors (W4A16): Det officielle format til server-inferens, for eksempel via vLLM. Vægte gemmes som 4-bit heltal, mens aktiveringer forbliver 16-bit for at bevare præcision .
• GGUF (Q4_0): Klar-til-brug format til populære værktøjer som Ollama, llama.cpp og MLX, designet til bred økosystemkompatibilitet .
• Mobil-optimeret: Et splinternyt format, der er udviklet specifikt til mobil hardware. Det bruger en blanding af kvantiseringsbredder og kan reducere Gemma 4 E2B til kun 1 GB hukommelse . En rent tekstbaseret version kan endda fylde under 1 GB .
• Ukomprimerede QAT-checkpoints: Halvpræcisionsvægte ekstraheret fra QAT-pipelinen, beregnet til forskere der selv ønsker at eksperimentere med videre kompilering .

Vigtig advarsel: QAT’s fordel er størst ved 4-bit. Hvis man naivt konverterer QAT-vægte til et Q4_0-format uden om de officielle pipelines, kan kvaliteten falde dramatisk. For 26B-modellen er der set et fald i top-1 nøjagtighed til blot 70,2 % . Brug derfor altid de officielle QAT-orienterede formater for at bevare kvaliteten .

Hvad kan du køre og på hvilket udstyr?

Den praktiske konsekvens er, at AI-landskabet på forbrugerhardware rykkes markant.

• Smartphones: E2B og E4B er direkte målrettet mobile enheder og understøtter udover tekst både billede- og lydinput . Med den nye mobile kvantisering er E2B nu inden for rækkevidde på langt de fleste nyere telefoner .
• 8 GB GPU’er: Modellerne E2B, E4B og den helt nye 12B er praktisk mulige i 4-bit. 12B-modellen, der er en encoder-fri multimodel model, er opgivet til at kunne køre på 7-8 GB RAM i 4-bit .
• 12–16 GB GPU’er: Her åbner 26B A4B MoE-modellen sig. Med et forbrug på omkring 15-16 GB i 4-bit er den inden for rækkevidde af grafikkort som en RTX 4080 eller 3090 .
• High-end: Den massive 31B tætte model lander på 17-20 GB og understøtter en kontekstlængde på hele 256.000 tokens, hvilket nu gør den tilgængelig for entusiaster med topkort som en RTX 4090 (24 GB) .

Det er ikke længere nødvendigt med et serverkort til titusindvis af kroner for at eksperimentere med topmodellerne. QAT rykker avanceret, multimodal AI ned på forbrugerens skrivebord og ned i lommen.