Googles Gemma 4 QAT: Nu får avancerad AI plats i mobilen

Förenklat kan man säga att Gemma 4 QAT-modellerna är ungefär 72 % minnessnålare än sina BF16-förlagor, utan att bli märkbart "dummare" .

Vilka modeller finns tillgängliga?

Gemma 4-familjen består av fem modeller, alla nu tillgängliga i QAT-optimerade versioner. Tabellen nedan ger en överblick över de ungefärliga minnesbehoven i 4-bitarsläge .

Det är värt att notera att den officiella QAT-dokumentationen varnar för att en naiv konvertering till det populära Q4_0-formatet drastiskt kan sänka kvaliteten. För 26B-modellen nådde en sådan konvertering till exempel bara 70,2 % top-1 noggrannhet, vilket understryker hur viktigt det är att använda rätt format för ändamålet .

Format och deras användningsområden

Google tillhandahåller flera olika format för olika behov och plattformar :

• Compressed-tensors (W4A16): Det officiella formatet för inferensmotor som vLLM. Det använder 4-bitars heltalsvikter och 16-bitars aktiveringar, vilket ger en bra balans mellan prestanda och minnesbesparing för servermiljöer .
• GGUF (Q4_0): Ett färdigt format för bred ekosystemkompatibilitet, redo att användas i populära verktyg som Ollama och llama.cpp. Viktigt att komma ihåg är att dessa checkpoints är optimerade för QAT och bör användas som de är för att bevara kvaliteten .
• Mobilformat: En specialdesignad "blandkvantisering" för E2B och E4B. Med detta format når E2B en minnesanvändning på cirka 1 GB. En text-only-version utan inbäddningslager kan till och med kräva under 1 GB, vilket öppnar upp för avancerad AI direkt i webbläsaren .

Vad betyder detta i praktiken?

Släppet av Gemma 4 QAT suddar ut gränsen mellan vad som är "server-AI" och "fick-AI". Här är några konkreta scenarier:

• I mobilen: E2B och E4B är designade för mobila enheter och stöder förutom text även bild- och ljudinmatning. Tänk dig en app som kan transkribera och översätta ett möte i realtid, eller en kameraapp som kan beskriva allt den ser – allt utan internetuppkoppling, direkt på telefonens hårdvara .
• På din speldator: Modellen 12B är ett perfekt val för ett grafikkort med 8 GB VRAM, som ett NVIDIA RTX 3070. Du kan driva en avancerad kodningsassistent eller en kreativ skrivpartner lokalt, utan att behöva prenumerera på en molntjänst .
• På en kraftfull arbetsstation: Med ett grafikkort i 16–24 GB-klassen, som ett RTX 3090 eller 4090, kan du köra den massiva 31B-modellen. Med sin kontextlängd på 256 000 tokens (motsvarande en tjock roman) blir den ett otroligt kraftfullt verktyg för djup research, komplex programmering och agent-baserade arbetsflöden .
• MoE-fördelen: 26B A4B-modellen är en "Mixture of Experts"-modell. Den har totalt 26 miljarder parametrar, men aktiverar bara cirka 4 miljarder för varje token den behandlar. Detta ger modellen en intelligens i 26B-klassen till en beräkningskostnad som är mycket närmare en 4B-modell – ett genidrag för effektivitet .

Viktigaste varningen: Formatet är allt

Om det finns en röd tråd i Gemma 4 QAT-dokumentationen så är det denna: välj rätt format. Eftersom QAT-modellerna är specifikt tränade för att fungera bra i ett visst kvantiserat format, kan en godtycklig konvertering till ett annat format (som Q4_0) leda till en dramatisk kvalitetsförsämring . Vill du vara på den säkra sidan och bevara de prestandaförbättringar som QAT ger, ska du hålla dig till de officiella, QAT-orienterade formaten som compressed-tensors .