Vad är QAT och varför är det en gamechanger?

Traditionell komprimering, så kallad Post-Training Quantization (PTQ), sker efter att modellen är färdigtränad. Detta kan liknas vid att försöka pressa ner en fullvuxen elefant i en handväska – resultatet blir ofta en märkbar kvalitetsförlust .

Quantization-Aware Training (QAT) använder en smartare metod. Redan under träningen simulerar modellen den lägre numeriska precision (int4 istället för BF16) som den senare ska komprimeras till. Modellen lär sig alltså att kompensera för den precision som går förlorad, vilket gör att den presterar nästan lika bra som originalet, trots att den bara tar upp en bråkdel av minnet .

Förenklat kan man säga att Gemma 4 QAT-modellerna är ungefär 72 % minnessnålare än sina BF16-förlagor, utan att bli märkbart "dummare" .

Vilka modeller finns tillgängliga?

Gemma 4-familjen består av fem modeller, alla nu tillgängliga i QAT-optimerade versioner. Tabellen nedan ger en överblick över de ungefärliga minnesbehoven i 4-bitarsläge .

Det är värt att notera att den officiella QAT-dokumentationen varnar för att en naiv konvertering till det populära Q4_0-formatet drastiskt kan sänka kvaliteten. För 26B-modellen nådde en sådan konvertering till exempel bara 70,2 % top-1 noggrannhet, vilket understryker hur viktigt det är att använda rätt format för ändamålet .

Format och deras användningsområden

Google tillhandahåller flera olika format för olika behov och plattformar :

• Compressed-tensors (W4A16): Det officiella formatet för inferensmotor som vLLM. Det använder 4-bitars heltalsvikter och 16-bitars aktiveringar, vilket ger en bra balans mellan prestanda och minnesbesparing för servermiljöer .
• GGUF (Q4_0): Ett färdigt format för bred ekosystemkompatibilitet, redo att användas i populära verktyg som Ollama och llama.cpp. Viktigt att komma ihåg är att dessa checkpoints är optimerade för QAT och bör användas som de är för att bevara kvaliteten .
• Mobilformat: En specialdesignad "blandkvantisering" för E2B och E4B. Med detta format når E2B en minnesanvändning på cirka 1 GB. En text-only-version utan inbäddningslager kan till och med kräva under 1 GB, vilket öppnar upp för avancerad AI direkt i webbläsaren .

Vad betyder detta i praktiken?

Släppet av Gemma 4 QAT suddar ut gränsen mellan vad som är "server-AI" och "fick-AI". Här är några konkreta scenarier:

• I mobilen: E2B och E4B är designade för mobila enheter och stöder förutom text även bild- och ljudinmatning. Tänk dig en app som kan transkribera och översätta ett möte i realtid, eller en kameraapp som kan beskriva allt den ser – allt utan internetuppkoppling, direkt på telefonens hårdvara .
• På din speldator: Modellen 12B är ett perfekt val för ett grafikkort med 8 GB VRAM, som ett NVIDIA RTX 3070. Du kan driva en avancerad kodningsassistent eller en kreativ skrivpartner lokalt, utan att behöva prenumerera på en molntjänst .
• På en kraftfull arbetsstation: Med ett grafikkort i 16–24 GB-klassen, som ett RTX 3090 eller 4090, kan du köra den massiva 31B-modellen. Med sin kontextlängd på 256 000 tokens (motsvarande en tjock roman) blir den ett otroligt kraftfullt verktyg för djup research, komplex programmering och agent-baserade arbetsflöden .
• MoE-fördelen: 26B A4B-modellen är en "Mixture of Experts"-modell. Den har totalt 26 miljarder parametrar, men aktiverar bara cirka 4 miljarder för varje token den behandlar. Detta ger modellen en intelligens i 26B-klassen till en beräkningskostnad som är mycket närmare en 4B-modell – ett genidrag för effektivitet .

Viktigaste varningen: Formatet är allt

Om det finns en röd tråd i Gemma 4 QAT-dokumentationen så är det denna: välj rätt format. Eftersom QAT-modellerna är specifikt tränade för att fungera bra i ett visst kvantiserat format, kan en godtycklig konvertering till ett annat format (som Q4_0) leda till en dramatisk kvalitetsförsämring . Vill du vara på den säkra sidan och bevara de prestandaförbättringar som QAT ger, ska du hålla dig till de officiella, QAT-orienterade formaten som compressed-tensors .

Vad är QAT och varför är det en gamechanger?

Traditionell komprimering, så kallad Post-Training Quantization (PTQ), sker efter att modellen är färdigtränad. Detta kan liknas vid att försöka pressa ner en fullvuxen elefant i en handväska – resultatet blir ofta en märkbar kvalitetsförlust .

Quantization-Aware Training (QAT) använder en smartare metod. Redan under träningen simulerar modellen den lägre numeriska precision (int4 istället för BF16) som den senare ska komprimeras till. Modellen lär sig alltså att kompensera för den precision som går förlorad, vilket gör att den presterar nästan lika bra som originalet, trots att den bara tar upp en bråkdel av minnet .

Förenklat kan man säga att Gemma 4 QAT-modellerna är ungefär 72 % minnessnålare än sina BF16-förlagor, utan att bli märkbart "dummare" .

Vilka modeller finns tillgängliga?

Gemma 4-familjen består av fem modeller, alla nu tillgängliga i QAT-optimerade versioner. Tabellen nedan ger en överblick över de ungefärliga minnesbehoven i 4-bitarsläge .

Det är värt att notera att den officiella QAT-dokumentationen varnar för att en naiv konvertering till det populära Q4_0-formatet drastiskt kan sänka kvaliteten. För 26B-modellen nådde en sådan konvertering till exempel bara 70,2 % top-1 noggrannhet, vilket understryker hur viktigt det är att använda rätt format för ändamålet .

Format och deras användningsområden

Google tillhandahåller flera olika format för olika behov och plattformar :

• Compressed-tensors (W4A16): Det officiella formatet för inferensmotor som vLLM. Det använder 4-bitars heltalsvikter och 16-bitars aktiveringar, vilket ger en bra balans mellan prestanda och minnesbesparing för servermiljöer .
• GGUF (Q4_0): Ett färdigt format för bred ekosystemkompatibilitet, redo att användas i populära verktyg som Ollama och llama.cpp. Viktigt att komma ihåg är att dessa checkpoints är optimerade för QAT och bör användas som de är för att bevara kvaliteten .
• Mobilformat: En specialdesignad "blandkvantisering" för E2B och E4B. Med detta format når E2B en minnesanvändning på cirka 1 GB. En text-only-version utan inbäddningslager kan till och med kräva under 1 GB, vilket öppnar upp för avancerad AI direkt i webbläsaren .

Vad betyder detta i praktiken?

Släppet av Gemma 4 QAT suddar ut gränsen mellan vad som är "server-AI" och "fick-AI". Här är några konkreta scenarier:

• I mobilen: E2B och E4B är designade för mobila enheter och stöder förutom text även bild- och ljudinmatning. Tänk dig en app som kan transkribera och översätta ett möte i realtid, eller en kameraapp som kan beskriva allt den ser – allt utan internetuppkoppling, direkt på telefonens hårdvara .
• På din speldator: Modellen 12B är ett perfekt val för ett grafikkort med 8 GB VRAM, som ett NVIDIA RTX 3070. Du kan driva en avancerad kodningsassistent eller en kreativ skrivpartner lokalt, utan att behöva prenumerera på en molntjänst .
• På en kraftfull arbetsstation: Med ett grafikkort i 16–24 GB-klassen, som ett RTX 3090 eller 4090, kan du köra den massiva 31B-modellen. Med sin kontextlängd på 256 000 tokens (motsvarande en tjock roman) blir den ett otroligt kraftfullt verktyg för djup research, komplex programmering och agent-baserade arbetsflöden .
• MoE-fördelen: 26B A4B-modellen är en "Mixture of Experts"-modell. Den har totalt 26 miljarder parametrar, men aktiverar bara cirka 4 miljarder för varje token den behandlar. Detta ger modellen en intelligens i 26B-klassen till en beräkningskostnad som är mycket närmare en 4B-modell – ett genidrag för effektivitet .

Viktigaste varningen: Formatet är allt

Om det finns en röd tråd i Gemma 4 QAT-dokumentationen så är det denna: välj rätt format. Eftersom QAT-modellerna är specifikt tränade för att fungera bra i ett visst kvantiserat format, kan en godtycklig konvertering till ett annat format (som Q4_0) leda till en dramatisk kvalitetsförsämring . Vill du vara på den säkra sidan och bevara de prestandaförbättringar som QAT ger, ska du hålla dig till de officiella, QAT-orienterade formaten som compressed-tensors .