Resultatet er oppsiktsvekkende: Med offisielle QAT-sjekkpunkter kan du kjøre en Gemma 4-modell med omtrent 72 % lavere minnebruk samtidig som du bevarer tilnærmet opprinnelig ytelse .

Modellene og minnebruken i praksis

Gemma 4-familien består av fem modellstørrelser, og QAT-sjekkpunktene er tilgjengelige for alle . Her er en oversikt over modellene og hva slags minnebruk du kan forvente med 4-bits QAT-distribusjon:

Det som er spesielt interessant her er 26B A4B-modellen. Den er en «Mixture of Experts» (MoE)-modell med totalt 26 milliarder parametere, men aktiverer bare rundt 3,8 milliarder av dem per token under inferens . Det betyr at du får intelligensen til en mye større modell, men med et beregningsbehov som ligner en 4B-modell. For deg som sluttbruker betyr det at du potensielt kan kjøre en svært kapabel modell på en forbruker-GPU med 16 GB VRAM.

Tre viktige formater du bør kjenne til

Google distribuerer QAT-modellene i flere formater, tilpasset ulike behov:

1. Compressed-tensors (offisielle W4A16-sjekkpunkter): Dette er det offisielle formatet, optimalisert for inferens med verktøy som vLLM. Det bruker 4-bits heltallsvekter og 16-bits aktiveringer (group_size=32) . Dette er det tryggeste valget om du vil bevare kvalitetsfordelene QAT gir.
2. GGUF / Q4_0: Dette er et populært format for økosystemer som Ollama og llama.cpp. Det er bredt støttet, men vær oppmerksom på et viktig forbehold: Å naivt konvertere QAT-vekter til Q4_0 kan føre til et betydelig kvalitetstap. For 26B-modellen oppnådde en slik naiv konvertering kun 70,2 % «top-1 accuracy» . For best resultat bør du bruke optimaliserte metoder hvis du går for dette formatet.
3. Mobilformat: En skreddersydd nyvinning for mobil og enheter med svært begrensede ressurser. Dette formatet bruker en blanding av kvantiseringsbredder og er spesielt utviklet for E2B- og E4B-modellene. Googles eget mobilformat reduserer minneavtrykket til Gemma 4 E2B til rundt 1 GB, og en tekstbasert versjon kan kreve enda mindre .

Hva betyr dette for din maskinvare?

Den praktiske konsekvensen av denne lanseringen er enorm. La oss se på hva du nå kan oppnå på forskjellige typer maskinvare:

• Smarttelefoner og nettbrett: Modellene E2B og E4B er designet med mobile enheter i tankene. De har spesielle mobile kvantiseringer og støtter lyd- og bildeinndata i tillegg til tekst . Du kan nå ha en avansert multimodal AI-assistent kjørende helt lokalt på telefonen din, uten behov for nettskyen.
• GPU-er med 8 GB VRAM: Dette er et sweet spot. Med 4-bits QAT blir modeller som E2B, E4B og til og med den nye 12B-modellen praktisk gjennomførbare. 12B-modellen er oppgitt å kjøre på 8 GB RAM i 4-bits modus, mens E2B og E4B trenger rundt 5 GB . Dette åpner opp for avansert multimodal AI på vanlige gaming-PC-er og bærbare arbeidsstasjoner.
• GPU-er med 12–24 GB VRAM: Her begynner det virkelig å bli spennende. MoE-modellen 26B A4B ligger på omtrent 15 GB, noe som gjør den kjørbar på kort som RTX 3080/4080 (med 16 GB). Den kraftige 31B-modellen krever rundt 18 GB, og blir dermed tilgjengelig for eiere av RTX 3090, 4090 eller nyere kort .
• Hva du får tilgang til: De større modellene, spesielt 31B-utgaven, kommer med en 256 000 tokens kontekstlengde – nok til å prosessere hele bøker i én enkelt forespørsel . QAT gjør denne typen ekstrem kapasitet mulig på forbrukerhardware, noe som tidligere var forbeholdt servere med massive mengder VRAM.

Den kritiske advarselen

Den kanskje viktigste tekniske detaljen å ta med seg er denne: Ikke alle filformater er skapt like. QATs store fordel er nettopp at modellen er trent for å yte optimalt under kvantisering. Hvis du bare tar QAT-vektene og konverterer dem direkte til et vanlig Q4_0-format uten videre behandling, risikerer du å miste mye av denne fordelen. Som nevnt viste tester med 26B-modellen en nøyaktighet på bare drøyt 70 % ved naiv konvertering . For å bevare den høye kvaliteten bør du fortrinnsvis bruke de offisielle compressed-tensors-formatene eller dedikerte konverteringsverktøy som er optimalisert for oppgaven .

Resultatet er oppsiktsvekkende: Med offisielle QAT-sjekkpunkter kan du kjøre en Gemma 4-modell med omtrent 72 % lavere minnebruk samtidig som du bevarer tilnærmet opprinnelig ytelse .

Modellene og minnebruken i praksis

Gemma 4-familien består av fem modellstørrelser, og QAT-sjekkpunktene er tilgjengelige for alle . Her er en oversikt over modellene og hva slags minnebruk du kan forvente med 4-bits QAT-distribusjon:

Det som er spesielt interessant her er 26B A4B-modellen. Den er en «Mixture of Experts» (MoE)-modell med totalt 26 milliarder parametere, men aktiverer bare rundt 3,8 milliarder av dem per token under inferens . Det betyr at du får intelligensen til en mye større modell, men med et beregningsbehov som ligner en 4B-modell. For deg som sluttbruker betyr det at du potensielt kan kjøre en svært kapabel modell på en forbruker-GPU med 16 GB VRAM.

Tre viktige formater du bør kjenne til

Google distribuerer QAT-modellene i flere formater, tilpasset ulike behov:

1. Compressed-tensors (offisielle W4A16-sjekkpunkter): Dette er det offisielle formatet, optimalisert for inferens med verktøy som vLLM. Det bruker 4-bits heltallsvekter og 16-bits aktiveringer (group_size=32) . Dette er det tryggeste valget om du vil bevare kvalitetsfordelene QAT gir.
2. GGUF / Q4_0: Dette er et populært format for økosystemer som Ollama og llama.cpp. Det er bredt støttet, men vær oppmerksom på et viktig forbehold: Å naivt konvertere QAT-vekter til Q4_0 kan føre til et betydelig kvalitetstap. For 26B-modellen oppnådde en slik naiv konvertering kun 70,2 % «top-1 accuracy» . For best resultat bør du bruke optimaliserte metoder hvis du går for dette formatet.
3. Mobilformat: En skreddersydd nyvinning for mobil og enheter med svært begrensede ressurser. Dette formatet bruker en blanding av kvantiseringsbredder og er spesielt utviklet for E2B- og E4B-modellene. Googles eget mobilformat reduserer minneavtrykket til Gemma 4 E2B til rundt 1 GB, og en tekstbasert versjon kan kreve enda mindre .

Hva betyr dette for din maskinvare?

Den praktiske konsekvensen av denne lanseringen er enorm. La oss se på hva du nå kan oppnå på forskjellige typer maskinvare:

• Smarttelefoner og nettbrett: Modellene E2B og E4B er designet med mobile enheter i tankene. De har spesielle mobile kvantiseringer og støtter lyd- og bildeinndata i tillegg til tekst . Du kan nå ha en avansert multimodal AI-assistent kjørende helt lokalt på telefonen din, uten behov for nettskyen.
• GPU-er med 8 GB VRAM: Dette er et sweet spot. Med 4-bits QAT blir modeller som E2B, E4B og til og med den nye 12B-modellen praktisk gjennomførbare. 12B-modellen er oppgitt å kjøre på 8 GB RAM i 4-bits modus, mens E2B og E4B trenger rundt 5 GB . Dette åpner opp for avansert multimodal AI på vanlige gaming-PC-er og bærbare arbeidsstasjoner.
• GPU-er med 12–24 GB VRAM: Her begynner det virkelig å bli spennende. MoE-modellen 26B A4B ligger på omtrent 15 GB, noe som gjør den kjørbar på kort som RTX 3080/4080 (med 16 GB). Den kraftige 31B-modellen krever rundt 18 GB, og blir dermed tilgjengelig for eiere av RTX 3090, 4090 eller nyere kort .
• Hva du får tilgang til: De større modellene, spesielt 31B-utgaven, kommer med en 256 000 tokens kontekstlengde – nok til å prosessere hele bøker i én enkelt forespørsel . QAT gjør denne typen ekstrem kapasitet mulig på forbrukerhardware, noe som tidligere var forbeholdt servere med massive mengder VRAM.

Den kritiske advarselen

Den kanskje viktigste tekniske detaljen å ta med seg er denne: Ikke alle filformater er skapt like. QATs store fordel er nettopp at modellen er trent for å yte optimalt under kvantisering. Hvis du bare tar QAT-vektene og konverterer dem direkte til et vanlig Q4_0-format uten videre behandling, risikerer du å miste mye av denne fordelen. Som nevnt viste tester med 26B-modellen en nøyaktighet på bare drøyt 70 % ved naiv konvertering . For å bevare den høye kvaliteten bør du fortrinnsvis bruke de offisielle compressed-tensors-formatene eller dedikerte konverteringsverktøy som er optimalisert for oppgaven .