Google åbner for avanceret AI på forbrugerhardware med nye Gemma 4 QAT-modeller
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5]. QAT metoden simulerer kvantisering allerede under træning, så de 4 bit komprimerede modeller bevarer næsten samme kvalitet som de originale 16 bit versio...
Udgivet afRedigeret med DeepSeek-V4-ProBilleder genereret med GPT Image 1.5
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5].
QAT metoden simulerer kvantisering allerede under træning, så de 4 bit komprimerede modeller bevarer næsten samme kvalitet som de originale 16 bit versioner [5].
Hukommelsesforbruget reduceres med ca. 72 % – Gemma 4 E2B modellen kan med en ny mobil optimering komme helt ned på 1 GB [5][12].
Checkpoints findes i W4A16 compressed tensors format til servere, GGUF Q4 0 til blandt andet Ollama og llama.cpp samt et særligt format designet til mobil hardware [1][5][15].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Google har taget et bemærkelsesværdigt skridt for at gøre avancerede, åbne AI-modeller tilgængelige på helt almindeligt forbrugerudstyr. Den 5. juni 2025 offentliggjorde de officielle QAT-checkpoints (Quantization-Aware Training) til hele deres nye Gemma 4-serie . Det er en teknik, der gør det muligt at skære op mod 72 % af hukommelsesforbruget, uden at modellernes præcision forringes nævneværdigt .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Google åbner for avanceret AI på forbrugerhardware med nye Gemma 4 QAT-modeller"?
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5].
What are the key points to validate first?
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5]. QAT metoden simulerer kvantisering allerede under træning, så de 4 bit komprimerede modeller bevarer næsten samme kvalitet som de originale 16 bit versioner [5].
What should I do next in practice?
Hukommelsesforbruget reduceres med ca. 72 % – Gemma 4 E2B modellen kan med en ny mobil optimering komme helt ned på 1 GB [5][12].
Google åbner for avanceret AI på forbrugerhardware med nye Gemma 4 QAT-modeller
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5]. QAT metoden simulerer kvantisering allerede under træning, så de 4 bit komprimerede modeller bevarer næsten samme kvalitet som de originale 16 bit versio...
Udgivet afRedigeret med DeepSeek-V4-ProBilleder genereret med GPT Image 1.5
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5].
QAT metoden simulerer kvantisering allerede under træning, så de 4 bit komprimerede modeller bevarer næsten samme kvalitet som de originale 16 bit versioner [5].
Hukommelsesforbruget reduceres med ca. 72 % – Gemma 4 E2B modellen kan med en ny mobil optimering komme helt ned på 1 GB [5][12].
Checkpoints findes i W4A16 compressed tensors format til servere, GGUF Q4 0 til blandt andet Ollama og llama.cpp samt et særligt format designet til mobil hardware [1][5][15].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Google har taget et bemærkelsesværdigt skridt for at gøre avancerede, åbne AI-modeller tilgængelige på helt almindeligt forbrugerudstyr. Den 5. juni 2025 offentliggjorde de officielle QAT-checkpoints (Quantization-Aware Training) til hele deres nye Gemma 4-serie . Det er en teknik, der gør det muligt at skære op mod 72 % af hukommelsesforbruget, uden at modellernes præcision forringes nævneværdigt .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Google åbner for avanceret AI på forbrugerhardware med nye Gemma 4 QAT-modeller"?
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5].
What are the key points to validate first?
Google har offentliggjort officielle QAT checkpoints (Quantization Aware Training) til hele Gemma 4 familien, der omfatter E2B, E4B, 12B, 26B A4B og 31B [1][4][5]. QAT metoden simulerer kvantisering allerede under træning, så de 4 bit komprimerede modeller bevarer næsten samme kvalitet som de originale 16 bit versioner [5].
What should I do next in practice?
Hukommelsesforbruget reduceres med ca. 72 % – Gemma 4 E2B modellen kan med en ny mobil optimering komme helt ned på 1 GB [5][12].
Kvantisering handler i bund og grund om at reducere præcisionen af de tal, en AI-model gemmer og regner med. Hvor en model normalt bruger 16-bit (BF16) til hver vægt, nøjes en 4-bit (int4) model med kun 4 bit – en firdobling af effektiviteten .
Traditionel efter-træningskvantisering (PTQ) komprimerer en færdigtrænet model, hvilket ofte koster på kvaliteten. QAT er smartere: Her simuleres kvantiseringen allerede under træningsprocessen, så modellen lærer at kompensere for det præcisionstab, der opstår . Google sammenligner det med, at modellen bliver "trænet med komprimeringen i tankerne", hvilket resulterer i en 4-bit udgave, der performer næsten identisk med originalen .
Gemma 4-serien: Fra mobilen til arbejdsstationen
Google har gjort QAT-checkpoints tilgængelige for alle fem størrelser i Gemma 4-serien, som spænder fra ultra-mobil til krævende opgaver. Det officielle format for dense-modellerne er W4A16, hvilket betyder 4-bit heltalsvægte og 16-bit aktiveringer .
Model
Type
Hukommelse (4-bit)
Besparelse vs. 16-bit
E2B
2,3 mia. parametre (effektiv), tæt + PLE
~3,2 GB
~72 % lavere
E4B
4,5 mia. parametre (effektiv), tæt
~5 GB
~72 % lavere
12B
11,95 mia. parametre, tæt, encoder-fri
~7 GB
~72 % lavere
26B A4B
26 mia. totale (3,8 mia. aktive), Mixture-of-Experts
~15 GB
~72 % lavere
31B
30,7 mia. parametre, tæt
17-20 GB
De komprimerede modeller frigør markant plads, men det er vigtigt at forstå, at 26B A4B er en MoE-model (Mixture-of-Experts), der ved hvert token kun aktiverer ca. 3,8 af sine 26 milliarder parametre. Det giver en meget effektiv inferens-profil, der ligner en langt mindre model i praksis .
Udgivelsesformater: Mere end bare én opskrift
Google udgiver QAT-modellerne i flere formater for at sikre bred kompatibilitet:
Compressed-tensors (W4A16): Det officielle format til server-inferens, for eksempel via vLLM. Vægte gemmes som 4-bit heltal, mens aktiveringer forbliver 16-bit for at bevare præcision .
GGUF (Q4_0): Klar-til-brug format til populære værktøjer som Ollama, llama.cpp og MLX, designet til bred økosystemkompatibilitet .
Mobil-optimeret: Et splinternyt format, der er udviklet specifikt til mobil hardware. Det bruger en blanding af kvantiseringsbredder og kan reducere Gemma 4 E2B til kun 1 GB hukommelse . En rent tekstbaseret version kan endda fylde under 1 GB .
Ukomprimerede QAT-checkpoints: Halvpræcisionsvægte ekstraheret fra QAT-pipelinen, beregnet til forskere der selv ønsker at eksperimentere med videre kompilering .
Vigtig advarsel: QAT’s fordel er størst ved 4-bit. Hvis man naivt konverterer QAT-vægte til et Q4_0-format uden om de officielle pipelines, kan kvaliteten falde dramatisk. For 26B-modellen er der set et fald i top-1 nøjagtighed til blot 70,2 % . Brug derfor altid de officielle QAT-orienterede formater for at bevare kvaliteten .
Hvad kan du køre og på hvilket udstyr?
Den praktiske konsekvens er, at AI-landskabet på forbrugerhardware rykkes markant.
Smartphones: E2B og E4B er direkte målrettet mobile enheder og understøtter udover tekst både billede- og lydinput . Med den nye mobile kvantisering er E2B nu inden for rækkevidde på langt de fleste nyere telefoner .
8 GB GPU’er: Modellerne E2B, E4B og den helt nye 12B er praktisk mulige i 4-bit. 12B-modellen, der er en encoder-fri multimodel model, er opgivet til at kunne køre på 7-8 GB RAM i 4-bit .
12–16 GB GPU’er: Her åbner 26B A4B MoE-modellen sig. Med et forbrug på omkring 15-16 GB i 4-bit er den inden for rækkevidde af grafikkort som en RTX 4080 eller 3090 .
High-end: Den massive 31B tætte model lander på 17-20 GB og understøtter en kontekstlængde på hele 256.000 tokens, hvilket nu gør den tilgængelig for entusiaster med topkort som en RTX 4090 (24 GB) .
Det er ikke længere nødvendigt med et serverkort til titusindvis af kroner for at eksperimentere med topmodellerne. QAT rykker avanceret, multimodal AI ned på forbrugerens skrivebord og ned i lommen.
Kvantisering handler i bund og grund om at reducere præcisionen af de tal, en AI-model gemmer og regner med. Hvor en model normalt bruger 16-bit (BF16) til hver vægt, nøjes en 4-bit (int4) model med kun 4 bit – en firdobling af effektiviteten .
Traditionel efter-træningskvantisering (PTQ) komprimerer en færdigtrænet model, hvilket ofte koster på kvaliteten. QAT er smartere: Her simuleres kvantiseringen allerede under træningsprocessen, så modellen lærer at kompensere for det præcisionstab, der opstår . Google sammenligner det med, at modellen bliver "trænet med komprimeringen i tankerne", hvilket resulterer i en 4-bit udgave, der performer næsten identisk med originalen .
Gemma 4-serien: Fra mobilen til arbejdsstationen
Google har gjort QAT-checkpoints tilgængelige for alle fem størrelser i Gemma 4-serien, som spænder fra ultra-mobil til krævende opgaver. Det officielle format for dense-modellerne er W4A16, hvilket betyder 4-bit heltalsvægte og 16-bit aktiveringer .
Model
Type
Hukommelse (4-bit)
Besparelse vs. 16-bit
E2B
2,3 mia. parametre (effektiv), tæt + PLE
~3,2 GB
~72 % lavere
E4B
4,5 mia. parametre (effektiv), tæt
~5 GB
~72 % lavere
12B
11,95 mia. parametre, tæt, encoder-fri
~7 GB
~72 % lavere
26B A4B
26 mia. totale (3,8 mia. aktive), Mixture-of-Experts
~15 GB
~72 % lavere
31B
30,7 mia. parametre, tæt
17-20 GB
De komprimerede modeller frigør markant plads, men det er vigtigt at forstå, at 26B A4B er en MoE-model (Mixture-of-Experts), der ved hvert token kun aktiverer ca. 3,8 af sine 26 milliarder parametre. Det giver en meget effektiv inferens-profil, der ligner en langt mindre model i praksis .
Udgivelsesformater: Mere end bare én opskrift
Google udgiver QAT-modellerne i flere formater for at sikre bred kompatibilitet:
Compressed-tensors (W4A16): Det officielle format til server-inferens, for eksempel via vLLM. Vægte gemmes som 4-bit heltal, mens aktiveringer forbliver 16-bit for at bevare præcision .
GGUF (Q4_0): Klar-til-brug format til populære værktøjer som Ollama, llama.cpp og MLX, designet til bred økosystemkompatibilitet .
Mobil-optimeret: Et splinternyt format, der er udviklet specifikt til mobil hardware. Det bruger en blanding af kvantiseringsbredder og kan reducere Gemma 4 E2B til kun 1 GB hukommelse . En rent tekstbaseret version kan endda fylde under 1 GB .
Ukomprimerede QAT-checkpoints: Halvpræcisionsvægte ekstraheret fra QAT-pipelinen, beregnet til forskere der selv ønsker at eksperimentere med videre kompilering .
Vigtig advarsel: QAT’s fordel er størst ved 4-bit. Hvis man naivt konverterer QAT-vægte til et Q4_0-format uden om de officielle pipelines, kan kvaliteten falde dramatisk. For 26B-modellen er der set et fald i top-1 nøjagtighed til blot 70,2 % . Brug derfor altid de officielle QAT-orienterede formater for at bevare kvaliteten .
Hvad kan du køre og på hvilket udstyr?
Den praktiske konsekvens er, at AI-landskabet på forbrugerhardware rykkes markant.
Smartphones: E2B og E4B er direkte målrettet mobile enheder og understøtter udover tekst både billede- og lydinput . Med den nye mobile kvantisering er E2B nu inden for rækkevidde på langt de fleste nyere telefoner .
8 GB GPU’er: Modellerne E2B, E4B og den helt nye 12B er praktisk mulige i 4-bit. 12B-modellen, der er en encoder-fri multimodel model, er opgivet til at kunne køre på 7-8 GB RAM i 4-bit .
12–16 GB GPU’er: Her åbner 26B A4B MoE-modellen sig. Med et forbrug på omkring 15-16 GB i 4-bit er den inden for rækkevidde af grafikkort som en RTX 4080 eller 3090 .
High-end: Den massive 31B tætte model lander på 17-20 GB og understøtter en kontekstlængde på hele 256.000 tokens, hvilket nu gør den tilgængelig for entusiaster med topkort som en RTX 4090 (24 GB) .
Det er ikke længere nødvendigt med et serverkort til titusindvis af kroner for at eksperimentere med topmodellerne. QAT rykker avanceret, multimodal AI ned på forbrugerens skrivebord og ned i lommen.
