Gemma 4 QAT: як запустити передовий ШІ на вашому смартфоні та домашньому ПК
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5]. QAT версії зменшують використання пам'яті приблизно на 72%, зберігаючи продуктивність, близьку до оригіналу [5].
ОпублікувавВідредаговано за допомогою DeepSeek-V4-ProЗображення створено за допомогою GPT Image 1.5
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5].
QAT версії зменшують використання пам'яті приблизно на 72%, зберігаючи продуктивність, близьку до оригіналу [5].
Для смартфонів створено спеціальні мобільні формати, зокрема модель E2B може працювати всього з 1 ГБ пам'яті [5][8][12].
Ключові формати включають офіційний compressed tensors для vLLM та Q4 0 GGUF для ollama й llama.cpp [1][5].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
4 червня 2026 року компанія Google зробила потужний крок назустріч розробникам, які прагнуть запускати великі мовні моделі локально, без дорогих серверів. Вона офіційно представила контрольні точки Gemma 4 з навчанням, чутливим до квантування (Quantization-Aware Training, QAT). Якщо просто, це означає, що тепер «розумні» ШІ-моделі можуть бути «легкими» настільки, щоб поміститися у ваш телефон або на не найдорожчу відеокарту, майже не втрачаючи в якості відповідей .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Gemma 4 QAT: як запустити передовий ШІ на вашому смартфоні та домашньому ПК"?
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5].
What are the key points to validate first?
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5]. QAT версії зменшують використання пам'яті приблизно на 72%, зберігаючи продуктивність, близьку до оригіналу [5].
What should I do next in practice?
Для смартфонів створено спеціальні мобільні формати, зокрема модель E2B може працювати всього з 1 ГБ пам'яті [5][8][12].
Gemma 4 QAT: як запустити передовий ШІ на вашому смартфоні та домашньому ПК
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5]. QAT версії зменшують використання пам'яті приблизно на 72%, зберігаючи продуктивність, близьку до оригіналу [5].
ОпублікувавВідредаговано за допомогою DeepSeek-V4-ProЗображення створено за допомогою GPT Image 1.5
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5].
QAT версії зменшують використання пам'яті приблизно на 72%, зберігаючи продуктивність, близьку до оригіналу [5].
Для смартфонів створено спеціальні мобільні формати, зокрема модель E2B може працювати всього з 1 ГБ пам'яті [5][8][12].
Ключові формати включають офіційний compressed tensors для vLLM та Q4 0 GGUF для ollama й llama.cpp [1][5].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
4 червня 2026 року компанія Google зробила потужний крок назустріч розробникам, які прагнуть запускати великі мовні моделі локально, без дорогих серверів. Вона офіційно представила контрольні точки Gemma 4 з навчанням, чутливим до квантування (Quantization-Aware Training, QAT). Якщо просто, це означає, що тепер «розумні» ШІ-моделі можуть бути «легкими» настільки, щоб поміститися у ваш телефон або на не найдорожчу відеокарту, майже не втрачаючи в якості відповідей .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Gemma 4 QAT: як запустити передовий ШІ на вашому смартфоні та домашньому ПК"?
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5].
What are the key points to validate first?
Google офіційно випустила контрольні точки Gemma 4 з QAT для моделей E2B, E4B, 12B, 26B A4B та 31B [1][4][5]. QAT версії зменшують використання пам'яті приблизно на 72%, зберігаючи продуктивність, близьку до оригіналу [5].
What should I do next in practice?
Для смартфонів створено спеціальні мобільні формати, зокрема модель E2B може працювати всього з 1 ГБ пам'яті [5][8][12].
У світі штучного інтелекту квантування — це процес зменшення точності чисел, які модель використовує для зберігання параметрів і обчислень. Наприклад, замість 16-бітного формату з плаваючою комою (BF16) можна використовувати лише 4 біти на число (int4) — це зменшує обсяг даних у 4 рази, але часто призводить до втрати якості .
Традиційний підхід — посттренувальне квантування (PTQ) — стискає вже готову модель, через що вона може «дурнішати». QAT діє інакше: квантування симулюється ще на етапі навчання, тому модель заздалегідь вчиться компенсувати втрату точності . У результаті ми отримуємо майже ту саму якість, що й у повнорозмірної BF16-версії, але з радикально меншим споживанням пам'яті .
Офіційні чекпоінти від Google для щільних (dense) моделей Gemma 4 використовують схему W4A16: 4-бітні цілочисельні ваги (weights) та 16-бітні активації (activations) з group_size=32 у форматі compressed-tensors.
Огляд моделей та рівні стиснення
Лінійка Gemma 4 налічує п'ять основних розмірів, і для всіх доступні QAT-оптимізовані версії .
Модель
Тип
Пам'ять у 4-бітному режимі (Q4_0)
Економія проти BF16
E2B
Щільна, ~2.3B ефективних параметрів
~3.2 ГБ
~72%
E4B
Щільна, ~4.5B ефективних параметрів
~5 ГБ
~72%
12B
Щільна уніфікована модель (текст/зображення/аудіо)
~7 ГБ
~72%
26B A4B
Суміш експертів (MoE), ~3.8B активних параметрів
~15 ГБ
~72%
31B
Щільна, 30.7B параметрів
~18–20 ГБ
~72%
Моделі E2B та E4B спочатку позиціонувалися для периферійних та мобільних пристроїв — вони підтримують текст, зображення й аудіо . 12B — це відносно нова уніфікована мультимодальна модель без зовнішнього енкодера, а 26B A4B належить до класу суміші експертів, де на кожен токен активується лише мала частина параметрів, що забезпечує ефективність при високій загальній «місткості» . 31B — це флагманська щільна модель із контекстним вікном до 256 тисяч токенів .
Доступні формати: як завантажити та запустити
Google подбала про сумісність із популярними фреймворками для інференсу. Ось основні варіанти, які ви знайдете на Hugging Face :
Compressed-tensors (W4A16) – Офіційні чекпоінти для інференсу через vLLM. Це найнадійніший спосіб отримати всі переваги QAT «з коробки», адже формат розроблено спеціально для збереження якості .
GGUF (Q4_0) – Готові до використання файли для llama.cpp, Ollama, MLX та інших сумісних бібліотек. Це «народний» стандарт для локального запуску .
Мобільний формат (wNa8o8) – Спеціальна схема квантування для мобільних пристроїв. Вона використовує «мікс» різної розрядності, 2-бітні шари та оптимізований KV-кеш, що дозволило зменшити розмір E2B приблизно до 1 ГБ .
Не квантовані QAT-ваги – Ваги половинної точності, витягнуті з QAT-процесу, для тих, хто хоче виконати власну компіляцію або дослідження .
Що це означає для вашого «заліза»
Найбільша перевага QAT — це можливість запускати ШІ там, де раніше про це годі було й думати.
Смартфони: Для моделей E2B та E4B створено спеціальні мобільні кванти . E2B може працювати всього з 1 ГБ пам'яті, а текстова версія без PLE-вкладень — навіть з меншим об'ємом . Для розробників під Android це можна зробити через LiteRT-LM .
Бюджетні та середні відеокарти (8 ГБ VRAM): E2B, E4B та 12B — це ваш вибір. 12B-модель у 4-бітному режимі «встає» на 8 ГБ оперативної пам'яті .
Просунуті споживчі GPU (12–16 ГБ VRAM): Модель 26B A4B у 4-бітному виконанні вимагатиме близько 15 ГБ, що робить її чудовим варіантом для RTX 3080/4070 та аналогів .
Найвищий клас (18–24 ГБ VRAM): Флагманська 31B модель у Q4_0 займе приблизно 18 ГБ. Це відкриває її для власників RTX 3090/4090 та RTX 6000 .
Для порівняння, звичайна BF16-версія 31B-моделі потребує близько 58–64 ГБ відеопам'яті . Тож QAT перетворює її з «серверного монстра» на «домашнього помічника».
Важливий нюанс: формат має значення
Потужний потенціал QAT вимагає обережності. Google прямо попереджає: наївне конвертування QAT-ваг у звичайний Q4_0 формат призводить до значної втрати якості. Наприклад, для моделі 26B A4B точність топ-1 може впасти до жалюгідних 70.2%. Це як взяти суперкар і залити в нього низькооктанове пальне — їхати буде, але динаміка втрачена .
Розробники повинні використовувати або офіційні compressed-tensors чекпоінти для vLLM, або спеціально оптимізовані GGUF-збірки, щоб зберегти ті самі «~72% економії пам'яті з майже оригінальною якістю», які обіцяє QAT .
Загалом, вихід Gemma 4 QAT — це не просто черговий реліз, а тектонічний зсув у доступності передового ШІ. Він стирає межу між «великими хмарними обчисленнями» та «локальним, приватним і безплатним інтелектом» на вашому власному пристрої.
Gemma 3 QAT Models: Bringing state-of-the-Art AI to ...
У світі штучного інтелекту квантування — це процес зменшення точності чисел, які модель використовує для зберігання параметрів і обчислень. Наприклад, замість 16-бітного формату з плаваючою комою (BF16) можна використовувати лише 4 біти на число (int4) — це зменшує обсяг даних у 4 рази, але часто призводить до втрати якості .
Традиційний підхід — посттренувальне квантування (PTQ) — стискає вже готову модель, через що вона може «дурнішати». QAT діє інакше: квантування симулюється ще на етапі навчання, тому модель заздалегідь вчиться компенсувати втрату точності . У результаті ми отримуємо майже ту саму якість, що й у повнорозмірної BF16-версії, але з радикально меншим споживанням пам'яті .
Офіційні чекпоінти від Google для щільних (dense) моделей Gemma 4 використовують схему W4A16: 4-бітні цілочисельні ваги (weights) та 16-бітні активації (activations) з group_size=32 у форматі compressed-tensors.
Огляд моделей та рівні стиснення
Лінійка Gemma 4 налічує п'ять основних розмірів, і для всіх доступні QAT-оптимізовані версії .
Модель
Тип
Пам'ять у 4-бітному режимі (Q4_0)
Економія проти BF16
E2B
Щільна, ~2.3B ефективних параметрів
~3.2 ГБ
~72%
E4B
Щільна, ~4.5B ефективних параметрів
~5 ГБ
~72%
12B
Щільна уніфікована модель (текст/зображення/аудіо)
~7 ГБ
~72%
26B A4B
Суміш експертів (MoE), ~3.8B активних параметрів
~15 ГБ
~72%
31B
Щільна, 30.7B параметрів
~18–20 ГБ
~72%
Моделі E2B та E4B спочатку позиціонувалися для периферійних та мобільних пристроїв — вони підтримують текст, зображення й аудіо . 12B — це відносно нова уніфікована мультимодальна модель без зовнішнього енкодера, а 26B A4B належить до класу суміші експертів, де на кожен токен активується лише мала частина параметрів, що забезпечує ефективність при високій загальній «місткості» . 31B — це флагманська щільна модель із контекстним вікном до 256 тисяч токенів .
Доступні формати: як завантажити та запустити
Google подбала про сумісність із популярними фреймворками для інференсу. Ось основні варіанти, які ви знайдете на Hugging Face :
Compressed-tensors (W4A16) – Офіційні чекпоінти для інференсу через vLLM. Це найнадійніший спосіб отримати всі переваги QAT «з коробки», адже формат розроблено спеціально для збереження якості .
GGUF (Q4_0) – Готові до використання файли для llama.cpp, Ollama, MLX та інших сумісних бібліотек. Це «народний» стандарт для локального запуску .
Мобільний формат (wNa8o8) – Спеціальна схема квантування для мобільних пристроїв. Вона використовує «мікс» різної розрядності, 2-бітні шари та оптимізований KV-кеш, що дозволило зменшити розмір E2B приблизно до 1 ГБ .
Не квантовані QAT-ваги – Ваги половинної точності, витягнуті з QAT-процесу, для тих, хто хоче виконати власну компіляцію або дослідження .
Що це означає для вашого «заліза»
Найбільша перевага QAT — це можливість запускати ШІ там, де раніше про це годі було й думати.
Смартфони: Для моделей E2B та E4B створено спеціальні мобільні кванти . E2B може працювати всього з 1 ГБ пам'яті, а текстова версія без PLE-вкладень — навіть з меншим об'ємом . Для розробників під Android це можна зробити через LiteRT-LM .
Бюджетні та середні відеокарти (8 ГБ VRAM): E2B, E4B та 12B — це ваш вибір. 12B-модель у 4-бітному режимі «встає» на 8 ГБ оперативної пам'яті .
Просунуті споживчі GPU (12–16 ГБ VRAM): Модель 26B A4B у 4-бітному виконанні вимагатиме близько 15 ГБ, що робить її чудовим варіантом для RTX 3080/4070 та аналогів .
Найвищий клас (18–24 ГБ VRAM): Флагманська 31B модель у Q4_0 займе приблизно 18 ГБ. Це відкриває її для власників RTX 3090/4090 та RTX 6000 .
Для порівняння, звичайна BF16-версія 31B-моделі потребує близько 58–64 ГБ відеопам'яті . Тож QAT перетворює її з «серверного монстра» на «домашнього помічника».
Важливий нюанс: формат має значення
Потужний потенціал QAT вимагає обережності. Google прямо попереджає: наївне конвертування QAT-ваг у звичайний Q4_0 формат призводить до значної втрати якості. Наприклад, для моделі 26B A4B точність топ-1 може впасти до жалюгідних 70.2%. Це як взяти суперкар і залити в нього низькооктанове пальне — їхати буде, але динаміка втрачена .
Розробники повинні використовувати або офіційні compressed-tensors чекпоінти для vLLM, або спеціально оптимізовані GGUF-збірки, щоб зберегти ті самі «~72% економії пам'яті з майже оригінальною якістю», які обіцяє QAT .
Загалом, вихід Gemma 4 QAT — це не просто черговий реліз, а тектонічний зсув у доступності передового ШІ. Він стирає межу між «великими хмарними обчисленнями» та «локальним, приватним і безплатним інтелектом» на вашому власному пристрої.
Gemma 3 QAT Models: Bringing state-of-the-Art AI to ...
