Gemma 4 QAT: як запустити передовий ШІ на вашому смартфоні та домашньому ПК

4 червня 2026 року компанія Google зробила потужний крок назустріч розробникам, які прагнуть запускати великі мовні моделі локально, без дорогих серверів. Вона офіційно представила контрольні точки Gemma 4 з навчанням, чутливим до квантування (Quantization-Aware Training, QAT) . Якщо просто, це означає, що тепер «розумні» ШІ-моделі можуть бути «легкими» настільки, щоб поміститися у ваш телефон або на не найдорожчу відеокарту, майже не втрачаючи в якості відповідей .

Що таке QAT і чому це прорив

У світі штучного інтелекту квантування — це процес зменшення точності чисел, які модель використовує для зберігання параметрів і обчислень. Наприклад, замість 16-бітного формату з плаваючою комою (BF16) можна використовувати лише 4 біти на число (int4) — це зменшує обсяг даних у 4 рази, але часто призводить до втрати якості .

Традиційний підхід — посттренувальне квантування (PTQ) — стискає вже готову модель, через що вона може «дурнішати». QAT діє інакше: квантування симулюється ще на етапі навчання, тому модель заздалегідь вчиться компенсувати втрату точності . У результаті ми отримуємо майже ту саму якість, що й у повнорозмірної BF16-версії, але з радикально меншим споживанням пам'яті .

Офіційні чекпоінти від Google для щільних (dense) моделей Gemma 4 використовують схему W4A16: 4-бітні цілочисельні ваги (weights) та 16-бітні активації (activations) з group_size=32 у форматі compressed-tensors .

Огляд моделей та рівні стиснення

Лінійка Gemma 4 налічує п'ять основних розмірів, і для всіх доступні QAT-оптимізовані версії .

Модель	Тип	Пам'ять у 4-бітному режимі (Q4_0)	Економія проти BF16
E2B	Щільна, ~2.3B ефективних параметрів	~3.2 ГБ	~72%
E4B	Щільна, ~4.5B ефективних параметрів	~5 ГБ	~72%
12B	Щільна уніфікована модель (текст/зображення/аудіо)	~7 ГБ	~72%
26B A4B	Суміш експертів (MoE), ~3.8B активних параметрів	~15 ГБ	~72%
31B	Щільна, 30.7B параметрів	~18–20 ГБ	~72%

Моделі E2B та E4B спочатку позиціонувалися для периферійних та мобільних пристроїв — вони підтримують текст, зображення й аудіо . 12B — це відносно нова уніфікована мультимодальна модель без зовнішнього енкодера, а 26B A4B належить до класу суміші експертів, де на кожен токен активується лише мала частина параметрів, що забезпечує ефективність при високій загальній «місткості» . 31B — це флагманська щільна модель із контекстним вікном до 256 тисяч токенів .

Доступні формати: як завантажити та запустити

Google подбала про сумісність із популярними фреймворками для інференсу. Ось основні варіанти, які ви знайдете на Hugging Face :

• Compressed-tensors (W4A16) – Офіційні чекпоінти для інференсу через vLLM. Це найнадійніший спосіб отримати всі переваги QAT «з коробки», адже формат розроблено спеціально для збереження якості .
• GGUF (Q4_0) – Готові до використання файли для llama.cpp, Ollama, MLX та інших сумісних бібліотек. Це «народний» стандарт для локального запуску .
• Мобільний формат (wNa8o8) – Спеціальна схема квантування для мобільних пристроїв. Вона використовує «мікс» різної розрядності, 2-бітні шари та оптимізований KV-кеш, що дозволило зменшити розмір E2B приблизно до 1 ГБ .
• Не квантовані QAT-ваги – Ваги половинної точності, витягнуті з QAT-процесу, для тих, хто хоче виконати власну компіляцію або дослідження .

Що це означає для вашого «заліза»

Найбільша перевага QAT — це можливість запускати ШІ там, де раніше про це годі було й думати.

• Смартфони: Для моделей E2B та E4B створено спеціальні мобільні кванти . E2B може працювати всього з 1 ГБ пам'яті, а текстова версія без PLE-вкладень — навіть з меншим об'ємом . Для розробників під Android це можна зробити через LiteRT-LM .
• Бюджетні та середні відеокарти (8 ГБ VRAM): E2B, E4B та 12B — це ваш вибір. 12B-модель у 4-бітному режимі «встає» на 8 ГБ оперативної пам'яті .
• Просунуті споживчі GPU (12–16 ГБ VRAM): Модель 26B A4B у 4-бітному виконанні вимагатиме близько 15 ГБ, що робить її чудовим варіантом для RTX 3080/4070 та аналогів .
• Найвищий клас (18–24 ГБ VRAM): Флагманська 31B модель у Q4_0 займе приблизно 18 ГБ. Це відкриває її для власників RTX 3090/4090 та RTX 6000 .

Для порівняння, звичайна BF16-версія 31B-моделі потребує близько 58–64 ГБ відеопам'яті . Тож QAT перетворює її з «серверного монстра» на «домашнього помічника».

Важливий нюанс: формат має значення

Потужний потенціал QAT вимагає обережності. Google прямо попереджає: наївне конвертування QAT-ваг у звичайний Q4_0 формат призводить до значної втрати якості. Наприклад, для моделі 26B A4B точність топ-1 може впасти до жалюгідних 70.2%. Це як взяти суперкар і залити в нього низькооктанове пальне — їхати буде, але динаміка втрачена .

Розробники повинні використовувати або офіційні compressed-tensors чекпоінти для vLLM, або спеціально оптимізовані GGUF-збірки, щоб зберегти ті самі «~72% економії пам'яті з майже оригінальною якістю», які обіцяє QAT .

Загалом, вихід Gemma 4 QAT — це не просто черговий реліз, а тектонічний зсув у доступності передового ШІ. Він стирає межу між «великими хмарними обчисленнями» та «локальним, приватним і безплатним інтелектом» на вашому власному пристрої.