Gemma 4 QAT: як запустити передовий ШІ на вашому смартфоні та домашньому ПК

Офіційні чекпоінти від Google для щільних (dense) моделей Gemma 4 використовують схему W4A16: 4-бітні цілочисельні ваги (weights) та 16-бітні активації (activations) з group_size=32 у форматі compressed-tensors .

Огляд моделей та рівні стиснення

Лінійка Gemma 4 налічує п'ять основних розмірів, і для всіх доступні QAT-оптимізовані версії .

Моделі E2B та E4B спочатку позиціонувалися для периферійних та мобільних пристроїв — вони підтримують текст, зображення й аудіо . 12B — це відносно нова уніфікована мультимодальна модель без зовнішнього енкодера, а 26B A4B належить до класу суміші експертів, де на кожен токен активується лише мала частина параметрів, що забезпечує ефективність при високій загальній «місткості» . 31B — це флагманська щільна модель із контекстним вікном до 256 тисяч токенів .

Доступні формати: як завантажити та запустити

Google подбала про сумісність із популярними фреймворками для інференсу. Ось основні варіанти, які ви знайдете на Hugging Face :

• Compressed-tensors (W4A16) – Офіційні чекпоінти для інференсу через vLLM. Це найнадійніший спосіб отримати всі переваги QAT «з коробки», адже формат розроблено спеціально для збереження якості .
• GGUF (Q4_0) – Готові до використання файли для llama.cpp, Ollama, MLX та інших сумісних бібліотек. Це «народний» стандарт для локального запуску .
• Мобільний формат (wNa8o8) – Спеціальна схема квантування для мобільних пристроїв. Вона використовує «мікс» різної розрядності, 2-бітні шари та оптимізований KV-кеш, що дозволило зменшити розмір E2B приблизно до 1 ГБ .
• Не квантовані QAT-ваги – Ваги половинної точності, витягнуті з QAT-процесу, для тих, хто хоче виконати власну компіляцію або дослідження .

Що це означає для вашого «заліза»

Найбільша перевага QAT — це можливість запускати ШІ там, де раніше про це годі було й думати.

• Смартфони: Для моделей E2B та E4B створено спеціальні мобільні кванти . E2B може працювати всього з 1 ГБ пам'яті, а текстова версія без PLE-вкладень — навіть з меншим об'ємом . Для розробників під Android це можна зробити через LiteRT-LM .
• Бюджетні та середні відеокарти (8 ГБ VRAM): E2B, E4B та 12B — це ваш вибір. 12B-модель у 4-бітному режимі «встає» на 8 ГБ оперативної пам'яті .
• Просунуті споживчі GPU (12–16 ГБ VRAM): Модель 26B A4B у 4-бітному виконанні вимагатиме близько 15 ГБ, що робить її чудовим варіантом для RTX 3080/4070 та аналогів .
• Найвищий клас (18–24 ГБ VRAM): Флагманська 31B модель у Q4_0 займе приблизно 18 ГБ. Це відкриває її для власників RTX 3090/4090 та RTX 6000 .

Для порівняння, звичайна BF16-версія 31B-моделі потребує близько 58–64 ГБ відеопам'яті . Тож QAT перетворює її з «серверного монстра» на «домашнього помічника».

Важливий нюанс: формат має значення

Потужний потенціал QAT вимагає обережності. Google прямо попереджає: наївне конвертування QAT-ваг у звичайний Q4_0 формат призводить до значної втрати якості. Наприклад, для моделі 26B A4B точність топ-1 може впасти до жалюгідних 70.2%. Це як взяти суперкар і залити в нього низькооктанове пальне — їхати буде, але динаміка втрачена .

Розробники повинні використовувати або офіційні compressed-tensors чекпоінти для vLLM, або спеціально оптимізовані GGUF-збірки, щоб зберегти ті самі «~72% економії пам'яті з майже оригінальною якістю», які обіцяє QAT .

Загалом, вихід Gemma 4 QAT — це не просто черговий реліз, а тектонічний зсув у доступності передового ШІ. Він стирає межу між «великими хмарними обчисленнями» та «локальним, приватним і безплатним інтелектом» на вашому власному пристрої.