Gemma 4 QAT: Rewolucja w uruchamianiu zaawansowanej AI lokalnie

5 czerwca 2026 roku Google DeepMind opublikowało długo wyczekiwane checkpointy QAT (Quantization-Aware Training) dla całej rodziny modeli Gemma 4 . Krótko mówiąc: to przełom, który pozwala uruchomić bardzo zaawansowaną sztuczną inteligencję na sprzęcie, który do tej pory był dla niej niedostępny – w tym na smartfonach, laptopach i starszych kartach graficznych z 8 GB VRAM.

Dlaczego QAT to tak duża zmiana?

Tradycyjna kwantyzacja polega na kompresji już wytrenowanego modelu (np. z precyzji BF16 do 4-bitowej), co często kończy się wyraźnym spadkiem jego „inteligencji” . QAT działa inaczej: symuluje kwantyzację w trakcie treningu, zmuszając model do nauczenia się, jak radzić sobie z mniejszą precyzją. Dzięki temu skompresowana wersja do formatu 4-bitowego zachowuje niemal oryginalną jakość odpowiedzi, a jednocześnie zużywa około 72% mniej pamięci RAM .

Wyobraź sobie, że masz do dyspozycji wydajność modelu, który normalnie potrzebowałby karty graficznej za kilkadziesiąt tysięcy złotych, ale uruchamiasz go na swoim domowym komputerze. To właśnie obietnica, którą spełnia Gemma 4 QAT.

Szczegóły techniczne: podejście, formaty i dostępne rozmiary

Oficjalne checkpointy QAT od Google używają schematu W4A16 dla modeli dense („gęstych” w architekturze): wagi są 4-bitowymi liczbami całkowitymi (int4), a aktywacje pozostają w precyzji 16-bitowej. Dodatkowo obowiązuje parametr group_size=32 .

W praktyce mamy do wyboru kilka formatów wdrożeniowych:

• compressed-tensors – oficjalny format W4A16 zoptymalizowany pod silniki takie jak vLLM .
• GGUF / Q4_0 – gotowe do użycia pliki dla ekosystemu narzędzi llama.cpp, Ollama czy MLX .
• Mobilny format (wNa8o8) – zupełnie nowy, eksperymentalny schemat, który dla najmniejszych modeli (E2B, E4B) wykorzystuje mieszankę różnych szerokości kwantyzacji, by zmieścić model w zaledwie ~1 GB pamięci .
• Nieskwantyzowane checkpointy QAT – wersje w precyzji połówkowej dla badaczy chcących przeprowadzać własne kompilacje .

Przegląd modeli i ich nowe wymagania pamięciowe

Gemma 4 jest dostępna w pięciu rozmiarach . Tabela poniżej pokazuje, jak drastycznie spada zapotrzebowanie na pamięć po zastosowaniu QAT:

Model	Typ	Pamięć w 4-bitach (QAT)	Oszczędność vs. BF16
E2B	Dense, ~2.3B efektywnych parametrów	~3.2 GB	~72%
E4B	Dense, ~4.5B efektywnych parametrów	~5 GB	~72%
12B Unified	Dense, unifikowany model tekst/obraz/audio	~7 GB	~72%
26B A4B	Mixture-of-Experts (MoE), aktywne ~3.8B z 26B parametrów	~15 GB	~72%
31B	Dense, 30.7B parametrów	~18–20 GB	~72%

Co to oznacza dla zwykłego użytkownika? (Sprzęt w praktyce)

Oto realne scenariusze uruchamiania modeli Gemma 4 QAT na sprzęcie konsumenckim:

• Smartfony i tablety: Modele E2B i E4B są wręcz stworzone do pracy na urządzeniach mobilnych. Dzięki dedykowanemu formatowi mobilnemu E2B może działać w poniżej 1 GB RAM, co jest absolutnym przełomem . Obsługują one nie tylko tekst, ale też obrazy i dźwięk .
• Karty graficzne z 8 GB VRAM (np. RTX 3070/4060): Modele E2B, E4B i 12B są w zasięgu ręki. 12B w wersji 4-bitowej mieści się w 7–8 GB RAM, co pozwala na wygodną pracę, np. w środowiskach programistycznych .
• Karty z 12–16 GB VRAM (np. RTX 4070 Ti/4080): W tę półkę celuje model 26B A4B. Ponieważ jest to architektura MoE, aktywuje jedynie mały podzbiór swoich parametrów dla każdego tokena, co drastycznie zmniejsza obciążenie w porównaniu do modelu gęstego o podobnym rozmiarze całkowitym .
• Karty z 20–24 GB VRAM (np. RTX 3090/4090): Nawet 31B model staje się osiągalny. Przy 256-tysięcznym oknie kontekstowym, uruchomienie go lokalnie na konsumenckiej karcie graficznej jest czymś, co jeszcze rok temu wydawało się niemożliwe .

Ważne zastrzeżenie – nie każda „czwórka” jest równa

Dokumentacja Google i Unsloth zawiera kluczowe ostrzeżenie: samodzielna, naiwna konwersja wag QAT do formatu Q4_0 może prowadzić do katastrofalnego spadku dokładności. W przypadku modelu 26B, top-1 accuracy potrafi spaść do zaledwie 70.2% . Dlatego tak ważne jest korzystanie z oficjalnych, gotowych checkpointów QAT w formacie compressed-tensors lub dedykowanych plików GGUF, gdzie proces konwersji został przeprowadzony prawidłowo . Zespół Unsloth opracował nawet własną, dynamiczną metodę, która podnosi dokładność takiej konwersji do 85.6%, zachowując przy tym mniejszy rozmiar pliku .

Podsumowując, Google oddało w ręce społeczności potężne narzędzie. Gemma 4 QAT burzy dotychczasowe bariery sprzętowe, demokratyzując dostęp do modeli AI o ogromnych możliwościach. Niezależnie od tego, czy chcesz eksperymentować na telefonie, czy uruchomić zaawansowanego asystenta kodowania na domowym PC, z Gemma 4 QAT jest to teraz wreszcie realne.