Gemma 4 QAT: Rewolucja w uruchamianiu zaawansowanej AI lokalnie

Wyobraź sobie, że masz do dyspozycji wydajność modelu, który normalnie potrzebowałby karty graficznej za kilkadziesiąt tysięcy złotych, ale uruchamiasz go na swoim domowym komputerze. To właśnie obietnica, którą spełnia Gemma 4 QAT.

Szczegóły techniczne: podejście, formaty i dostępne rozmiary

Oficjalne checkpointy QAT od Google używają schematu W4A16 dla modeli dense („gęstych” w architekturze): wagi są 4-bitowymi liczbami całkowitymi (int4), a aktywacje pozostają w precyzji 16-bitowej. Dodatkowo obowiązuje parametr group_size=32 .

W praktyce mamy do wyboru kilka formatów wdrożeniowych:

• compressed-tensors – oficjalny format W4A16 zoptymalizowany pod silniki takie jak vLLM .
• GGUF / Q4_0 – gotowe do użycia pliki dla ekosystemu narzędzi llama.cpp, Ollama czy MLX .
• Mobilny format (wNa8o8) – zupełnie nowy, eksperymentalny schemat, który dla najmniejszych modeli (E2B, E4B) wykorzystuje mieszankę różnych szerokości kwantyzacji, by zmieścić model w zaledwie ~1 GB pamięci .
• Nieskwantyzowane checkpointy QAT – wersje w precyzji połówkowej dla badaczy chcących przeprowadzać własne kompilacje .

Przegląd modeli i ich nowe wymagania pamięciowe

Gemma 4 jest dostępna w pięciu rozmiarach . Tabela poniżej pokazuje, jak drastycznie spada zapotrzebowanie na pamięć po zastosowaniu QAT:

Co to oznacza dla zwykłego użytkownika? (Sprzęt w praktyce)

Oto realne scenariusze uruchamiania modeli Gemma 4 QAT na sprzęcie konsumenckim:

• Smartfony i tablety: Modele E2B i E4B są wręcz stworzone do pracy na urządzeniach mobilnych. Dzięki dedykowanemu formatowi mobilnemu E2B może działać w poniżej 1 GB RAM, co jest absolutnym przełomem . Obsługują one nie tylko tekst, ale też obrazy i dźwięk .
• Karty graficzne z 8 GB VRAM (np. RTX 3070/4060): Modele E2B, E4B i 12B są w zasięgu ręki. 12B w wersji 4-bitowej mieści się w 7–8 GB RAM, co pozwala na wygodną pracę, np. w środowiskach programistycznych .
• Karty z 12–16 GB VRAM (np. RTX 4070 Ti/4080): W tę półkę celuje model 26B A4B. Ponieważ jest to architektura MoE, aktywuje jedynie mały podzbiór swoich parametrów dla każdego tokena, co drastycznie zmniejsza obciążenie w porównaniu do modelu gęstego o podobnym rozmiarze całkowitym .
• Karty z 20–24 GB VRAM (np. RTX 3090/4090): Nawet 31B model staje się osiągalny. Przy 256-tysięcznym oknie kontekstowym, uruchomienie go lokalnie na konsumenckiej karcie graficznej jest czymś, co jeszcze rok temu wydawało się niemożliwe .

Ważne zastrzeżenie – nie każda „czwórka” jest równa

Dokumentacja Google i Unsloth zawiera kluczowe ostrzeżenie: samodzielna, naiwna konwersja wag QAT do formatu Q4_0 może prowadzić do katastrofalnego spadku dokładności. W przypadku modelu 26B, top-1 accuracy potrafi spaść do zaledwie 70.2% . Dlatego tak ważne jest korzystanie z oficjalnych, gotowych checkpointów QAT w formacie compressed-tensors lub dedykowanych plików GGUF, gdzie proces konwersji został przeprowadzony prawidłowo . Zespół Unsloth opracował nawet własną, dynamiczną metodę, która podnosi dokładność takiej konwersji do 85.6%, zachowując przy tym mniejszy rozmiar pliku .

Podsumowując, Google oddało w ręce społeczności potężne narzędzie. Gemma 4 QAT burzy dotychczasowe bariery sprzętowe, demokratyzując dostęp do modeli AI o ogromnych możliwościach. Niezależnie od tego, czy chcesz eksperymentować na telefonie, czy uruchomić zaawansowanego asystenta kodowania na domowym PC, z Gemma 4 QAT jest to teraz wreszcie realne.