Umělá inteligence se vejde do mobilu: Google vydává zmenšené modely Gemma 4

Google oficiálně vydal kvantizačně uvědomělé trénovací checkpointy (Quantization-Aware Training, zkráceně QAT) pro celou rodinu modelů Gemma 4. Ta nyní obsahuje pět velikostí: E2B, E4B, 12B, 26B A4B a 31B . Klíčovou výhodou je dramatické snížení paměťových nároků, díky kterému lze špičkové modely spustit i na slabším spotřebitelském hardwaru.

Jak funguje QAT a proč je to důležité

Při kvantizaci modelu se snižuje počet bitů, kterými jsou reprezentovány jeho váhy a aktivace. Běžná přesnost BF16 využívá 16 bitů na každou hodnotu, zatímco int4 si vystačí se 4 bity – to znamená až čtyřnásobnou úsporu dat . Běžná post-tréninková kvantizace (PTQ) ale často vede ke ztrátě kvality odpovědí.

Kvantizačně uvědomělý trénink tento problém řeší simulováním kvantizace už ve fázi trénování. Model se tak naučí přesnost kompenzovat, takže výsledná 4bitová verze podává výkon blízký původnímu 16bitovému modelu . U modelů Gemma 4 se používá schéma W4A16 – to znamená 4bitové váhy, 16bitové aktivace, group_size=32 a formát compressed-tensors .

Velikosti modelů a paměťové úspory

Zatímco plné 16bitové verze potřebují desítky gigabajtů paměti, QAT 4bitové varianty přinášejí zhruba 72% úsporu . V tabulce uvádíme předpokládanou operační paměť pro 4bitový chod:

Model	Typ	Paměť (4-bit)	Srovnání s BF16
E2B	Dense (2,3 mld. efekt. parametrů)	~3,2 GB	~o 72 % méně
E4B	Dense (4,5 mld. efekt. parametrů)	~5 GB	~o 72 % méně
12B	Sjednocený text/obraz/zvuk	~7 GB	~o 72 % méně
26B A4B	Mixture of Experts (aktivní ~3,8 mld.)	~15 GB	~o 72 % méně
31B	Dense (30,7 mld. parametrů)	~18−20 GB	~o 72 % méně

QAT je klíčové právě pro 4bitové nasazení, protože běžný převod do Q4_0 by znamenal citelný propad přesnosti. Například u modelu 26B klesla top-1 přesnost po naivním převodu na asi 70,2 %, zatímco oficiální QAT orientované formáty si drží podstatně vyšší kvalitu .

Dostupnost formátů

Google zveřejnil několik typů checkpointů: unquantized QAT, GGUF (Q4_0), compressed-tensors a mobilní formát. Pro mobily vznikla speciální směs kvantizačních šířek optimalizovaná pro E2B a E4B, která umožnila stlačit E2B až na přibližně 1 GB . Textová verze bez vkládacích vrstev si podle dokumentace vystačí dokonce s méně než 1 GB .

Pro inference engine jako vLLM nebo llama.cpp se používají buď oficiální GGUF soubory, nebo formát compressed-tensors s W4A16, který zachovává výhody QAT . Uživatelé by měli pamatovat na to, že volba formátu podstatně ovlivňuje konečnou kvalitu výstupu modelu .

Praktické hardwarové možnosti

• Chytré telefony: Nejmenší model E2B je přímo určený pro mobilní zařízení . Speciální mobilní kvantizace je k dispozici i pro model E4B .
• Grafické karty s 8 GB VRAM: Ve 4bitovém režimu lze provozovat modely E2B, E4B a 12B. Dvanáctimiliardový model si podle zdrojů vystačí s 8 GB operační paměti .
• Grafické karty s 12–16 GB VRAM: Do 15 GB se ve 4bitech vejde model 26B A4B s architekturou Mixture of Experts (díky aktivaci jen malé části parametrů) . Třiceti-jedno-miliardový dense model zabere zhruba 18−20 GB .
• Co to umožňuje: S 256tisícovým kontextovým oknem modelu 31B se díky 4bitovému QAT otevírá cesta k serióznímu lokálnímu běhu i na výkonných spotřebitelských kartách .

Shrnutí na závěr

Nové QAT checkpointy znamenají, že i uživatelé s běžným hardwarem (herní GPU, výkonnější notebooky, moderní telefony) si mohou vyzkoušet modely, které ještě donedávna vyžadovaly serverové nasazení. Klíčem k úspěchu je používat oficiální QAT checkpointy ve formátech, které zachovávají kvalitu natrénovaného modelu .