Umělá inteligence se vejde do mobilu: Google vydává zmenšené modely Gemma 4

Velikosti modelů a paměťové úspory

Zatímco plné 16bitové verze potřebují desítky gigabajtů paměti, QAT 4bitové varianty přinášejí zhruba 72% úsporu . V tabulce uvádíme předpokládanou operační paměť pro 4bitový chod:

QAT je klíčové právě pro 4bitové nasazení, protože běžný převod do Q4_0 by znamenal citelný propad přesnosti. Například u modelu 26B klesla top-1 přesnost po naivním převodu na asi 70,2 %, zatímco oficiální QAT orientované formáty si drží podstatně vyšší kvalitu .

Dostupnost formátů

Google zveřejnil několik typů checkpointů: unquantized QAT, GGUF (Q4_0), compressed-tensors a mobilní formát. Pro mobily vznikla speciální směs kvantizačních šířek optimalizovaná pro E2B a E4B, která umožnila stlačit E2B až na přibližně 1 GB . Textová verze bez vkládacích vrstev si podle dokumentace vystačí dokonce s méně než 1 GB .

Pro inference engine jako vLLM nebo llama.cpp se používají buď oficiální GGUF soubory, nebo formát compressed-tensors s W4A16, který zachovává výhody QAT . Uživatelé by měli pamatovat na to, že volba formátu podstatně ovlivňuje konečnou kvalitu výstupu modelu .

Praktické hardwarové možnosti

• Chytré telefony: Nejmenší model E2B je přímo určený pro mobilní zařízení . Speciální mobilní kvantizace je k dispozici i pro model E4B .
• Grafické karty s 8 GB VRAM: Ve 4bitovém režimu lze provozovat modely E2B, E4B a 12B. Dvanáctimiliardový model si podle zdrojů vystačí s 8 GB operační paměti .
• Grafické karty s 12–16 GB VRAM: Do 15 GB se ve 4bitech vejde model 26B A4B s architekturou Mixture of Experts (díky aktivaci jen malé části parametrů) . Třiceti-jedno-miliardový dense model zabere zhruba 18−20 GB .
• Co to umožňuje: S 256tisícovým kontextovým oknem modelu 31B se díky 4bitovému QAT otevírá cesta k serióznímu lokálnímu běhu i na výkonných spotřebitelských kartách .

Shrnutí na závěr

Nové QAT checkpointy znamenají, že i uživatelé s běžným hardwarem (herní GPU, výkonnější notebooky, moderní telefony) si mohou vyzkoušet modely, které ještě donedávna vyžadovaly serverové nasazení. Klíčem k úspěchu je používat oficiální QAT checkpointy ve formátech, které zachovávají kvalitu natrénovaného modelu .