Googlen uudet Gemma 4 QAT -mallit tuovat huipputekoälyn älypuhelimeesi – muistinkulutus romahti 72 %

Tulos on hämmästyttävä: 4-bittiset mallit käyttävät noin 72 % vähemmän muistia, mutta niiden suorituskyky on lähes identtinen alkuperäisen 16-bittisen version kanssa . Viralliset tarkistuspisteet käyttävät W4A16-mallia, jossa painot ovat 4-bittisiä kokonaislukuja ja aktivaatiot 16-bittisiä hyödyntäen compressed-tensors-formaattia .

Gemma 4 -mallisto ja muistivaatimukset

Gemma 4 -perhe kattaa viisi eri kokoluokkaa aina ultramobiilista raskaaseen sarjaan . Alla oleva taulukko havainnollistaa, miten dramaattisesti QAT-kvantisointi keventää malleja.

Saatavilla olevat formaatit: Valitse oikea työkalu

Oikean tiedostomuodon valinta on ratkaisevan tärkeää sekä yhteensopivuuden että suorituskyvyn kannalta. Google tarjoaa useita eri vaihtoehtoja :

• Compressed-tensors: Virallinen W4A16-muoto, joka on optimoitu erityisesti vLLM-päättelymoottorille. Tämä on turvallisin valinta, jos tavoitteena on säilyttää QAT:n laatuetu .
• GGUF / Q4_0: Laajalti yhteensopiva formaatti esimerkiksi Ollama- ja llama.cpp-työkaluille. Tärkeä huomio: QAT-painojen naiivi muuntaminen Q4_0-muotoon voi romahduttaa tarkkuuden. Esimerkiksi 26B-mallilla saavutettiin näin vain 70.2 % top-1-tarkkuus .
• Mobiiliformaatti: Erityinen, hyvin kevyt pakkausmuoto E2B- ja E4B-malleille älypuhelinkäyttöä varten. Tällä formaatilla E2B-mallin pystyy ajamaan jo noin 1 Gt:n muistilla .
• Oletustarkkuuden mallit: Gemma 4 -mallit ovat saatavilla myös alkuperäisellä 16-bittisellä tarkkuudellaan, mikäli kvantisointia ei haluta käyttää .

Mitä tämä tarkoittaa käytännössä eri laitteilla?

QAT:n läpimurto avaa ovia, jotka olivat aiemmin tiukasti kiinni.

• Älypuhelimet ja mobiililaitteet: Tämä on suurin mullistus. E2B-malli on suunniteltu nimenomaan mobiililaitteille, ja sille on tarjolla erityinen mobiilikvantisointi . Voit ajaa tehokasta tekoälyä, joka ymmärtää tekstiä, kuvia ja puhetta, täysin offline-tilassa omalla puhelimellasi ilman datakeskuksia .
• Edulliset näytönohjaimet (8 Gt VRAM): E2B, E4B ja jopa 12B-mallit toimivat mainiosti 4-bittisinä . Tämä tuo kehittyneen koodiavustajan ja monimutkaisen tekstinkäsittelyn jokaisen peruspelitietokoneenkin ulottuville.
• Tehokkaat kuluttajanäytönohjaimet (12–24 Gt VRAM): 26B MoE -malli ja 31B:n tiheä huippumalli muuttuvat realistisiksi vaihtoehdoiksi. 26B A4B -malli on erityisen ovela: se on asiantuntijasekoitus, joka aktivoi vain pienen osan parametreistaan kutakin tehtävää varten, yhdistäen suuren mallin älykkyyden pienen mallin nopeuteen . Lippulaivamalli, 31B, tarjoaa massiivisen 256 000 tokenin konteksti-ikkunan . 4-bittisenä se mahtuu noin 18 gigatavuun, mikä on mahdollista esimerkiksi tehokkaalla RTX 3090 -näytönohjaimella . Käyttäjät pääsevät siis käsiksi lähes palvelinluokan tekstin- ja koodintuottoon omalta työpöydältään.

Tärkein varoituksen sana

QAT:n laatuetu on merkittävä juuri 4-bittisessä tarkkuudessa, mutta se ei ole automaattinen. Kuten aiemmin mainittiin, painojen huolimaton muuntaminen standardiin Q4_0-formaattiin voi johtaa laadun romahtamiseen. Kun tavoittelet parasta mahdollista suorituskykyä, suosi virallisia QAT:lle optimoituja pakattuja muotoja .