Arrivano i modelli Gemma 4 QAT di Google: l'IA di fascia alta ora funziona su smartphone e PC

La famiglia Gemma 4: un modello per ogni esigenza

Ecco la gamma completa dei modelli Gemma 4 ora disponibili con i checkpoint QAT :

| Modello | Tipo | Memoria in 4 bit (QAT) | A chi è rivolto |\n|---|---|---|---|\n| E2B | Denso (~2,3B parametri) | Circa 1 GB (formato mobile) a 3,2 GB | Smartphone, Raspberry Pi, browser web. Perfetto per chi vuole l'IA sempre in tasca . |\n| E4B | Denso (~4,5B parametri) | Circa 5 GB | Laptop senza GPU dedicata. Il passo successivo per prestazioni più robuste on-the-go . |\n| 12B | Denso e multimodale unificato | Circa 7 GB | GPU con 8 GB di VRAM. Il punto d'incontro tra potenza e accessibilità, supporta nativamente testo, immagini e audio . |\n| 26B A4B | Mixture of Experts (MoE) | Circa 15-16 GB | GPU con 12-16 GB di VRAM. Un'intelligenza da 26B con il costo computazionale di un modello da 4B . |\n| 31B | Denso (30,7B parametri) | Circa 18-20 GB | GPU con +20 GB di VRAM (es. RTX 3090). Per ragionamento complesso e coding spinto direttamente sul tuo PC . |

Cosa significa “girare in locale”? Implicazioni pratiche

Tradurre questi numeri in casi d'uso concreti è illuminante :

• Smartphone e Tablet: Con il nuovo formato mobile, il modello E2B arriva a pesare solo 1 GB e può girare interamente sul dispositivo, senza connessione internet . La tua privacy è al sicuro e la latenza è zero.
• Pc portatili e GPU economiche (≤8 GB): I modelli E2B, E4B e 12B sono perfetti. Con una scheda grafica da 8 GB, puoi avere un assistente IA multimodale integrato nel tuo IDE o un potente chatbot locale sempre attivo .
• Workstation con GPU potenti (12-24 GB): Qui si entra nel regno dei giganti. Il 26B A4B e il 31B, con i loro 256.000 token di contesto (abbastanza per analizzare interi romanzi), diventano utilizzabili su hardware consumer di fascia alta, offrendo capacità di ragionamento di livello professionale in locale .

Non tutta la compressione è uguale: attenzione ai formati

Un aspetto cruciale da comprendere è che non tutti i formati a 4 bit sono creati uguali. Il vero vantaggio del QAT si apprezza appieno solo utilizzando i checkpoint ufficiali pensati per questa tecnica .

Google mette a disposizione principalmente tre strade :

• Compressed-tensors: Il formato ufficiale W4A16 per motori di inferenza come vLLM, con pesi a 4 bit e attivazioni a 16 bit.
• GGUF / Q4_0: Ampiamente supportato da llama.cpp e Ollama, è il formato ideale per l'uso hobbistico e su CPU.
• Mobile Optimized: Un formato ingegnerizzato per l'hardware mobile, che utilizza un mix di precisioni per ridurre ulteriormente l'ingombro.

Attenzione alla fregatura: convertire “ingenuamente” un modello QAT in un formato non ottimizzato vanifica i benefici. La documentazione avverte che una conversione diretta in Q4_0 del modello 26B, senza i giusti accorgimenti, può far crollare l'accuratezza al 70,2% . La solida scelta ufficiale rimane la via più sicura per avere la qualità promessa.

Con questa mossa, Google non si limita a rilasciare dei modelli; sta davvero democratizzando l'accesso all'IA più avanzata, spostando il confine tra il “possibile solo in cloud” e il “fattibile nel mio zaino, sul mio comodino, nel mio ufficio” .