L’obiettivo è concreto: portare capacità di ragionamento, visione e audio su un computer personale, con un requisito indicativo di 16 GB di memoria video o memoria unificata.

Che cosa significa “encoder-free”

Nei modelli multimodali tradizionali il flusso è generalmente diviso in più passaggi. Un encoder visivo trasforma l’immagine in rappresentazioni comprensibili dal modello linguistico; un encoder audio fa lo stesso con il suono. Solo dopo il modello linguistico elabora queste informazioni.

Gemma 4 12B rimuove questi stadi intermedi e concentra l’elaborazione in un singolo transformer decoder-only. I dati delle diverse modalità vengono convertiti direttamente nello spazio degli embedding del modello linguistico tramite proiezioni leggere.

Immagini: patch più semplici, meno componenti

Per la visione, un embedder compatto da circa 35 milioni di parametri sostituisce un vision transformer completo da 27 livelli. Le immagini vengono suddivise in patch grezze da 48×48 pixel e proiettate nella dimensione interna del modello con una moltiplicazione matriciale. Le coordinate spaziali vengono aggiunte attraverso una rappresentazione fattorizzata, basata su matrici separate per gli assi X e Y.

Audio: il segnale entra direttamente nel modello

L’audio a 16 kHz viene suddiviso in finestre da 40 millisecondi, ciascuna composta da 640 valori in virgola mobile. Anche in questo caso la trasformazione è lineare e porta direttamente i dati nello spazio di input del modello, evitando i 12 livelli conformer presenti in altre varianti di Gemma 4.

Un’unica strada anche per il fine-tuning

La gestione unificata delle modalità semplifica anche l’addestramento aggiuntivo. Poiché testo, immagini e audio condividono i pesi centrali del modello e usano proiezioni lineari, Gemma 4 12B può essere sottoposto a fine-tuning in un unico passaggio con strumenti come Hugging Face Transformers e Unsloth, sia tramite LoRA sia aggiornando tutti i pesi.

Il risultato è un modello con una finestra di contesto fino a 256K token, capace di ricevere testo, immagini, audio e video senza una pipeline multimodale composta da più encoder.

Benchmark: risultati da modello più grande

Secondo la model card ufficiale di Google, Gemma 4 12B Unified non si limita a competere nella propria fascia: nei test riportati supera in modo netto il precedente Gemma 3 27B, che ha quasi il doppio dei parametri.

Il dato più sorprendente è il 78,8% su GPQA Diamond, un test che misura conoscenze scientifiche di livello avanzato: il vantaggio rispetto a Gemma 3 27B è di 36,4 punti percentuali. Anche il risultato su AIME 2026 segnala un miglioramento molto ampio. I benchmark non dimostrano che l’architettura senza encoder sia sempre superiore, ma indicano che la semplificazione non ha impedito al modello di ottenere prestazioni elevate.

Licenza e strumenti per usarlo in locale

Gemma 4 12B è distribuito in varianti pre-addestrate e instruction-tuned con licenza Apache 2.0, una licenza permissiva che consente anche l’uso commerciale nel rispetto dei relativi obblighi.

Il modello è stato accompagnato fin dal lancio da un ecosistema già pronto per l’inferenza locale e per il serving:

• llama.cpp, con versioni quantizzate in formato GGUF per l’uso su CPU e GPU;
• Ollama, dalla versione 0.20 in poi, per un’installazione e una gestione semplificate su macOS e Linux;
• LM Studio, che offre un’interfaccia desktop per cercare e avviare modelli locali;
• MLX, con supporto nativo ai dispositivi Apple Silicon e alla memoria unificata;
• vLLM, orientato alla distribuzione ad alto throughput su GPU e TPU;
• Unsloth, che mette a disposizione quantizzazioni ottimizzate e funzioni di fine-tuning attraverso Unsloth Studio, su macOS, Windows e Linux.

Per chi vuole semplicemente provare il modello, LM Studio e Ollama riducono la complessità tecnica. Chi invece deve integrare Gemma in un servizio o controllare in modo più preciso quantizzazione e prestazioni può rivolgersi a llama.cpp, vLLM o Unsloth.

Gemma Chat: programmazione offline su Mac

In parallelo al modello è arrivata Gemma Chat, un’applicazione desktop open source basata su Electron, realizzata dal designer di Google Ammar Reshi e distribuita con licenza MIT.

L’app esegue i modelli Gemma 4 localmente sui Mac con Apple Silicon tramite il framework MLX. Dopo il download iniziale, non richiede chiavi API, servizi cloud o una connessione a Internet per funzionare.

La funzione principale è Build Mode, una modalità da agente di programmazione. L’utente descrive in linguaggio naturale ciò che vuole creare e il modello genera HTML, CSS e JavaScript organizzati anche in progetti con più file. Il codice viene mostrato in streaming e aggiornato in un riquadro con anteprima live. Gemma Chat supporta inoltre l’input vocale e utilizza prompt XML per le chiamate strutturate agli strumenti, una scelta indicata come più affidabile del JSON per questa classe di modelli.

Gemma Chat era stato presentato inizialmente, intorno ad aprile 2026, con altre varianti della famiglia Gemma 4. Con l’arrivo di Gemma 4 12B Unified, l’app può eseguire anche il nuovo modello senza encoder tramite MLX, offrendo un ambiente locale per prototipazione, apprendimento e sperimentazione del codice.

La scommessa di Google è quindi duplice: ridurre il costo architetturale della multimodalità e rendere più pratico il passaggio dall’IA cloud all’esecuzione direttamente sul dispositivo. Gemma 4 12B non elimina i requisiti hardware né garantisce la stessa esperienza per ogni laptop, ma mostra quanto lontano possano arrivare oggi i modelli open-weight pensati per l’uso locale.

L’obiettivo è concreto: portare capacità di ragionamento, visione e audio su un computer personale, con un requisito indicativo di 16 GB di memoria video o memoria unificata.

Che cosa significa “encoder-free”

Nei modelli multimodali tradizionali il flusso è generalmente diviso in più passaggi. Un encoder visivo trasforma l’immagine in rappresentazioni comprensibili dal modello linguistico; un encoder audio fa lo stesso con il suono. Solo dopo il modello linguistico elabora queste informazioni.

Gemma 4 12B rimuove questi stadi intermedi e concentra l’elaborazione in un singolo transformer decoder-only. I dati delle diverse modalità vengono convertiti direttamente nello spazio degli embedding del modello linguistico tramite proiezioni leggere.

Immagini: patch più semplici, meno componenti

Per la visione, un embedder compatto da circa 35 milioni di parametri sostituisce un vision transformer completo da 27 livelli. Le immagini vengono suddivise in patch grezze da 48×48 pixel e proiettate nella dimensione interna del modello con una moltiplicazione matriciale. Le coordinate spaziali vengono aggiunte attraverso una rappresentazione fattorizzata, basata su matrici separate per gli assi X e Y.

Audio: il segnale entra direttamente nel modello

L’audio a 16 kHz viene suddiviso in finestre da 40 millisecondi, ciascuna composta da 640 valori in virgola mobile. Anche in questo caso la trasformazione è lineare e porta direttamente i dati nello spazio di input del modello, evitando i 12 livelli conformer presenti in altre varianti di Gemma 4.

Un’unica strada anche per il fine-tuning

La gestione unificata delle modalità semplifica anche l’addestramento aggiuntivo. Poiché testo, immagini e audio condividono i pesi centrali del modello e usano proiezioni lineari, Gemma 4 12B può essere sottoposto a fine-tuning in un unico passaggio con strumenti come Hugging Face Transformers e Unsloth, sia tramite LoRA sia aggiornando tutti i pesi.

Il risultato è un modello con una finestra di contesto fino a 256K token, capace di ricevere testo, immagini, audio e video senza una pipeline multimodale composta da più encoder.

Benchmark: risultati da modello più grande

Secondo la model card ufficiale di Google, Gemma 4 12B Unified non si limita a competere nella propria fascia: nei test riportati supera in modo netto il precedente Gemma 3 27B, che ha quasi il doppio dei parametri.

Il dato più sorprendente è il 78,8% su GPQA Diamond, un test che misura conoscenze scientifiche di livello avanzato: il vantaggio rispetto a Gemma 3 27B è di 36,4 punti percentuali. Anche il risultato su AIME 2026 segnala un miglioramento molto ampio. I benchmark non dimostrano che l’architettura senza encoder sia sempre superiore, ma indicano che la semplificazione non ha impedito al modello di ottenere prestazioni elevate.

Licenza e strumenti per usarlo in locale

Gemma 4 12B è distribuito in varianti pre-addestrate e instruction-tuned con licenza Apache 2.0, una licenza permissiva che consente anche l’uso commerciale nel rispetto dei relativi obblighi.

Il modello è stato accompagnato fin dal lancio da un ecosistema già pronto per l’inferenza locale e per il serving:

• llama.cpp, con versioni quantizzate in formato GGUF per l’uso su CPU e GPU;
• Ollama, dalla versione 0.20 in poi, per un’installazione e una gestione semplificate su macOS e Linux;
• LM Studio, che offre un’interfaccia desktop per cercare e avviare modelli locali;
• MLX, con supporto nativo ai dispositivi Apple Silicon e alla memoria unificata;
• vLLM, orientato alla distribuzione ad alto throughput su GPU e TPU;
• Unsloth, che mette a disposizione quantizzazioni ottimizzate e funzioni di fine-tuning attraverso Unsloth Studio, su macOS, Windows e Linux.

Per chi vuole semplicemente provare il modello, LM Studio e Ollama riducono la complessità tecnica. Chi invece deve integrare Gemma in un servizio o controllare in modo più preciso quantizzazione e prestazioni può rivolgersi a llama.cpp, vLLM o Unsloth.

Gemma Chat: programmazione offline su Mac

In parallelo al modello è arrivata Gemma Chat, un’applicazione desktop open source basata su Electron, realizzata dal designer di Google Ammar Reshi e distribuita con licenza MIT.

L’app esegue i modelli Gemma 4 localmente sui Mac con Apple Silicon tramite il framework MLX. Dopo il download iniziale, non richiede chiavi API, servizi cloud o una connessione a Internet per funzionare.

La funzione principale è Build Mode, una modalità da agente di programmazione. L’utente descrive in linguaggio naturale ciò che vuole creare e il modello genera HTML, CSS e JavaScript organizzati anche in progetti con più file. Il codice viene mostrato in streaming e aggiornato in un riquadro con anteprima live. Gemma Chat supporta inoltre l’input vocale e utilizza prompt XML per le chiamate strutturate agli strumenti, una scelta indicata come più affidabile del JSON per questa classe di modelli.

Gemma Chat era stato presentato inizialmente, intorno ad aprile 2026, con altre varianti della famiglia Gemma 4. Con l’arrivo di Gemma 4 12B Unified, l’app può eseguire anche il nuovo modello senza encoder tramite MLX, offrendo un ambiente locale per prototipazione, apprendimento e sperimentazione del codice.

La scommessa di Google è quindi duplice: ridurre il costo architetturale della multimodalità e rendere più pratico il passaggio dall’IA cloud all’esecuzione direttamente sul dispositivo. Gemma 4 12B non elimina i requisiti hardware né garantisce la stessa esperienza per ogni laptop, ma mostra quanto lontano possano arrivare oggi i modelli open-weight pensati per l’uso locale.