De opvallendste keuze zit niet alleen in de omvang, maar vooral in de architectuur. Gemma 4 12B is Googles eerste middelgrote Gemma-model met native audio-invoer en gebruikt daarvoor geen afzonderlijke beeld- of audio-encoders .

Wat betekent ‘encoder-vrij’?

Bij veel multimodale AI-modellen verloopt de verwerking in meerdere stappen. Een vision encoder zet een afbeelding eerst om in representaties die een taalmodel kan begrijpen. Een aparte audio-encoder doet hetzelfde met geluid. Pas daarna gaat de informatie naar de grote taalmodelkern.

Gemma 4 12B schrapt die tussenlagen. Alle modaliteiten komen rechtstreeks binnen bij één decoder-only transformer. Volgens Google vermindert dat de architecturale complexiteit en de vertraging die ontstaat wanneer meerdere encoders na elkaar moeten werken .

De ruwe invoer wordt met relatief eenvoudige projecties naar de embeddingruimte van het taalmodel gebracht:

• Afbeeldingen: Een compacte embedder van 35 miljoen parameters vervangt een volledige vision transformer met 27 lagen. Beeld wordt opgeknipt in patches van 48 × 48 pixels, waarna een matrixvermenigvuldiging de gegevens naar de verborgen dimensie van het taalmodel brengt. De positie van een patch wordt vastgelegd met afzonderlijke X- en Y-matrices, in plaats van met geleerde positie-embeddings .
• Audio: Ruwe audio op 16 kHz wordt verdeeld in frames van 40 milliseconden. Elk frame bevat 640 waarden die lineair naar de invoerruimte van het taalmodel worden geprojecteerd. Daarmee omzeilt het model de twaalf conformer-lagen die in andere Gemma 4-varianten worden gebruikt .
• Bij finetuning: Omdat tekst, beeld en audio dezelfde modelkern delen, kan het geheel in één uniforme stap worden aangepast. Dat werkt met standaardbibliotheken zoals Hugging Face Transformers en Unsloth, zowel via LoRA als via finetuning van alle gewichten .

Het resultaat is een model met een contextvenster van maximaal 256.000 tokens dat de verschillende invoertypen binnen één architectuur verwerkt .

Benchmark: een kleiner model dat grotere voorgangers verslaat

De cijfers in Googles officiële modelkaart laten zien waarom de aanpak aandacht krijgt. Gemma 4 12B blijft niet slechts overeind naast modellen van vergelijkbare omvang, maar scoort op meerdere moeilijke redeneer- en multimodale tests aanzienlijk hoger dan Gemma 3 27B .

Vooral de 78,8% op GPQA Diamond valt op: dat is 36,4 procentpunt meer dan Gemma 3 27B. Ook de score van 77,5% op AIME 2026 ligt bijna vier keer zo hoog als die van de vorige generatie . Benchmarks bewijzen uiteraard niet dat elk dagelijks gebruik even sterk verbetert, maar ze wijzen er wel op dat het verwijderen van de encoderlaag niet automatisch ten koste gaat van redeneervermogen.

Open licentie en direct bruikbaar ecosysteem

Google bracht Gemma 4 12B uit als open-weightmodel in zowel een voorgetrainde als een instructie-afgestelde variant. De Apache 2.0-licentie biedt ontwikkelaars brede mogelijkheden voor gebruik en aanpassing, binnen de voorwaarden van die licentie .

De beoogde hardwaredrempel ligt rond 16 GB VRAM of unified memory, waardoor het model niet uitsluitend voor datacenters bedoeld is . De ondersteuning in lokale tools was bovendien vanaf de lancering breed beschikbaar:

• llama.cpp: GGUF-gekwantiseerde versies voor efficiënte inferentie op CPU en GPU .
• Ollama: vanaf versie 0.20 ondersteuning voor een eenvoudige installatie en lokale uitvoering op macOS en Linux .
• LM Studio: een grafische desktopomgeving om lokale modellen te vinden en te draaien .
• MLX: native ondersteuning voor Apple Silicon en de gedeelde geheugenarchitectuur van die chips .
• vLLM: ondersteuning voor servergebruik met hoge doorvoer op GPU en TPU .
• Unsloth: geoptimaliseerde quantisaties en mogelijkheden voor lokaal finetunen via Unsloth Studio, op macOS, Windows en Linux .

Voor ontwikkelaars is die brede ondersteuning minstens zo belangrijk als de benchmarkscore. Een model dat direct beschikbaar is in bekende lokale runtimes kan sneller worden getest en in bestaande toepassingen worden ingebouwd.

Gemma Chat maakt lokaal coderen concreet

Naast het model verscheen Gemma Chat, een afzonderlijke open-source desktopapplicatie onder de MIT-licentie. De Electron-app is gemaakt door Google-designer Ammar Reshi en is beschikbaar via GitHub .

Gemma Chat draait Gemma-modellen volledig lokaal op Apple Silicon met Apples MLX-framework. Na het downloaden van het model zijn er geen API-sleutels, clouddiensten of internetverbinding nodig .

De belangrijkste functie is Build Mode, een codeeragent die gewone taal omzet in projecten met HTML, CSS en JavaScript. De gegenereerde bestanden verschijnen in een live preview terwijl het model werkt. De app ondersteunt daarnaast spraakinvoer en gebruikt XML-prompts voor gestructureerde toolaanroepen; volgens de aangehaalde documentatie blijkt dat bij dit type modellen betrouwbaarder dan JSON .

Gemma Chat verscheen oorspronkelijk rond april 2026 voor andere Gemma 4-varianten. Met de nieuwe release kan de applicatie ook Gemma 4 12B Unified lokaal via MLX uitvoeren, waardoor een volledig offline ontwikkelomgeving ontstaat voor prototypes en leerprojecten .

Waarom dit model ertoe doet

Gemma 4 12B is niet simpelweg een kleiner taalmodel. Het is een poging om multimodale AI eenvoudiger naar consumentenhardware te brengen: één modelkern voor tekst, beeld en geluid, zonder aparte encoderpijplijnen. In combinatie met open gewichten, Apache 2.0 en ondersteuning voor bekende lokale tools verlaagt dat de drempel om met krachtige multimodale AI te experimenteren — zonder voor elke prompt een cloud-API nodig te hebben.

De opvallendste keuze zit niet alleen in de omvang, maar vooral in de architectuur. Gemma 4 12B is Googles eerste middelgrote Gemma-model met native audio-invoer en gebruikt daarvoor geen afzonderlijke beeld- of audio-encoders .

Wat betekent ‘encoder-vrij’?

Bij veel multimodale AI-modellen verloopt de verwerking in meerdere stappen. Een vision encoder zet een afbeelding eerst om in representaties die een taalmodel kan begrijpen. Een aparte audio-encoder doet hetzelfde met geluid. Pas daarna gaat de informatie naar de grote taalmodelkern.

Gemma 4 12B schrapt die tussenlagen. Alle modaliteiten komen rechtstreeks binnen bij één decoder-only transformer. Volgens Google vermindert dat de architecturale complexiteit en de vertraging die ontstaat wanneer meerdere encoders na elkaar moeten werken .

De ruwe invoer wordt met relatief eenvoudige projecties naar de embeddingruimte van het taalmodel gebracht:

• Afbeeldingen: Een compacte embedder van 35 miljoen parameters vervangt een volledige vision transformer met 27 lagen. Beeld wordt opgeknipt in patches van 48 × 48 pixels, waarna een matrixvermenigvuldiging de gegevens naar de verborgen dimensie van het taalmodel brengt. De positie van een patch wordt vastgelegd met afzonderlijke X- en Y-matrices, in plaats van met geleerde positie-embeddings .
• Audio: Ruwe audio op 16 kHz wordt verdeeld in frames van 40 milliseconden. Elk frame bevat 640 waarden die lineair naar de invoerruimte van het taalmodel worden geprojecteerd. Daarmee omzeilt het model de twaalf conformer-lagen die in andere Gemma 4-varianten worden gebruikt .
• Bij finetuning: Omdat tekst, beeld en audio dezelfde modelkern delen, kan het geheel in één uniforme stap worden aangepast. Dat werkt met standaardbibliotheken zoals Hugging Face Transformers en Unsloth, zowel via LoRA als via finetuning van alle gewichten .

Het resultaat is een model met een contextvenster van maximaal 256.000 tokens dat de verschillende invoertypen binnen één architectuur verwerkt .

Benchmark: een kleiner model dat grotere voorgangers verslaat

De cijfers in Googles officiële modelkaart laten zien waarom de aanpak aandacht krijgt. Gemma 4 12B blijft niet slechts overeind naast modellen van vergelijkbare omvang, maar scoort op meerdere moeilijke redeneer- en multimodale tests aanzienlijk hoger dan Gemma 3 27B .

Vooral de 78,8% op GPQA Diamond valt op: dat is 36,4 procentpunt meer dan Gemma 3 27B. Ook de score van 77,5% op AIME 2026 ligt bijna vier keer zo hoog als die van de vorige generatie . Benchmarks bewijzen uiteraard niet dat elk dagelijks gebruik even sterk verbetert, maar ze wijzen er wel op dat het verwijderen van de encoderlaag niet automatisch ten koste gaat van redeneervermogen.

Open licentie en direct bruikbaar ecosysteem

Google bracht Gemma 4 12B uit als open-weightmodel in zowel een voorgetrainde als een instructie-afgestelde variant. De Apache 2.0-licentie biedt ontwikkelaars brede mogelijkheden voor gebruik en aanpassing, binnen de voorwaarden van die licentie .

De beoogde hardwaredrempel ligt rond 16 GB VRAM of unified memory, waardoor het model niet uitsluitend voor datacenters bedoeld is . De ondersteuning in lokale tools was bovendien vanaf de lancering breed beschikbaar:

• llama.cpp: GGUF-gekwantiseerde versies voor efficiënte inferentie op CPU en GPU .
• Ollama: vanaf versie 0.20 ondersteuning voor een eenvoudige installatie en lokale uitvoering op macOS en Linux .
• LM Studio: een grafische desktopomgeving om lokale modellen te vinden en te draaien .
• MLX: native ondersteuning voor Apple Silicon en de gedeelde geheugenarchitectuur van die chips .
• vLLM: ondersteuning voor servergebruik met hoge doorvoer op GPU en TPU .
• Unsloth: geoptimaliseerde quantisaties en mogelijkheden voor lokaal finetunen via Unsloth Studio, op macOS, Windows en Linux .

Voor ontwikkelaars is die brede ondersteuning minstens zo belangrijk als de benchmarkscore. Een model dat direct beschikbaar is in bekende lokale runtimes kan sneller worden getest en in bestaande toepassingen worden ingebouwd.

Gemma Chat maakt lokaal coderen concreet

Naast het model verscheen Gemma Chat, een afzonderlijke open-source desktopapplicatie onder de MIT-licentie. De Electron-app is gemaakt door Google-designer Ammar Reshi en is beschikbaar via GitHub .

Gemma Chat draait Gemma-modellen volledig lokaal op Apple Silicon met Apples MLX-framework. Na het downloaden van het model zijn er geen API-sleutels, clouddiensten of internetverbinding nodig .

De belangrijkste functie is Build Mode, een codeeragent die gewone taal omzet in projecten met HTML, CSS en JavaScript. De gegenereerde bestanden verschijnen in een live preview terwijl het model werkt. De app ondersteunt daarnaast spraakinvoer en gebruikt XML-prompts voor gestructureerde toolaanroepen; volgens de aangehaalde documentatie blijkt dat bij dit type modellen betrouwbaarder dan JSON .

Gemma Chat verscheen oorspronkelijk rond april 2026 voor andere Gemma 4-varianten. Met de nieuwe release kan de applicatie ook Gemma 4 12B Unified lokaal via MLX uitvoeren, waardoor een volledig offline ontwikkelomgeving ontstaat voor prototypes en leerprojecten .

Waarom dit model ertoe doet

Gemma 4 12B is niet simpelweg een kleiner taalmodel. Het is een poging om multimodale AI eenvoudiger naar consumentenhardware te brengen: één modelkern voor tekst, beeld en geluid, zonder aparte encoderpijplijnen. In combinatie met open gewichten, Apache 2.0 en ondersteuning voor bekende lokale tools verlaagt dat de drempel om met krachtige multimodale AI te experimenteren — zonder voor elke prompt een cloud-API nodig te hebben.