Die encoder-freie Unified-Architektur im Inneren

Traditionelle multimodale Modelle arbeiten mit einer sequenziellen Pipeline. Ein eingefrorener Vision-Encoder mit rund 150 bis 550 Millionen Parametern verarbeitet Bildausschnitte, und ein separater Audio-Encoder, oft mit etwa 300 Millionen Parametern, analysiert Klang. Das LLM erhält dann diese aufbereiteten Repräsentationen. Gemma 4 12B entfernt diese Zwischenstufen vollständig und vereinheitlicht die gesamte Verarbeitung im LLM-Kern .

Dieser encoder-freie Ansatz verwendet leichte Projektionen, um die rohen Eingaben direkt in den Embedding-Raum des LLM zu überführen:

• Für Bilder: Ein kompakter Embedder mit 35 Millionen Parametern ersetzt einen vollwertigen 27-Lagen-Vision-Transformer. Rohe 48x48-Pixel-Bildausschnitte werden durch eine einfache Matrixmultiplikation auf die versteckte Dimension des LLM abgebildet. Positionsinformationen werden über eine faktorisierte Koordinatensuche mit separaten X- und Y-Matrizen eingebracht, wodurch gelernte Positions-Embeddings für Bildausschnitte entfallen .
• Für Audio: Rohsignale mit 16 kHz werden in 40-Millisekunden-Frames unterteilt, die jeweils 640 Gleitkommawerte enthalten. Diese Frames werden linear in den Eingaberaum des LLM projiziert und umgehen damit die 12 Conformer-Lagen, die in anderen Gemma-4-Varianten zu finden sind .
• Fürs Feintuning: Da alle Modalitätseingaben durch einfache lineare Projektionen abgewickelt werden, die die Kerngewichte des LLM teilen, kann das gesamte Modell in einem einzigen, vereinheitlichten Durchlauf mit Standard-Frameworks wie Hugging Face Transformers oder Unsloth feinjustiert werden – mit Unterstützung für sowohl LoRA als auch Full-Weight-Feintuning .

Das Ergebnis ist ein Modell mit einem 256K-Token-Kontext, das nativ Text, Bilder, Audio und Video verarbeitet – ohne die Latenz und architektonische Komplexität einer mehrstufigen Encoder-Pipeline .

Benchmark-Performance: Kleines Modell, große Ergebnisse

Die Benchmark-Ergebnisse für Gemma 4 12B, wie sie in Googles offiziellem Modelldokument festgehalten sind, zeigen einen deutlichen Effizienzsprung. Das 12B-Modell konkurriert nicht nur mit Modellen seiner Größenklasse, sondern übertrifft das deutlich größere 27-Milliarden-Parameter-Modell Gemma 3 27B in einer Reihe anspruchsvoller Reasoning- und Multimodalitätstests deutlich .

Besonders bemerkenswert sind die 78,8 % im GPQA Diamond, einem Test für wissenschaftliche Kenntnisse auf Graduiertenniveau – eine Steigerung um 36,4 Prozentpunkte gegenüber dem Flaggschiff der Vorgängergeneration. Die AIME-2026-Mathematikpunktzahl zeigt ebenfalls eine nahezu Vervierfachung. Diese Ergebnisse bestätigen, dass der Verzicht auf den Encoder-Stack die Intelligenz nicht beeinträchtigt hat; es scheint sie vielmehr gestrafft zu haben .

Verfügbarkeit, Lizenzierung und Ökosystem von Tag eins

Gemma 4 12B wurde mit offenen Gewichten unter der kommerziell nutzbaren Apache-2.0-Lizenz in vorab trainierten und instruktionsgetunten Varianten veröffentlicht . Das praktische Designziel ist es, innerhalb eines 16-GB-VRAM-/Unified-Memory-Budgets zu bleiben, was das Modell auf handelsüblichen Standard-Laptops tatsächlich nutzbar macht .

Das Modell startete mit sofortiger Unterstützung am Tag null in einem breiten Ökosystem lokaler Inferenz-Engines – ein entscheidender Faktor für die Entwicklerakzeptanz :

• llama.cpp: GGUF-quantisierte Versionen waren ab Tag eins für effiziente CPU- und GPU-Inferenz verfügbar .
• Ollama (v0.20+): Bietet eine einfache Bereitstellung mit nur einem Befehl für macOS und Linux .
• LM Studio: Eine benutzerfreundliche Desktop-Oberfläche zum Entdecken und Ausführen lokaler Modelle .
• MLX: Native Unterstützung für Apple-Silicon-Hardware, die die Unified-Memory-Architektur nutzt .
• vLLM: Bereit für Hochdurchsatz-GPU- und TPU-Bereitstellung .
• Unsloth: Bietet optimierte statische Quantisierungen und Feintuning-Fähigkeiten über eine quelloffene Studio-Benutzeroberfläche, die macOS, Windows und Linux unterstützt .

Gemma Chat: Ein dedizierter Desktop-Coding-Agent

Zusammen mit der Modellveröffentlichung liefert eine separate Open-Source-Desktop-Anwendung namens Gemma Chat eine konkrete, benutzerfreundliche Demonstration dessen, was lokale multimodale KI leisten kann. Entwickelt von Google-Designer Ammar Reshi und unter der MIT-Lizenz veröffentlicht, handelt es sich um eine Electron-basierte App, die auf GitHub verfügbar ist .

Gemma Chat führt Gemma-4-Modelle vollständig lokal auf Apple Silicon über das MLX-Framework aus – das bedeutet keine API-Schlüssel, keine Cloud-Dienste und nach dem ersten Download keine Internetverbindung. Die Hauptfunktion ist ein „Build Mode“-Coding-Agent: Ein Benutzer beschreibt in einfacher Sprache, was er bauen möchte, und das Modell generiert HTML, CSS und JavaScript für Projekte mit mehreren Dateien, wobei die Ausgabe in Echtzeit an eine Live-Vorschau gestreamt wird. Die App unterstützt auch Spracheingabe für gesprochene Interaktionen und verwendet XML-Prompting für strukturierte Tool-Aufrufe, das sich für diese Modellklasse als zuverlässiger erwiesen hat als JSON .

Die Anwendung, die ursprünglich um April 2026 für andere Gemma-4-Varianten gestartet wurde, kann nun auch das neue encoder-freie 12B-Modell ausführen und bietet eine vollständig offline arbeitende, lokale Entwicklungsumgebung zum Prototyping und Lernen .

Die encoder-freie Unified-Architektur im Inneren

Traditionelle multimodale Modelle arbeiten mit einer sequenziellen Pipeline. Ein eingefrorener Vision-Encoder mit rund 150 bis 550 Millionen Parametern verarbeitet Bildausschnitte, und ein separater Audio-Encoder, oft mit etwa 300 Millionen Parametern, analysiert Klang. Das LLM erhält dann diese aufbereiteten Repräsentationen. Gemma 4 12B entfernt diese Zwischenstufen vollständig und vereinheitlicht die gesamte Verarbeitung im LLM-Kern .

Dieser encoder-freie Ansatz verwendet leichte Projektionen, um die rohen Eingaben direkt in den Embedding-Raum des LLM zu überführen:

• Für Bilder: Ein kompakter Embedder mit 35 Millionen Parametern ersetzt einen vollwertigen 27-Lagen-Vision-Transformer. Rohe 48x48-Pixel-Bildausschnitte werden durch eine einfache Matrixmultiplikation auf die versteckte Dimension des LLM abgebildet. Positionsinformationen werden über eine faktorisierte Koordinatensuche mit separaten X- und Y-Matrizen eingebracht, wodurch gelernte Positions-Embeddings für Bildausschnitte entfallen .
• Für Audio: Rohsignale mit 16 kHz werden in 40-Millisekunden-Frames unterteilt, die jeweils 640 Gleitkommawerte enthalten. Diese Frames werden linear in den Eingaberaum des LLM projiziert und umgehen damit die 12 Conformer-Lagen, die in anderen Gemma-4-Varianten zu finden sind .
• Fürs Feintuning: Da alle Modalitätseingaben durch einfache lineare Projektionen abgewickelt werden, die die Kerngewichte des LLM teilen, kann das gesamte Modell in einem einzigen, vereinheitlichten Durchlauf mit Standard-Frameworks wie Hugging Face Transformers oder Unsloth feinjustiert werden – mit Unterstützung für sowohl LoRA als auch Full-Weight-Feintuning .

Das Ergebnis ist ein Modell mit einem 256K-Token-Kontext, das nativ Text, Bilder, Audio und Video verarbeitet – ohne die Latenz und architektonische Komplexität einer mehrstufigen Encoder-Pipeline .

Benchmark-Performance: Kleines Modell, große Ergebnisse

Die Benchmark-Ergebnisse für Gemma 4 12B, wie sie in Googles offiziellem Modelldokument festgehalten sind, zeigen einen deutlichen Effizienzsprung. Das 12B-Modell konkurriert nicht nur mit Modellen seiner Größenklasse, sondern übertrifft das deutlich größere 27-Milliarden-Parameter-Modell Gemma 3 27B in einer Reihe anspruchsvoller Reasoning- und Multimodalitätstests deutlich .

Besonders bemerkenswert sind die 78,8 % im GPQA Diamond, einem Test für wissenschaftliche Kenntnisse auf Graduiertenniveau – eine Steigerung um 36,4 Prozentpunkte gegenüber dem Flaggschiff der Vorgängergeneration. Die AIME-2026-Mathematikpunktzahl zeigt ebenfalls eine nahezu Vervierfachung. Diese Ergebnisse bestätigen, dass der Verzicht auf den Encoder-Stack die Intelligenz nicht beeinträchtigt hat; es scheint sie vielmehr gestrafft zu haben .

Verfügbarkeit, Lizenzierung und Ökosystem von Tag eins

Gemma 4 12B wurde mit offenen Gewichten unter der kommerziell nutzbaren Apache-2.0-Lizenz in vorab trainierten und instruktionsgetunten Varianten veröffentlicht . Das praktische Designziel ist es, innerhalb eines 16-GB-VRAM-/Unified-Memory-Budgets zu bleiben, was das Modell auf handelsüblichen Standard-Laptops tatsächlich nutzbar macht .

Das Modell startete mit sofortiger Unterstützung am Tag null in einem breiten Ökosystem lokaler Inferenz-Engines – ein entscheidender Faktor für die Entwicklerakzeptanz :

• llama.cpp: GGUF-quantisierte Versionen waren ab Tag eins für effiziente CPU- und GPU-Inferenz verfügbar .
• Ollama (v0.20+): Bietet eine einfache Bereitstellung mit nur einem Befehl für macOS und Linux .
• LM Studio: Eine benutzerfreundliche Desktop-Oberfläche zum Entdecken und Ausführen lokaler Modelle .
• MLX: Native Unterstützung für Apple-Silicon-Hardware, die die Unified-Memory-Architektur nutzt .
• vLLM: Bereit für Hochdurchsatz-GPU- und TPU-Bereitstellung .
• Unsloth: Bietet optimierte statische Quantisierungen und Feintuning-Fähigkeiten über eine quelloffene Studio-Benutzeroberfläche, die macOS, Windows und Linux unterstützt .

Gemma Chat: Ein dedizierter Desktop-Coding-Agent

Zusammen mit der Modellveröffentlichung liefert eine separate Open-Source-Desktop-Anwendung namens Gemma Chat eine konkrete, benutzerfreundliche Demonstration dessen, was lokale multimodale KI leisten kann. Entwickelt von Google-Designer Ammar Reshi und unter der MIT-Lizenz veröffentlicht, handelt es sich um eine Electron-basierte App, die auf GitHub verfügbar ist .

Gemma Chat führt Gemma-4-Modelle vollständig lokal auf Apple Silicon über das MLX-Framework aus – das bedeutet keine API-Schlüssel, keine Cloud-Dienste und nach dem ersten Download keine Internetverbindung. Die Hauptfunktion ist ein „Build Mode“-Coding-Agent: Ein Benutzer beschreibt in einfacher Sprache, was er bauen möchte, und das Modell generiert HTML, CSS und JavaScript für Projekte mit mehreren Dateien, wobei die Ausgabe in Echtzeit an eine Live-Vorschau gestreamt wird. Die App unterstützt auch Spracheingabe für gesprochene Interaktionen und verwendet XML-Prompting für strukturierte Tool-Aufrufe, das sich für diese Modellklasse als zuverlässiger erwiesen hat als JSON .

Die Anwendung, die ursprünglich um April 2026 für andere Gemma-4-Varianten gestartet wurde, kann nun auch das neue encoder-freie 12B-Modell ausführen und bietet eine vollständig offline arbeitende, lokale Entwicklungsumgebung zum Prototyping und Lernen .