Så fungerar den encoder-fria arkitekturen

I traditionella multimodala modeller består arbetsflödet ofta av flera steg. En fryst bildkodare analyserar bildens delar och en separat ljudkodare bearbetar ljudet innan språkmodellen får ta över. Bildkodaren kan ha omkring 150–550 miljoner parametrar, medan ljudkodaren ofta ligger runt 300 miljoner parametrar .

Gemma 4 12B tar bort dessa mellanled och samlar bearbetningen i språkmodellens huvuddel:

• Bilder: En kompakt embedder på 35 miljoner parametrar ersätter en fullständig visionstransformers 27 lager. Råa bildblock på 48 × 48 pixlar projiceras till språkmodellens dolda dimension genom en enkel matrismultiplikation. Bildens position anges med en faktoriserad koordinatuppslagning med separata X- och Y-matriser .
• Ljud: Rått ljud med en samplingsfrekvens på 16 kHz delas upp i 40 millisekunders segment, där varje segment innehåller 640 flyttal. Segmenten projiceras linjärt till modellens inmatningsutrymme, utan de 12 conformer-lager som används i andra Gemma 4-varianter .
• Finjustering: Eftersom text, bild och ljud hanteras genom enkla projektioner som delar språkmodellens kärnvikt kan hela modellen finjusteras i ett sammanhängande flöde. Det stöds bland annat i Hugging Face Transformers och Unsloth, med både LoRA och finjustering av alla vikter .

Resultatet är en modell med ett kontextfönster på upp till 256 000 token som kan ta emot text, bilder, ljud och video utan en separat encoder-pipeline .

Benchmarkresultat: mindre modell, större kliv

Enligt Googles officiella modellkort presterar Gemma 4 12B Unified betydligt bättre än den större Gemma 3 27B i flera tester av resonemang, matematik, programmering och multimodal förståelse .

Särskilt anmärkningsvärt är resultatet på GPQA Diamond, ett test med frågor på avancerad universitets- och forskarnivå inom bland annat biologi, fysik och kemi. Där är skillnaden mot Gemma 3 27B 36,4 procentenheter. Även AIME-resultatet innebär ett kraftigt lyft jämfört med föregångaren .

Benchmarkerna visar inte att modellen är bäst på alla uppgifter, men de pekar på en tydlig avvägning: Google har minskat den multimodala kringutrustningen utan att samtidigt behöva ge upp modellens förmåga till resonemang och kodning.

Öppen licens och stöd för lokal körning

Gemma 4 12B släpptes med öppna vikter under den kommersiellt tillåtande Apache 2.0-licensen, både som förtränad modell och som instruktionsfinjusterad variant . Hårdvarumålet är omkring 16 GB VRAM eller delat minne, vilket placerar modellen inom räckhåll för många moderna konsumentlaptops .

Modellen fick dessutom stöd i flera lokala inferensverktyg redan vid lanseringen:

• llama.cpp: GGUF-kvantiserade versioner för effektiv körning på CPU och GPU .
• Ollama: Enkel distribution med ett kommando på macOS och Linux; version 0.20 eller senare krävs .
• LM Studio: Grafiskt skrivbordsverktyg för att hitta och köra lokala modeller .
• MLX: Inbyggt stöd för Apples Silicon-plattform och dess delade minnesarkitektur .
• vLLM: Stöd för serverdrift med hög genomströmning på GPU och TPU .
• Unsloth: Optimerade kvantiserade modeller och verktyg för lokal körning samt finjustering i Unsloth Studio på macOS, Windows och Linux .

Det breda ekosystemstödet är viktigt i praktiken. En modell kan vara tekniskt öppen, men blir betydligt mer användbar om utvecklare kan köra den i de verktyg de redan använder.

Gemma Chat visar vad lokal multimodal AI kan göra

Samtidigt som Gemma 4 12B lanserades lyftes den separata open source-applikationen Gemma Chat fram som ett konkret exempel på lokal AI. Appen är byggd med Electron av Google-designern Ammar Reshi och distribueras under MIT-licensen .

Gemma Chat kör Gemma-modeller lokalt på Apple Silicon via Apples MLX-ramverk. Efter den första nedladdningen behövs inga API-nycklar, molntjänster eller internetanslutning för själva körningen .

Den mest iögonfallande funktionen är Build Mode, ett kodagentläge där användaren beskriver vad som ska byggas med vanligt språk. Modellen genererar sedan HTML, CSS och JavaScript för projekt med flera filer, samtidigt som resultatet strömmas till en liveförhandsvisning. Appen har även stöd för röstinmatning och använder XML-baserade instruktioner för strukturerade verktygsanrop, vilket enligt den bakomliggande rapporteringen har fungerat bättre än JSON för den här typen av modeller .

Gemma Chat lanserades ursprungligen omkring april 2026 med andra Gemma 4-varianter. Med stöd för den nya encoder-fria 12B-modellen blir den också ett exempel på hur Googles större multimodala modell kan användas i en lokal, offlinebaserad utvecklingsmiljö .

Så fungerar den encoder-fria arkitekturen

I traditionella multimodala modeller består arbetsflödet ofta av flera steg. En fryst bildkodare analyserar bildens delar och en separat ljudkodare bearbetar ljudet innan språkmodellen får ta över. Bildkodaren kan ha omkring 150–550 miljoner parametrar, medan ljudkodaren ofta ligger runt 300 miljoner parametrar .

Gemma 4 12B tar bort dessa mellanled och samlar bearbetningen i språkmodellens huvuddel:

• Bilder: En kompakt embedder på 35 miljoner parametrar ersätter en fullständig visionstransformers 27 lager. Råa bildblock på 48 × 48 pixlar projiceras till språkmodellens dolda dimension genom en enkel matrismultiplikation. Bildens position anges med en faktoriserad koordinatuppslagning med separata X- och Y-matriser .
• Ljud: Rått ljud med en samplingsfrekvens på 16 kHz delas upp i 40 millisekunders segment, där varje segment innehåller 640 flyttal. Segmenten projiceras linjärt till modellens inmatningsutrymme, utan de 12 conformer-lager som används i andra Gemma 4-varianter .
• Finjustering: Eftersom text, bild och ljud hanteras genom enkla projektioner som delar språkmodellens kärnvikt kan hela modellen finjusteras i ett sammanhängande flöde. Det stöds bland annat i Hugging Face Transformers och Unsloth, med både LoRA och finjustering av alla vikter .

Resultatet är en modell med ett kontextfönster på upp till 256 000 token som kan ta emot text, bilder, ljud och video utan en separat encoder-pipeline .

Benchmarkresultat: mindre modell, större kliv

Enligt Googles officiella modellkort presterar Gemma 4 12B Unified betydligt bättre än den större Gemma 3 27B i flera tester av resonemang, matematik, programmering och multimodal förståelse .

Särskilt anmärkningsvärt är resultatet på GPQA Diamond, ett test med frågor på avancerad universitets- och forskarnivå inom bland annat biologi, fysik och kemi. Där är skillnaden mot Gemma 3 27B 36,4 procentenheter. Även AIME-resultatet innebär ett kraftigt lyft jämfört med föregångaren .

Benchmarkerna visar inte att modellen är bäst på alla uppgifter, men de pekar på en tydlig avvägning: Google har minskat den multimodala kringutrustningen utan att samtidigt behöva ge upp modellens förmåga till resonemang och kodning.

Öppen licens och stöd för lokal körning

Gemma 4 12B släpptes med öppna vikter under den kommersiellt tillåtande Apache 2.0-licensen, både som förtränad modell och som instruktionsfinjusterad variant . Hårdvarumålet är omkring 16 GB VRAM eller delat minne, vilket placerar modellen inom räckhåll för många moderna konsumentlaptops .

Modellen fick dessutom stöd i flera lokala inferensverktyg redan vid lanseringen:

• llama.cpp: GGUF-kvantiserade versioner för effektiv körning på CPU och GPU .
• Ollama: Enkel distribution med ett kommando på macOS och Linux; version 0.20 eller senare krävs .
• LM Studio: Grafiskt skrivbordsverktyg för att hitta och köra lokala modeller .
• MLX: Inbyggt stöd för Apples Silicon-plattform och dess delade minnesarkitektur .
• vLLM: Stöd för serverdrift med hög genomströmning på GPU och TPU .
• Unsloth: Optimerade kvantiserade modeller och verktyg för lokal körning samt finjustering i Unsloth Studio på macOS, Windows och Linux .

Det breda ekosystemstödet är viktigt i praktiken. En modell kan vara tekniskt öppen, men blir betydligt mer användbar om utvecklare kan köra den i de verktyg de redan använder.

Gemma Chat visar vad lokal multimodal AI kan göra

Samtidigt som Gemma 4 12B lanserades lyftes den separata open source-applikationen Gemma Chat fram som ett konkret exempel på lokal AI. Appen är byggd med Electron av Google-designern Ammar Reshi och distribueras under MIT-licensen .

Gemma Chat kör Gemma-modeller lokalt på Apple Silicon via Apples MLX-ramverk. Efter den första nedladdningen behövs inga API-nycklar, molntjänster eller internetanslutning för själva körningen .

Den mest iögonfallande funktionen är Build Mode, ett kodagentläge där användaren beskriver vad som ska byggas med vanligt språk. Modellen genererar sedan HTML, CSS och JavaScript för projekt med flera filer, samtidigt som resultatet strömmas till en liveförhandsvisning. Appen har även stöd för röstinmatning och använder XML-baserade instruktioner för strukturerade verktygsanrop, vilket enligt den bakomliggande rapporteringen har fungerat bättre än JSON för den här typen av modeller .

Gemma Chat lanserades ursprungligen omkring april 2026 med andra Gemma 4-varianter. Med stöd för den nya encoder-fria 12B-modellen blir den också ett exempel på hur Googles större multimodala modell kan användas i en lokal, offlinebaserad utvecklingsmiljö .