Hvad betyder en encoder-fri arkitektur?

Mange multimodale modeller arbejder i flere trin. En separat billedencoder analyserer billedets patches, mens en lydencoder behandler lydsignalet. Først derefter sendes de bearbejdede repræsentationer videre til sprogmodellen.

Gemma 4 12B fjerner disse mellemled og samler behandlingen i selve sprogmodellens backbone . Det skal både reducere den multimodale latenstid og gøre den lokale implementering mindre kompleks.

Modellen bruger i stedet lette projektioner til at omsætte rå input til det format, som transformerens embeddings kan arbejde med:

• Billeder: En embedder på 35 millioner parametre erstatter en fuld vision-transformer med 27 lag. Rå billedpatches på 48 × 48 pixel projiceres til modellens skjulte dimension med en matrixmultiplikation. Positionsinformation tilføjes via et faktoriseret koordinatopslag med separate X- og Y-matricer .
• Lyd: Rå lyd ved 16 kHz opdeles i 40 millisekunders rammer med 640 flydende kommatal i hver. Rammerne projiceres lineært ind i modellens inputrum i stedet for at blive behandlet gennem de 12 conformer-lag, som bruges i andre Gemma 4-varianter .
• Finjustering: Tekst, billeder og lyd benytter den samme centrale model. Det gør det muligt at finjustere hele den multimodale model i ét samlet forløb med eksempelvis Hugging Face Transformers eller Unsloth – enten med LoRA eller med opdatering af alle modelvægte .

Resultatet er en model med et kontekstvindue på op til 256.000 tokens, som kan modtage tekst, billeder, lyd og video uden en separat encoderpipeline .

Benchmark: En mindre model med markant højere resultater

Googles officielle modelkort viser, at Gemma 4 12B Unified klarer sig stærkt sammenlignet med den større Gemma 3 27B .

Resultatet på GPQA Diamond er særligt bemærkelsesværdigt: 78,8 procent er 36,4 procentpoint højere end Gemma 3 27B. Også AIME-resultatet er næsten firedoblet sammenlignet med den tidligere model i denne sammenligning. Tallene tyder på, at fjernelsen af encoderlaget ikke har kostet modellen ræsonneringsevne – og i stedet kan have gjort den mere effektiv .

Benchmarkresultater er dog ikke det samme som oplevet hastighed i alle programmer. Den faktiske ydelse afhænger blandt andet af kvantisering, hardware, kontekstlængde og den valgte inference-motor.

Apache 2.0 og værktøjer til lokal kørsel

Gemma 4 12B blev udgivet med åbne modelvægte under den kommercielt tilladende Apache 2.0-licens, både som fortrænet model og som instruktionsfinjusteret variant . Den praktiske ambition er, at modellen skal kunne fungere inden for et budget på omkring 16 GB VRAM eller unified memory, hvilket gør den relevant for almindelige kraftige laptops .

Modellen havde samtidig understøttelse i en række udbredte værktøjer fra lanceringsdagen :

• llama.cpp: GGUF-kvantiserede versioner til effektiv kørsel på CPU og GPU.
• Ollama: En enkel måde at hente og starte lokale modeller på macOS og Linux. Gemma 4 kræver version 0.20 eller nyere.
• LM Studio: En grafisk desktopapp til at finde og køre lokale modeller.
• MLX: Native understøttelse af Apple Silicon og Apples unified-memory-arkitektur.
• vLLM: Et værktøj til høj gennemstrømning ved GPU- og TPU-servering.
• Unsloth: Optimerede kvantiseringer samt mulighed for lokal finjustering gennem Unsloth Studio på macOS, Windows og Linux .

Det brede økosystem er vigtigt for udviklere. En lokal model er først rigtig anvendelig, når den kan integreres i de værktøjer, man allerede bruger til test, prototyper, servering og finjustering.

Gemma Chat: Lokal kodeassistent på Mac

Sammen med modeløkosystemet findes den separate open source-desktopapp Gemma Chat, som er bygget af Google-designeren Ammar Reshi. Appen er udviklet med Electron og udgivet under MIT-licensen .

Gemma Chat kører Gemma-modeller lokalt på Apple Silicon via MLX. Efter den første modeldownload kræver den hverken API-nøgle, cloudtjeneste eller internetforbindelse .

Appens mest konkrete funktion er Build Mode, hvor brugeren beskriver et projekt i almindeligt sprog. Modellen genererer derefter HTML, CSS og JavaScript til projekter med flere filer, mens koden løbende vises i en liveforhåndsvisning. Appen understøtter også stemmeinput og bruger XML-prompts til strukturerede værktøjskald, hvilket ifølge beskrivelsen har vist sig mere pålideligt end JSON for denne type mindre modeller .

Gemma Chat blev oprindeligt lanceret omkring april 2026 med andre Gemma 4-varianter. Efter lanceringen af Gemma 4 12B kan appen også køre den nye encoder-fri model via MLX, så udviklere og nysgerrige brugere kan eksperimentere med multimodal AI og kodegenerering uden at sende data til en ekstern tjeneste .

Hvad betyder en encoder-fri arkitektur?

Mange multimodale modeller arbejder i flere trin. En separat billedencoder analyserer billedets patches, mens en lydencoder behandler lydsignalet. Først derefter sendes de bearbejdede repræsentationer videre til sprogmodellen.

Gemma 4 12B fjerner disse mellemled og samler behandlingen i selve sprogmodellens backbone . Det skal både reducere den multimodale latenstid og gøre den lokale implementering mindre kompleks.

Modellen bruger i stedet lette projektioner til at omsætte rå input til det format, som transformerens embeddings kan arbejde med:

• Billeder: En embedder på 35 millioner parametre erstatter en fuld vision-transformer med 27 lag. Rå billedpatches på 48 × 48 pixel projiceres til modellens skjulte dimension med en matrixmultiplikation. Positionsinformation tilføjes via et faktoriseret koordinatopslag med separate X- og Y-matricer .
• Lyd: Rå lyd ved 16 kHz opdeles i 40 millisekunders rammer med 640 flydende kommatal i hver. Rammerne projiceres lineært ind i modellens inputrum i stedet for at blive behandlet gennem de 12 conformer-lag, som bruges i andre Gemma 4-varianter .
• Finjustering: Tekst, billeder og lyd benytter den samme centrale model. Det gør det muligt at finjustere hele den multimodale model i ét samlet forløb med eksempelvis Hugging Face Transformers eller Unsloth – enten med LoRA eller med opdatering af alle modelvægte .

Resultatet er en model med et kontekstvindue på op til 256.000 tokens, som kan modtage tekst, billeder, lyd og video uden en separat encoderpipeline .

Benchmark: En mindre model med markant højere resultater

Googles officielle modelkort viser, at Gemma 4 12B Unified klarer sig stærkt sammenlignet med den større Gemma 3 27B .

Resultatet på GPQA Diamond er særligt bemærkelsesværdigt: 78,8 procent er 36,4 procentpoint højere end Gemma 3 27B. Også AIME-resultatet er næsten firedoblet sammenlignet med den tidligere model i denne sammenligning. Tallene tyder på, at fjernelsen af encoderlaget ikke har kostet modellen ræsonneringsevne – og i stedet kan have gjort den mere effektiv .

Benchmarkresultater er dog ikke det samme som oplevet hastighed i alle programmer. Den faktiske ydelse afhænger blandt andet af kvantisering, hardware, kontekstlængde og den valgte inference-motor.

Apache 2.0 og værktøjer til lokal kørsel

Gemma 4 12B blev udgivet med åbne modelvægte under den kommercielt tilladende Apache 2.0-licens, både som fortrænet model og som instruktionsfinjusteret variant . Den praktiske ambition er, at modellen skal kunne fungere inden for et budget på omkring 16 GB VRAM eller unified memory, hvilket gør den relevant for almindelige kraftige laptops .

Modellen havde samtidig understøttelse i en række udbredte værktøjer fra lanceringsdagen :

• llama.cpp: GGUF-kvantiserede versioner til effektiv kørsel på CPU og GPU.
• Ollama: En enkel måde at hente og starte lokale modeller på macOS og Linux. Gemma 4 kræver version 0.20 eller nyere.
• LM Studio: En grafisk desktopapp til at finde og køre lokale modeller.
• MLX: Native understøttelse af Apple Silicon og Apples unified-memory-arkitektur.
• vLLM: Et værktøj til høj gennemstrømning ved GPU- og TPU-servering.
• Unsloth: Optimerede kvantiseringer samt mulighed for lokal finjustering gennem Unsloth Studio på macOS, Windows og Linux .

Det brede økosystem er vigtigt for udviklere. En lokal model er først rigtig anvendelig, når den kan integreres i de værktøjer, man allerede bruger til test, prototyper, servering og finjustering.

Gemma Chat: Lokal kodeassistent på Mac

Sammen med modeløkosystemet findes den separate open source-desktopapp Gemma Chat, som er bygget af Google-designeren Ammar Reshi. Appen er udviklet med Electron og udgivet under MIT-licensen .

Gemma Chat kører Gemma-modeller lokalt på Apple Silicon via MLX. Efter den første modeldownload kræver den hverken API-nøgle, cloudtjeneste eller internetforbindelse .

Appens mest konkrete funktion er Build Mode, hvor brugeren beskriver et projekt i almindeligt sprog. Modellen genererer derefter HTML, CSS og JavaScript til projekter med flere filer, mens koden løbende vises i en liveforhåndsvisning. Appen understøtter også stemmeinput og bruger XML-prompts til strukturerede værktøjskald, hvilket ifølge beskrivelsen har vist sig mere pålideligt end JSON for denne type mindre modeller .

Gemma Chat blev oprindeligt lanceret omkring april 2026 med andre Gemma 4-varianter. Efter lanceringen af Gemma 4 12B kan appen også køre den nye encoder-fri model via MLX, så udviklere og nysgerrige brugere kan eksperimentere med multimodal AI og kodegenerering uden at sende data til en ekstern tjeneste .