Na czym polega architektura bez encoderów?

W klasycznym układzie multimodalnym osobny encoder wizji analizuje fragmenty obrazu, a encoder audio zajmuje się sygnałem dźwiękowym. Dopiero przetworzone reprezentacje trafiają do LLM-a. Gemma 4 12B usuwa te pośrednie etapy i scala obsługę wszystkich modalności w głównym korpusie modelu .

Zamiast rozbudowanych modułów wykorzystuje lekkie projekcje, które mapują dane wejściowe do przestrzeni osadzeń modelu językowego:

• Obrazy: kompaktowy embedder o wielkości 35 mln parametrów zastępuje pełny, 27-warstwowy vision transformer. Fragmenty obrazu o rozmiarze 48 × 48 pikseli są przekształcane do wymiaru ukrytego LLM-a za pomocą prostego mnożenia macierzy. Informacja o położeniu jest dodawana przez rozłożony na dwie osie mechanizm współrzędnych — osobne macierze X i Y — bez wyuczanych embeddingów pozycyjnych dla fragmentów obrazu .
• Audio: surowy sygnał o częstotliwości 16 kHz dzielony jest na ramki trwające 40 ms. Każda z nich zawiera 640 wartości zmiennoprzecinkowych, które następnie są liniowo rzutowane do przestrzeni wejściowej LLM-a. Model omija w ten sposób 12 warstw conformera stosowanych w innych wariantach Gemma 4 .
• Dostrajanie: ponieważ tekst, obraz i dźwięk są obsługiwane przez proste projekcje współpracujące z tym samym rdzeniem modelu, cały system można dostrajać w jednym przebiegu. Dotyczy to zarówno metod LoRA, jak i dostrajania pełnych wag, m.in. z użyciem Hugging Face Transformers lub Unsloth .

Efektem jest jeden transformer z oknem kontekstowym do 256 tys. tokenów, który natywnie przyjmuje tekst, obrazy, audio i wideo . Z punktu widzenia użytkownika oznacza to mniej elementów do skonfigurowania i potencjalnie mniejsze opóźnienia niż w wieloetapowym potoku z osobnymi encoderami.

Wyniki: mniejszy model wyprzedza większego poprzednika

Wyniki przedstawione w oficjalnej karcie modelu Gemma 4 są szczególnie interesujące, ponieważ 12-miliardowy model wypada lepiej od większej, 27-miliardowej Gemmy 3 w szeregu testów rozumowania, programowania i analizy multimodalnej .

Najmocniej wyróżnia się wynik 78,8% w GPQA Diamond, czyli teście obejmującym trudne pytania z biologii, fizyki i chemii. To o 36,4 punktu procentowego więcej niż w przypadku Gemmy 3 27B. W AIME 2026 poprawa również jest bardzo duża: 77,5% wobec 20,8% .

Same benchmarki nie gwarantują oczywiście, że model będzie najlepszym wyborem w każdym zastosowaniu. Pokazują jednak, że usunięcie osobnych encoderów nie musi oznaczać rezygnacji z jakości rozumowania ani zdolności multimodalnych.

Apache 2.0 i uruchamianie lokalne

Gemma 4 12B została wydana z otwartymi wagami na licencji Apache 2.0, zarówno w wersji bazowej, jak i dostrojonej do wykonywania instrukcji . To licencja pozwalająca na szerokie zastosowania komercyjne, z zachowaniem warunków określonych w jej treści.

Model projektowano z myślą o działaniu w budżecie około 16 GB VRAM lub pamięci współdzielonej, co otwiera drogę do lokalnych eksperymentów na laptopach i innych urządzeniach konsumenckich . W dniu premiery był dostępny w popularnych narzędziach do uruchamiania modeli:

• llama.cpp — obsługa wersji skwantyzowanych GGUF do wydajnego działania na CPU i GPU ;
• Ollama — proste wdrażanie z poziomu terminala, w wersji 0.20 lub nowszej ;
• LM Studio — graficzny interfejs do wyszukiwania i uruchamiania modeli lokalnych ;
• MLX — natywne wsparcie dla układów Apple Silicon i ich pamięci współdzielonej ;
• vLLM — rozwiązanie przeznaczone do serwowania modeli z dużą przepustowością na GPU i TPU ;
• Unsloth — zoptymalizowane kwantyzacje oraz narzędzia do uruchamiania i dostrajania modeli w Unsloth Studio na macOS, Windowsie i Linuksie .

Tak szeroki ekosystem od pierwszego dnia ma praktyczne znaczenie. Użytkownik nie musi czekać na integrację modelu z podstawowym narzędziem, a deweloper może szybciej przejść od pobrania wag do testowania własnej aplikacji.

Gemma Chat: lokalny agent do tworzenia kodu

Premierze modelu towarzyszy Gemma Chat — osobna, otwartoźródłowa aplikacja desktopowa zbudowana w Electronie przez projektanta Google Ammara Reshiego. Program jest dostępny na GitHubie i korzysta z licencji MIT .

Gemma Chat uruchamia modele Gemma lokalnie na komputerach Apple Silicon za pośrednictwem frameworka MLX. Po pobraniu modelu nie wymaga kluczy API, usług chmurowych ani stałego połączenia z internetem .

Najciekawszą funkcją jest Build Mode, czyli tryb agenta programistycznego. Użytkownik opisuje w zwykłym języku, co chce zbudować, a model generuje kod HTML, CSS i JavaScript — także dla projektów składających się z wielu plików. Wynik pojawia się strumieniowo w panelu z podglądem na żywo. Aplikacja obsługuje również wprowadzanie głosowe i wykorzystuje prompty XML do uporządkowanych wywołań narzędzi, co w tej klasie modeli ma być bardziej niezawodne niż format JSON .

Gemma Chat pojawiła się jeszcze przed premierą Gemmy 4 12B, początkowo obsługując inne warianty rodziny Gemma 4. Po wydaniu nowego modelu aplikacja może korzystać także z jego encoder-free wersji 12B, oferując lokalne środowisko do prototypowania i nauki programowania .

Co ta premiera oznacza w praktyce?

Gemma 4 12B nie próbuje konkurować wyłącznie liczbą parametrów. Google stawia na połączenie trzech cech: obsługi wielu typów danych, działania na lokalnym sprzęcie i uproszczonej architektury. Jeśli model rzeczywiście działa płynnie w założonym budżecie pamięci, użytkownik może analizować obrazy i dźwięk, eksperymentować z agentami oraz generować kod bez wysyłania danych do zewnętrznej chmury.

To szczególnie interesujący kierunek dla deweloperów, edukacji i prototypowania. Największym testem pozostanie jednak nie sama tabela wyników, lecz jakość działania na konkretnym laptopie, po kwantyzacji i w rzeczywistych, dłuższych zadaniach.

Na czym polega architektura bez encoderów?

W klasycznym układzie multimodalnym osobny encoder wizji analizuje fragmenty obrazu, a encoder audio zajmuje się sygnałem dźwiękowym. Dopiero przetworzone reprezentacje trafiają do LLM-a. Gemma 4 12B usuwa te pośrednie etapy i scala obsługę wszystkich modalności w głównym korpusie modelu .

Zamiast rozbudowanych modułów wykorzystuje lekkie projekcje, które mapują dane wejściowe do przestrzeni osadzeń modelu językowego:

• Obrazy: kompaktowy embedder o wielkości 35 mln parametrów zastępuje pełny, 27-warstwowy vision transformer. Fragmenty obrazu o rozmiarze 48 × 48 pikseli są przekształcane do wymiaru ukrytego LLM-a za pomocą prostego mnożenia macierzy. Informacja o położeniu jest dodawana przez rozłożony na dwie osie mechanizm współrzędnych — osobne macierze X i Y — bez wyuczanych embeddingów pozycyjnych dla fragmentów obrazu .
• Audio: surowy sygnał o częstotliwości 16 kHz dzielony jest na ramki trwające 40 ms. Każda z nich zawiera 640 wartości zmiennoprzecinkowych, które następnie są liniowo rzutowane do przestrzeni wejściowej LLM-a. Model omija w ten sposób 12 warstw conformera stosowanych w innych wariantach Gemma 4 .
• Dostrajanie: ponieważ tekst, obraz i dźwięk są obsługiwane przez proste projekcje współpracujące z tym samym rdzeniem modelu, cały system można dostrajać w jednym przebiegu. Dotyczy to zarówno metod LoRA, jak i dostrajania pełnych wag, m.in. z użyciem Hugging Face Transformers lub Unsloth .

Efektem jest jeden transformer z oknem kontekstowym do 256 tys. tokenów, który natywnie przyjmuje tekst, obrazy, audio i wideo . Z punktu widzenia użytkownika oznacza to mniej elementów do skonfigurowania i potencjalnie mniejsze opóźnienia niż w wieloetapowym potoku z osobnymi encoderami.

Wyniki: mniejszy model wyprzedza większego poprzednika

Wyniki przedstawione w oficjalnej karcie modelu Gemma 4 są szczególnie interesujące, ponieważ 12-miliardowy model wypada lepiej od większej, 27-miliardowej Gemmy 3 w szeregu testów rozumowania, programowania i analizy multimodalnej .

Najmocniej wyróżnia się wynik 78,8% w GPQA Diamond, czyli teście obejmującym trudne pytania z biologii, fizyki i chemii. To o 36,4 punktu procentowego więcej niż w przypadku Gemmy 3 27B. W AIME 2026 poprawa również jest bardzo duża: 77,5% wobec 20,8% .

Same benchmarki nie gwarantują oczywiście, że model będzie najlepszym wyborem w każdym zastosowaniu. Pokazują jednak, że usunięcie osobnych encoderów nie musi oznaczać rezygnacji z jakości rozumowania ani zdolności multimodalnych.

Apache 2.0 i uruchamianie lokalne

Gemma 4 12B została wydana z otwartymi wagami na licencji Apache 2.0, zarówno w wersji bazowej, jak i dostrojonej do wykonywania instrukcji . To licencja pozwalająca na szerokie zastosowania komercyjne, z zachowaniem warunków określonych w jej treści.

Model projektowano z myślą o działaniu w budżecie około 16 GB VRAM lub pamięci współdzielonej, co otwiera drogę do lokalnych eksperymentów na laptopach i innych urządzeniach konsumenckich . W dniu premiery był dostępny w popularnych narzędziach do uruchamiania modeli:

• llama.cpp — obsługa wersji skwantyzowanych GGUF do wydajnego działania na CPU i GPU ;
• Ollama — proste wdrażanie z poziomu terminala, w wersji 0.20 lub nowszej ;
• LM Studio — graficzny interfejs do wyszukiwania i uruchamiania modeli lokalnych ;
• MLX — natywne wsparcie dla układów Apple Silicon i ich pamięci współdzielonej ;
• vLLM — rozwiązanie przeznaczone do serwowania modeli z dużą przepustowością na GPU i TPU ;
• Unsloth — zoptymalizowane kwantyzacje oraz narzędzia do uruchamiania i dostrajania modeli w Unsloth Studio na macOS, Windowsie i Linuksie .

Tak szeroki ekosystem od pierwszego dnia ma praktyczne znaczenie. Użytkownik nie musi czekać na integrację modelu z podstawowym narzędziem, a deweloper może szybciej przejść od pobrania wag do testowania własnej aplikacji.

Gemma Chat: lokalny agent do tworzenia kodu

Premierze modelu towarzyszy Gemma Chat — osobna, otwartoźródłowa aplikacja desktopowa zbudowana w Electronie przez projektanta Google Ammara Reshiego. Program jest dostępny na GitHubie i korzysta z licencji MIT .

Gemma Chat uruchamia modele Gemma lokalnie na komputerach Apple Silicon za pośrednictwem frameworka MLX. Po pobraniu modelu nie wymaga kluczy API, usług chmurowych ani stałego połączenia z internetem .

Najciekawszą funkcją jest Build Mode, czyli tryb agenta programistycznego. Użytkownik opisuje w zwykłym języku, co chce zbudować, a model generuje kod HTML, CSS i JavaScript — także dla projektów składających się z wielu plików. Wynik pojawia się strumieniowo w panelu z podglądem na żywo. Aplikacja obsługuje również wprowadzanie głosowe i wykorzystuje prompty XML do uporządkowanych wywołań narzędzi, co w tej klasie modeli ma być bardziej niezawodne niż format JSON .

Gemma Chat pojawiła się jeszcze przed premierą Gemmy 4 12B, początkowo obsługując inne warianty rodziny Gemma 4. Po wydaniu nowego modelu aplikacja może korzystać także z jego encoder-free wersji 12B, oferując lokalne środowisko do prototypowania i nauki programowania .

Co ta premiera oznacza w praktyce?

Gemma 4 12B nie próbuje konkurować wyłącznie liczbą parametrów. Google stawia na połączenie trzech cech: obsługi wielu typów danych, działania na lokalnym sprzęcie i uproszczonej architektury. Jeśli model rzeczywiście działa płynnie w założonym budżecie pamięci, użytkownik może analizować obrazy i dźwięk, eksperymentować z agentami oraz generować kod bez wysyłania danych do zewnętrznej chmury.

To szczególnie interesujący kierunek dla deweloperów, edukacji i prototypowania. Największym testem pozostanie jednak nie sama tabela wyników, lecz jakość działania na konkretnym laptopie, po kwantyzacji i w rzeczywistych, dłuższych zadaniach.