Внутри «бескодировочной» архитектуры

Традиционные мультимодальные модели (например, конкуренты) используют последовательный пайплайн: сначала отдельный кодировщик изображений (на ~150–550 млн параметров) обрабатывает патчи картинки, а отдельный аудиокодировщик (на ~300 млн параметров) анализирует звук, и только потом эти «переработанные» данные поступают в большую языковую модель. Gemma 4 12B полностью устраняет эти промежуточные этапы .

Вместо этого используются лёгкие проекционные слои, которые преобразуют входные данные напрямую в пространство эмбеддингов большой языковой модели (LLM):

• Для зрения: компактный модуль на 35 миллионов параметров заменяет полноценный 27-слойный визионный трансформер. Сырые патчи изображения размером 48×48 пикселей отображаются во внутреннюю размерность LLM через простое матричное умножение. Информация о позиции (координаты) добавляется с помощью факторизованного поиска по отдельным матрицам X и Y, что позволяет отказаться от обучаемых позиционных эмбеддингов .
• Для аудио: сырые аудиосигналы с частотой 16 кГц делятся на фрагменты по 40 миллисекунд (каждый содержит 640 чисел с плавающей точкой), которые затем линейно проецируются во входное пространство LLM — в обход 12 слоёв конформера, используемых в других версиях Gemma 4 .
• Для тонкой настройки: так как все входные модальности обрабатываются простыми линейными проекциями, использующими общие веса LLM, модель можно дообучать за один унифицированный проход, используя стандартные инструменты вроде Hugging Face Transformers или Unsloth с поддержкой LoRA .

Результат — модель с контекстом в 256 000 токенов, которая «из коробки» обрабатывает текст, изображения, аудио и видео без задержек и архитектурной сложности многоэтапных кодировщиков .

Бенчмарки: маленькая модель — большие результаты

Официальная карточка модели демонстрирует значительный скачок эффективности. Модель на 12 млрд параметров не просто конкурирует с моделями своего класса — она существенно превосходит гораздо более крупную Gemma 3 27B по целому ряду сложных тестов на логику и мультимодальность .

Особенно впечатляет результат в 78,8% на GPQA Diamond — тесте на знания уровня выпускника вуза. Это на 36,4 процентных пункта больше, чем у прошлого флагмана. А результат по математике AIME 2026 (77,5%) показывает почти четырёхкратное улучшение. Очевидно, что отказ от стека кодировщиков не только не навредил «интеллекту» модели, но и сделал его более эффективным .

Доступность, лицензирование и экосистема с первого дня

Gemma 4 12B вышла с открытыми весами под коммерчески дружественной лицензией Apache 2.0 в двух вариантах: предварительно обученном (pre-trained) и настроенном под инструкции (instruction-tuned) . Модель спроектирована так, чтобы работать в рамках бюджета в 16 ГБ объединённой памяти, то есть быть реально функциональной на обычных потребительских ноутбуках и MacBook .

С первого дня модель получила поддержку широкой экосистемы локальных движков для вывода (инференса), что критически важно для разработчиков :

• llama.cpp: квантизованные версии GGUF были доступны в день выхода для эффективного запуска на CPU и GPU .
• Ollama (v0.20+): развёртывание одной командой на macOS и Linux .
• LM Studio: удобный десктопный интерфейс для поиска и запуска локальных моделей .
• MLX: нативная поддержка для устройств на Apple Silicon, использующая их унифицированную архитектуру памяти .
• vLLM: готовность для высокопроизводительной работы на GPU и TPU .
• Unsloth: оптимизированные статические квантизации и возможности дообучения через открытый вебинтерфейс Unsloth Studio с поддержкой macOS, Windows и Linux .

Gemma Chat: десктопный кодинг-агент для оффлайн-работы

Вместе с моделью вышло отдельное десктопное приложение с открытым кодом — Gemma Chat, которое наглядно демонстрирует, на что способен локальный мультимодальный ИИ. Приложение написано дизайнером Google Аммаром Реши (Ammar Reshi), распространяется под лицензией MIT и построено на фреймворке Electron .

Gemma Chat запускает модели Gemma 4 целиком локально на Apple Silicon через фреймворк MLX. Это значит, что после первоначальной загрузки приложению не нужны API-ключи, облачные сервисы или подключение к интернету. Главная функция — «Режим сборки» (Build Mode) — кодинг-агент. Пользователь просто описывает на естественном русском (или любом другом) языке, что хочет получить, а модель генерирует HTML, CSS и JavaScript для многофайловых проектов, выводя результат в режиме реального времени в окно предпросмотра .

Приложение поддерживает голосовой ввод для общения и использует XML-промптинг для структурированных вызовов инструментов (что оказалось надёжнее JSON для моделей этого класса). Gemma Chat, который изначально появился в апреле 2026 года для других вариантов Gemma 4, теперь может запускать и новую бескодировочную 12B-модель, предоставляя полностью автономную среду разработки для прототипирования и обучения .

Внутри «бескодировочной» архитектуры

Традиционные мультимодальные модели (например, конкуренты) используют последовательный пайплайн: сначала отдельный кодировщик изображений (на ~150–550 млн параметров) обрабатывает патчи картинки, а отдельный аудиокодировщик (на ~300 млн параметров) анализирует звук, и только потом эти «переработанные» данные поступают в большую языковую модель. Gemma 4 12B полностью устраняет эти промежуточные этапы .

Вместо этого используются лёгкие проекционные слои, которые преобразуют входные данные напрямую в пространство эмбеддингов большой языковой модели (LLM):

• Для зрения: компактный модуль на 35 миллионов параметров заменяет полноценный 27-слойный визионный трансформер. Сырые патчи изображения размером 48×48 пикселей отображаются во внутреннюю размерность LLM через простое матричное умножение. Информация о позиции (координаты) добавляется с помощью факторизованного поиска по отдельным матрицам X и Y, что позволяет отказаться от обучаемых позиционных эмбеддингов .
• Для аудио: сырые аудиосигналы с частотой 16 кГц делятся на фрагменты по 40 миллисекунд (каждый содержит 640 чисел с плавающей точкой), которые затем линейно проецируются во входное пространство LLM — в обход 12 слоёв конформера, используемых в других версиях Gemma 4 .
• Для тонкой настройки: так как все входные модальности обрабатываются простыми линейными проекциями, использующими общие веса LLM, модель можно дообучать за один унифицированный проход, используя стандартные инструменты вроде Hugging Face Transformers или Unsloth с поддержкой LoRA .

Результат — модель с контекстом в 256 000 токенов, которая «из коробки» обрабатывает текст, изображения, аудио и видео без задержек и архитектурной сложности многоэтапных кодировщиков .

Бенчмарки: маленькая модель — большие результаты

Официальная карточка модели демонстрирует значительный скачок эффективности. Модель на 12 млрд параметров не просто конкурирует с моделями своего класса — она существенно превосходит гораздо более крупную Gemma 3 27B по целому ряду сложных тестов на логику и мультимодальность .

Особенно впечатляет результат в 78,8% на GPQA Diamond — тесте на знания уровня выпускника вуза. Это на 36,4 процентных пункта больше, чем у прошлого флагмана. А результат по математике AIME 2026 (77,5%) показывает почти четырёхкратное улучшение. Очевидно, что отказ от стека кодировщиков не только не навредил «интеллекту» модели, но и сделал его более эффективным .

Доступность, лицензирование и экосистема с первого дня

Gemma 4 12B вышла с открытыми весами под коммерчески дружественной лицензией Apache 2.0 в двух вариантах: предварительно обученном (pre-trained) и настроенном под инструкции (instruction-tuned) . Модель спроектирована так, чтобы работать в рамках бюджета в 16 ГБ объединённой памяти, то есть быть реально функциональной на обычных потребительских ноутбуках и MacBook .

С первого дня модель получила поддержку широкой экосистемы локальных движков для вывода (инференса), что критически важно для разработчиков :

• llama.cpp: квантизованные версии GGUF были доступны в день выхода для эффективного запуска на CPU и GPU .
• Ollama (v0.20+): развёртывание одной командой на macOS и Linux .
• LM Studio: удобный десктопный интерфейс для поиска и запуска локальных моделей .
• MLX: нативная поддержка для устройств на Apple Silicon, использующая их унифицированную архитектуру памяти .
• vLLM: готовность для высокопроизводительной работы на GPU и TPU .
• Unsloth: оптимизированные статические квантизации и возможности дообучения через открытый вебинтерфейс Unsloth Studio с поддержкой macOS, Windows и Linux .

Gemma Chat: десктопный кодинг-агент для оффлайн-работы

Вместе с моделью вышло отдельное десктопное приложение с открытым кодом — Gemma Chat, которое наглядно демонстрирует, на что способен локальный мультимодальный ИИ. Приложение написано дизайнером Google Аммаром Реши (Ammar Reshi), распространяется под лицензией MIT и построено на фреймворке Electron .

Gemma Chat запускает модели Gemma 4 целиком локально на Apple Silicon через фреймворк MLX. Это значит, что после первоначальной загрузки приложению не нужны API-ключи, облачные сервисы или подключение к интернету. Главная функция — «Режим сборки» (Build Mode) — кодинг-агент. Пользователь просто описывает на естественном русском (или любом другом) языке, что хочет получить, а модель генерирует HTML, CSS и JavaScript для многофайловых проектов, выводя результат в режиме реального времени в окно предпросмотра .

Приложение поддерживает голосовой ввод для общения и использует XML-промптинг для структурированных вызовов инструментов (что оказалось надёжнее JSON для моделей этого класса). Gemma Chat, который изначально появился в апреле 2026 года для других вариантов Gemma 4, теперь может запускать и новую бескодировочную 12B-модель, предоставляя полностью автономную среду разработки для прототипирования и обучения .