Au cœur de l'architecture « Unified » sans encodeur

Les modèles multimodaux traditionnels utilisent un pipeline séquentiel. Un encodeur visuel figé, comptant environ 150 à 550 millions de paramètres, traite les patchs d'image, tandis qu'un encodeur audio séparé, souvent autour de 300 millions de paramètres, analyse le son. Le LLM reçoit ensuite ces représentations traitées. Gemma 4 12B supprime entièrement ces étapes intermédiaires, unifiant tout le traitement au sein du backbone du LLM .

Cette approche sans encodeur utilise des projections légères pour mapper les entrées brutes directement dans l'espace d'embedding du LLM :

• Pour la vision : Un embeddeur compact de 35 millions de paramètres remplace un transformer de vision complet de 27 couches. Les patchs d'image bruts de 48 × 48 pixels sont projetés vers la dimension cachée du LLM via une simple multiplication matricielle. Les informations de position sont injectées via une recherche de coordonnées factorisée utilisant des matrices X et Y séparées, éliminant le besoin d'embeddings de position appris pour les patchs d'image .
• Pour l'audio : Les signaux audio bruts à 16 kHz sont divisés en trames de 40 millisecondes, chacune contenant 640 valeurs en virgule flottante. Ces trames sont projetées linéairement dans l'espace d'entrée du LLM, contournant les 12 couches conformer présentes dans d'autres variantes de Gemma 4 .
• Pour le fine-tuning : Puisque toutes les entrées de modalités sont traitées par de simples projections linéaires qui partagent les poids centraux du LLM, le modèle entier peut être affiné en une seule passe unifiée en utilisant des frameworks standards comme Hugging Face Transformers ou Unsloth, avec le support du LoRA et du fine-tuning complet .

Le résultat est un modèle à contexte de 256 000 tokens qui traite nativement le texte, les images, l'audio et la vidéo sans la latence et la complexité architecturale d'un pipeline multi-encodeurs .

Performances : un petit modèle qui en impose

Les scores de benchmark du Gemma 4 12B, documentés dans la fiche technique officielle de Google, démontrent un bond significatif en efficacité. Le modèle 12B ne se contente pas de rivaliser avec des modèles de sa catégorie de taille ; il surpasse largement le Gemma 3 27B, pourtant deux fois plus gros, sur une série de tests de raisonnement et multimodaux exigeants .

Le score de 78,8 % sur GPQA Diamond, un test de connaissances scientifiques de niveau graduate, est particulièrement frappant - une augmentation de 36,4 points par rapport au modèle phare de la génération précédente. Le score AIME 2026 en mathématiques montre une amélioration quasi quadruple. Ces résultats valident que la suppression de la pile d'encodeurs n'a pas compromis l'intelligence ; elle semble l'avoir rationalisée .

Disponibilité, licence et écosystème

Gemma 4 12B a été publié avec des poids ouverts sous la licence Apache 2.0, dans des variantes pré-entraînées et optimisées pour les instructions . Son objectif pratique de conception est de tenir dans un budget de 16 Go de VRAM / mémoire unifiée, le rendant fonctionnel sur des PC portables standards .

Le modèle a été lancé avec un support immédiat sur un vaste écosystème de moteurs d'inférence locaux, un facteur crucial pour l'adoption par les développeurs :

• llama.cpp : Des versions quantifiées GGUF étaient disponibles dès le premier jour pour une inférence efficace sur CPU et GPU .
• Ollama (v0.20+) : Offre une expérience de déploiement simple en une commande pour macOS et Linux .
• LM Studio : Une interface de bureau facile à utiliser pour découvrir et exécuter des modèles locaux .
• MLX : Support natif pour les puces Apple Silicon, exploitant l'architecture de mémoire unifiée .
• vLLM : Prêt pour le service à haut débit sur GPU et TPU .
• Unsloth : Propose des quantifications statiques optimisées et des capacités de fine-tuning via une interface Studio open source, avec le support de macOS, Windows et Linux .

Gemma Chat : un agent de codage de bureau dédié

Parallèlement à la sortie du modèle, une application de bureau open source distincte appelée Gemma Chat offre une démonstration concrète et conviviale de ce que l'IA multimodale locale peut accomplir. Créée par le designer de Google Ammar Reshi et distribuée sous licence MIT, il s'agit d'une application basée sur Electron, disponible sur GitHub .

Gemma Chat exécute les modèles Gemma 4 entièrement en local sur Apple Silicon via le framework MLX, ce qui signifie qu'aucune clé API, service cloud ou connexion Internet n'est nécessaire après le téléchargement initial. Sa fonctionnalité phare est un agent de codage « Build Mode ». Dans ce mode, l'utilisateur décrit ce qu'il veut en langage naturel, et le modèle génère du HTML, du CSS et du JavaScript pour des projets multi-fichiers, en diffusant le résultat dans un aperçu en direct en temps réel. L'application prend également en charge l'entrée vocale pour les interactions parlées et utilise le prompting XML pour les appels d'outils structurés, qui s'est avéré plus fiable pour cette classe de modèles que le JSON .

L'application, initialement lancée autour d'avril 2026 pour d'autres variantes de Gemma 4, peut désormais exécuter le nouveau modèle 12B sans encodeur, offrant un environnement de développement entièrement hors ligne et local pour le prototypage et l'apprentissage .

Au cœur de l'architecture « Unified » sans encodeur

Les modèles multimodaux traditionnels utilisent un pipeline séquentiel. Un encodeur visuel figé, comptant environ 150 à 550 millions de paramètres, traite les patchs d'image, tandis qu'un encodeur audio séparé, souvent autour de 300 millions de paramètres, analyse le son. Le LLM reçoit ensuite ces représentations traitées. Gemma 4 12B supprime entièrement ces étapes intermédiaires, unifiant tout le traitement au sein du backbone du LLM .

Cette approche sans encodeur utilise des projections légères pour mapper les entrées brutes directement dans l'espace d'embedding du LLM :

• Pour la vision : Un embeddeur compact de 35 millions de paramètres remplace un transformer de vision complet de 27 couches. Les patchs d'image bruts de 48 × 48 pixels sont projetés vers la dimension cachée du LLM via une simple multiplication matricielle. Les informations de position sont injectées via une recherche de coordonnées factorisée utilisant des matrices X et Y séparées, éliminant le besoin d'embeddings de position appris pour les patchs d'image .
• Pour l'audio : Les signaux audio bruts à 16 kHz sont divisés en trames de 40 millisecondes, chacune contenant 640 valeurs en virgule flottante. Ces trames sont projetées linéairement dans l'espace d'entrée du LLM, contournant les 12 couches conformer présentes dans d'autres variantes de Gemma 4 .
• Pour le fine-tuning : Puisque toutes les entrées de modalités sont traitées par de simples projections linéaires qui partagent les poids centraux du LLM, le modèle entier peut être affiné en une seule passe unifiée en utilisant des frameworks standards comme Hugging Face Transformers ou Unsloth, avec le support du LoRA et du fine-tuning complet .

Le résultat est un modèle à contexte de 256 000 tokens qui traite nativement le texte, les images, l'audio et la vidéo sans la latence et la complexité architecturale d'un pipeline multi-encodeurs .

Performances : un petit modèle qui en impose

Les scores de benchmark du Gemma 4 12B, documentés dans la fiche technique officielle de Google, démontrent un bond significatif en efficacité. Le modèle 12B ne se contente pas de rivaliser avec des modèles de sa catégorie de taille ; il surpasse largement le Gemma 3 27B, pourtant deux fois plus gros, sur une série de tests de raisonnement et multimodaux exigeants .

Le score de 78,8 % sur GPQA Diamond, un test de connaissances scientifiques de niveau graduate, est particulièrement frappant - une augmentation de 36,4 points par rapport au modèle phare de la génération précédente. Le score AIME 2026 en mathématiques montre une amélioration quasi quadruple. Ces résultats valident que la suppression de la pile d'encodeurs n'a pas compromis l'intelligence ; elle semble l'avoir rationalisée .

Disponibilité, licence et écosystème

Gemma 4 12B a été publié avec des poids ouverts sous la licence Apache 2.0, dans des variantes pré-entraînées et optimisées pour les instructions . Son objectif pratique de conception est de tenir dans un budget de 16 Go de VRAM / mémoire unifiée, le rendant fonctionnel sur des PC portables standards .

Le modèle a été lancé avec un support immédiat sur un vaste écosystème de moteurs d'inférence locaux, un facteur crucial pour l'adoption par les développeurs :

• llama.cpp : Des versions quantifiées GGUF étaient disponibles dès le premier jour pour une inférence efficace sur CPU et GPU .
• Ollama (v0.20+) : Offre une expérience de déploiement simple en une commande pour macOS et Linux .
• LM Studio : Une interface de bureau facile à utiliser pour découvrir et exécuter des modèles locaux .
• MLX : Support natif pour les puces Apple Silicon, exploitant l'architecture de mémoire unifiée .
• vLLM : Prêt pour le service à haut débit sur GPU et TPU .
• Unsloth : Propose des quantifications statiques optimisées et des capacités de fine-tuning via une interface Studio open source, avec le support de macOS, Windows et Linux .

Gemma Chat : un agent de codage de bureau dédié

Parallèlement à la sortie du modèle, une application de bureau open source distincte appelée Gemma Chat offre une démonstration concrète et conviviale de ce que l'IA multimodale locale peut accomplir. Créée par le designer de Google Ammar Reshi et distribuée sous licence MIT, il s'agit d'une application basée sur Electron, disponible sur GitHub .

Gemma Chat exécute les modèles Gemma 4 entièrement en local sur Apple Silicon via le framework MLX, ce qui signifie qu'aucune clé API, service cloud ou connexion Internet n'est nécessaire après le téléchargement initial. Sa fonctionnalité phare est un agent de codage « Build Mode ». Dans ce mode, l'utilisateur décrit ce qu'il veut en langage naturel, et le modèle génère du HTML, du CSS et du JavaScript pour des projets multi-fichiers, en diffusant le résultat dans un aperçu en direct en temps réel. L'application prend également en charge l'entrée vocale pour les interactions parlées et utilise le prompting XML pour les appels d'outils structurés, qui s'est avéré plus fiable pour cette classe de modèles que le JSON .

L'application, initialement lancée autour d'avril 2026 pour d'autres variantes de Gemma 4, peut désormais exécuter le nouveau modèle 12B sans encodeur, offrant un environnement de développement entièrement hors ligne et local pour le prototypage et l'apprentissage .