Dentro de la arquitectura unificada sin codificadores

Los modelos multimodales tradicionales emplean un proceso secuencial. Un codificador de visión congelado, de aproximadamente 150 a 550 millones de parámetros, procesa parches de imagen, y un codificador de audio separado, a menudo de alrededor de 300 millones de parámetros, analiza el sonido. Luego, el LLM recibe estas representaciones procesadas. Gemma 4 12B elimina estas etapas intermedias por completo, unificando todo el procesamiento dentro de la columna vertebral del LLM .

Este enfoque sin codificadores utiliza proyecciones ligeras para mapear las entradas directamente al espacio de incrustación del LLM:

• Para la visión: Un incrustador compacto de 35 millones de parámetros reemplaza a un transformador de visión completo de 27 capas. Los parches de imagen sin procesar de 48x48 píxeles se mapean a la dimensión oculta del LLM mediante una simple multiplicación de matrices. La información posicional se inyecta a través de una búsqueda de coordenadas factorizada que utiliza matrices X e Y separadas, eliminando la necesidad de incrustaciones posicionales aprendidas para parches de imagen .
• Para el audio: Las señales de audio sin procesar de 16 kHz se dividen en tramas de 40 milisegundos, cada una con 640 valores de punto flotante. Estas tramas se proyectan linealmente en el espacio de entrada del LLM, sin pasar por las 12 capas de conformadores que se encuentran en otras variantes de Gemma 4 .
• Para el ajuste fino: Dado que todas las entradas de modalidad son manejadas por proyecciones lineales simples que comparten los pesos centrales del LLM, todo el modelo se puede ajustar en una sola pasada unificada utilizando marcos estándar como Hugging Face Transformers o Unsloth, con soporte tanto para LoRA como para el ajuste fino de pesos completos .

El resultado es un modelo con contexto de 256 mil tokens que procesa de forma nativa texto, imágenes, audio y vídeo sin la latencia y la complejidad arquitectónica de un proceso de codificador de múltiples etapas .

Rendimiento en benchmarks: un modelo pequeño, grandes resultados

Las puntuaciones de los benchmarks para Gemma 4 12B, documentadas en la ficha técnica oficial del modelo de Google, demuestran un salto significativo en eficiencia. El modelo de 12B no solo compite con modelos de su clase de tamaño, sino que supera sustancialmente al modelo más grande Gemma 3 27B en una serie de pruebas difíciles de razonamiento y multimodales .

La puntuación del 78,8 % en GPQA Diamond, una prueba de conocimiento científico de nivel de posgrado, es particularmente llamativa: un aumento de 36,4 puntos porcentuales con respecto al buque insignia de la generación anterior. La puntuación de AIME 2026 muestra igualmente una mejora de casi 4 veces. Estos resultados validan que la eliminación del conjunto de codificadores no comprometió la inteligencia; parece haberla optimizado .

Disponibilidad, licencia y ecosistema desde el primer día

Gemma 4 12B se lanzó con pesos abiertos bajo la licencia Apache 2.0, permisiva comercialmente, en variantes preentrenadas y ajustadas por instrucciones . Su objetivo de diseño práctico es caber dentro de un presupuesto de 16 GB de VRAM/memoria unificada, lo que lo hace funcional en portátiles de consumo estándar .

El modelo se lanzó con soporte inmediato desde el día cero en un amplio ecosistema de motores de inferencia locales, un factor crítico para la adopción por parte de los desarrolladores :

• llama.cpp: Las versiones cuantizadas GGUF estuvieron disponibles el primer día para una inferencia eficiente en CPU y GPU .
• Ollama (v0.20+): Proporciona una experiencia de implementación simple con un solo comando para macOS y Linux .
• LM Studio: Una interfaz de escritorio fácil de usar para descubrir y ejecutar modelos locales .
• MLX: Soporte nativo para hardware Apple Silicon, aprovechando la arquitectura de memoria unificada .
• vLLM: Listo para servir GPU y TPU de alto rendimiento .
• Unsloth: Ofrece cuantificaciones estáticas optimizadas y capacidades de ajuste fino a través de una interfaz de estudio de código abierto, compatible con macOS, Windows y Linux .

Gemma Chat: un agente de codificación de escritorio dedicado

Junto con el lanzamiento del modelo, una aplicación de escritorio de código abierto independiente llamada Gemma Chat proporciona una demostración concreta y fácil de usar de lo que la IA multimodal local puede lograr. Construida por el diseñador de Google Ammar Reshi y con licencia MIT, es una aplicación basada en Electron disponible en GitHub .

Gemma Chat ejecuta los modelos Gemma 4 completamente en local en Apple Silicon a través del marco MLX, lo que significa que no se necesitan claves API, servicios en la nube ni conexión a Internet después de la descarga inicial. Su función principal es un agente de codificación "Build Mode". En este modo, un usuario describe lo que quiere en lenguaje natural, y el modelo genera HTML, CSS y JavaScript para proyectos de varios archivos, transmitiendo la salida a un panel de vista previa en vivo en tiempo real. La aplicación también admite entrada de voz para interacciones habladas y utiliza indicaciones XML para llamadas a herramientas estructuradas, lo que ha demostrado ser más fiable que JSON para esta clase de modelos .

La aplicación, que se lanzó originalmente alrededor de abril de 2026 para otras variantes de Gemma 4, ahora puede ejecutar el nuevo modelo 12B sin codificadores, ofreciendo un entorno de desarrollo totalmente fuera de línea y local para la creación de prototipos y el aprendizaje .

Dentro de la arquitectura unificada sin codificadores

Los modelos multimodales tradicionales emplean un proceso secuencial. Un codificador de visión congelado, de aproximadamente 150 a 550 millones de parámetros, procesa parches de imagen, y un codificador de audio separado, a menudo de alrededor de 300 millones de parámetros, analiza el sonido. Luego, el LLM recibe estas representaciones procesadas. Gemma 4 12B elimina estas etapas intermedias por completo, unificando todo el procesamiento dentro de la columna vertebral del LLM .

Este enfoque sin codificadores utiliza proyecciones ligeras para mapear las entradas directamente al espacio de incrustación del LLM:

• Para la visión: Un incrustador compacto de 35 millones de parámetros reemplaza a un transformador de visión completo de 27 capas. Los parches de imagen sin procesar de 48x48 píxeles se mapean a la dimensión oculta del LLM mediante una simple multiplicación de matrices. La información posicional se inyecta a través de una búsqueda de coordenadas factorizada que utiliza matrices X e Y separadas, eliminando la necesidad de incrustaciones posicionales aprendidas para parches de imagen .
• Para el audio: Las señales de audio sin procesar de 16 kHz se dividen en tramas de 40 milisegundos, cada una con 640 valores de punto flotante. Estas tramas se proyectan linealmente en el espacio de entrada del LLM, sin pasar por las 12 capas de conformadores que se encuentran en otras variantes de Gemma 4 .
• Para el ajuste fino: Dado que todas las entradas de modalidad son manejadas por proyecciones lineales simples que comparten los pesos centrales del LLM, todo el modelo se puede ajustar en una sola pasada unificada utilizando marcos estándar como Hugging Face Transformers o Unsloth, con soporte tanto para LoRA como para el ajuste fino de pesos completos .

El resultado es un modelo con contexto de 256 mil tokens que procesa de forma nativa texto, imágenes, audio y vídeo sin la latencia y la complejidad arquitectónica de un proceso de codificador de múltiples etapas .

Rendimiento en benchmarks: un modelo pequeño, grandes resultados

Las puntuaciones de los benchmarks para Gemma 4 12B, documentadas en la ficha técnica oficial del modelo de Google, demuestran un salto significativo en eficiencia. El modelo de 12B no solo compite con modelos de su clase de tamaño, sino que supera sustancialmente al modelo más grande Gemma 3 27B en una serie de pruebas difíciles de razonamiento y multimodales .

La puntuación del 78,8 % en GPQA Diamond, una prueba de conocimiento científico de nivel de posgrado, es particularmente llamativa: un aumento de 36,4 puntos porcentuales con respecto al buque insignia de la generación anterior. La puntuación de AIME 2026 muestra igualmente una mejora de casi 4 veces. Estos resultados validan que la eliminación del conjunto de codificadores no comprometió la inteligencia; parece haberla optimizado .

Disponibilidad, licencia y ecosistema desde el primer día

Gemma 4 12B se lanzó con pesos abiertos bajo la licencia Apache 2.0, permisiva comercialmente, en variantes preentrenadas y ajustadas por instrucciones . Su objetivo de diseño práctico es caber dentro de un presupuesto de 16 GB de VRAM/memoria unificada, lo que lo hace funcional en portátiles de consumo estándar .

El modelo se lanzó con soporte inmediato desde el día cero en un amplio ecosistema de motores de inferencia locales, un factor crítico para la adopción por parte de los desarrolladores :

• llama.cpp: Las versiones cuantizadas GGUF estuvieron disponibles el primer día para una inferencia eficiente en CPU y GPU .
• Ollama (v0.20+): Proporciona una experiencia de implementación simple con un solo comando para macOS y Linux .
• LM Studio: Una interfaz de escritorio fácil de usar para descubrir y ejecutar modelos locales .
• MLX: Soporte nativo para hardware Apple Silicon, aprovechando la arquitectura de memoria unificada .
• vLLM: Listo para servir GPU y TPU de alto rendimiento .
• Unsloth: Ofrece cuantificaciones estáticas optimizadas y capacidades de ajuste fino a través de una interfaz de estudio de código abierto, compatible con macOS, Windows y Linux .

Gemma Chat: un agente de codificación de escritorio dedicado

Junto con el lanzamiento del modelo, una aplicación de escritorio de código abierto independiente llamada Gemma Chat proporciona una demostración concreta y fácil de usar de lo que la IA multimodal local puede lograr. Construida por el diseñador de Google Ammar Reshi y con licencia MIT, es una aplicación basada en Electron disponible en GitHub .

Gemma Chat ejecuta los modelos Gemma 4 completamente en local en Apple Silicon a través del marco MLX, lo que significa que no se necesitan claves API, servicios en la nube ni conexión a Internet después de la descarga inicial. Su función principal es un agente de codificación "Build Mode". En este modo, un usuario describe lo que quiere en lenguaje natural, y el modelo genera HTML, CSS y JavaScript para proyectos de varios archivos, transmitiendo la salida a un panel de vista previa en vivo en tiempo real. La aplicación también admite entrada de voz para interacciones habladas y utiliza indicaciones XML para llamadas a herramientas estructuradas, lo que ha demostrado ser más fiable que JSON para esta clase de modelos .

La aplicación, que se lanzó originalmente alrededor de abril de 2026 para otras variantes de Gemma 4, ahora puede ejecutar el nuevo modelo 12B sin codificadores, ofreciendo un entorno de desarrollo totalmente fuera de línea y local para la creación de prototipos y el aprendizaje .