深入无编码器统一架构

传统多模态模型采用一种串行流水线架构：一个拥有约1.5亿至5.5亿参数的冻结视觉编码器先处理图像块，另一个约3亿参数的音频编码器分析声音，然后语言模型（LLM）再接收这些处理过的表征。Gemma 4 12B则完全移除了这些中间环节，将所有处理过程统一到LLM的主干网络（LLM backbone）中。

这种无编码器方法使用轻量级的线性投影（linear projections）将原始输入直接映射到LLM的嵌入空间：

• 视觉方面： 一个仅有3500万参数的紧凑型嵌入器取代了完整的27层视觉Transformer。原始48x48像素的图像块通过简单的矩阵乘法映射到LLM的隐藏维度。位置信息则通过一个分解的坐标查找表（使用独立的X和Y矩阵）注入，从而省去了为图像块学习位置嵌入的步骤。
• 音频方面： 原始16kHz的音频信号被分割成40毫秒的帧，每帧包含640个浮点数值。这些帧被线性投影到LLM的输入空间，绕过了Gemma 4其他变体中使用的12个Conformer层。
• 微调方面： 由于所有模态的输入都由共享LLM核心权重的简单线性投影处理，因此整个模型可以通过标准的框架（如Hugging Face Transformers或Unsloth）在一次统一的训练流程中完成微调，并同时支持LoRA和全权重微调。

最终成果是一个拥有256K token上下文长度的模型，能够原生处理文本、图像、音频和视频，而无需多级编码器流水线带来的延迟和架构复杂性。

基准测试：小模型，大成果

根据谷歌官方模型卡中记录的基准测试分数，Gemma 4 12B展现了显著的效率提升。这款120亿参数的模型不仅在同一量级的模型中表现出色，更在一系列高难度的推理和多模态测试中，大幅超越了上一代旗舰——拥有270亿参数的Gemma 3 27B。

GPQA Diamond是一项测试研究生级别科学知识的基准，Gemma 4 12B在此取得的78.8%得分尤为引人注目——相比上一代旗舰提升了36.4个百分点。AIME 2026数学测试的分数也显示了近4倍的提升。这些结果验证了：移除编码器栈并没有牺牲模型智能，反而似乎让智能变得更加精简高效。

可用性、许可与首日生态

Gemma 4 12B以开放权重形式发布，采用商业友好的Apache 2.0许可证，提供预训练和指令微调两种变体。其实际设计目标是适配16GB VRAM/统一内存，使其能够在标准的消费级笔记本电脑上真正运行。

该模型在发布首日即获得了广大本地推理引擎生态系统的支持，这是开发者采纳的关键因素：

• llama.cpp： 首日即提供GGUF量化版本，用于高效的CPU和GPU推理。
• Ollama (v0.20+)： 为macOS和Linux提供简单的一键部署体验。
• LM Studio： 一个易于使用的桌面UI，用于发现和运行本地模型。
• MLX： 原生支持Apple Silicon硬件，充分利用其统一内存架构。
• vLLM： 已准备好用于高吞吐量的GPU和TPU服务。
• Unsloth： 提供优化的静态量化和微调功能，通过其开源Studio UI支持macOS、Windows和Linux。

Gemma Chat：桌面级本地编程助手

与模型一同发布的，还有一款名为Gemma Chat的独立开源桌面应用，它为本地多模态AI的能力提供了一个具体且用户友好的展示。该应用由谷歌设计师Ammar Reshi开发，采用MIT许可证，代码托管在GitHub上。

Gemma Chat通过MLX框架在Apple Silicon上完全本地运行Gemma 4模型，这意味着首次下载后，无需任何API密钥、云服务或网络连接。其主打功能是“构建模式”编程智能体（Build Mode）。在此模式下，用户只需用自然语言描述需求，模型便会生成HTML、CSS和JavaScript代码，甚至创建多文件项目，并将输出实时流式传输到实时预览面板。该应用还支持语音输入进行对话式交互，并使用XML提示方式进行结构化工具调用，实践证明，对于此类模型，XML比JSON更可靠。

这款应用最初于2026年4月左右针对其他Gemma 4变体发布，现在可以运行新的无编码器12B模型，为原型设计和学习提供了一个完全离线、本地优先的开发环境。

深入无编码器统一架构

传统多模态模型采用一种串行流水线架构：一个拥有约1.5亿至5.5亿参数的冻结视觉编码器先处理图像块，另一个约3亿参数的音频编码器分析声音，然后语言模型（LLM）再接收这些处理过的表征。Gemma 4 12B则完全移除了这些中间环节，将所有处理过程统一到LLM的主干网络（LLM backbone）中。

这种无编码器方法使用轻量级的线性投影（linear projections）将原始输入直接映射到LLM的嵌入空间：

• 视觉方面： 一个仅有3500万参数的紧凑型嵌入器取代了完整的27层视觉Transformer。原始48x48像素的图像块通过简单的矩阵乘法映射到LLM的隐藏维度。位置信息则通过一个分解的坐标查找表（使用独立的X和Y矩阵）注入，从而省去了为图像块学习位置嵌入的步骤。
• 音频方面： 原始16kHz的音频信号被分割成40毫秒的帧，每帧包含640个浮点数值。这些帧被线性投影到LLM的输入空间，绕过了Gemma 4其他变体中使用的12个Conformer层。
• 微调方面： 由于所有模态的输入都由共享LLM核心权重的简单线性投影处理，因此整个模型可以通过标准的框架（如Hugging Face Transformers或Unsloth）在一次统一的训练流程中完成微调，并同时支持LoRA和全权重微调。

最终成果是一个拥有256K token上下文长度的模型，能够原生处理文本、图像、音频和视频，而无需多级编码器流水线带来的延迟和架构复杂性。

基准测试：小模型，大成果

根据谷歌官方模型卡中记录的基准测试分数，Gemma 4 12B展现了显著的效率提升。这款120亿参数的模型不仅在同一量级的模型中表现出色，更在一系列高难度的推理和多模态测试中，大幅超越了上一代旗舰——拥有270亿参数的Gemma 3 27B。

GPQA Diamond是一项测试研究生级别科学知识的基准，Gemma 4 12B在此取得的78.8%得分尤为引人注目——相比上一代旗舰提升了36.4个百分点。AIME 2026数学测试的分数也显示了近4倍的提升。这些结果验证了：移除编码器栈并没有牺牲模型智能，反而似乎让智能变得更加精简高效。

可用性、许可与首日生态

Gemma 4 12B以开放权重形式发布，采用商业友好的Apache 2.0许可证，提供预训练和指令微调两种变体。其实际设计目标是适配16GB VRAM/统一内存，使其能够在标准的消费级笔记本电脑上真正运行。

该模型在发布首日即获得了广大本地推理引擎生态系统的支持，这是开发者采纳的关键因素：

• llama.cpp： 首日即提供GGUF量化版本，用于高效的CPU和GPU推理。
• Ollama (v0.20+)： 为macOS和Linux提供简单的一键部署体验。
• LM Studio： 一个易于使用的桌面UI，用于发现和运行本地模型。
• MLX： 原生支持Apple Silicon硬件，充分利用其统一内存架构。
• vLLM： 已准备好用于高吞吐量的GPU和TPU服务。
• Unsloth： 提供优化的静态量化和微调功能，通过其开源Studio UI支持macOS、Windows和Linux。

Gemma Chat：桌面级本地编程助手

与模型一同发布的，还有一款名为Gemma Chat的独立开源桌面应用，它为本地多模态AI的能力提供了一个具体且用户友好的展示。该应用由谷歌设计师Ammar Reshi开发，采用MIT许可证，代码托管在GitHub上。

Gemma Chat通过MLX框架在Apple Silicon上完全本地运行Gemma 4模型，这意味着首次下载后，无需任何API密钥、云服务或网络连接。其主打功能是“构建模式”编程智能体（Build Mode）。在此模式下，用户只需用自然语言描述需求，模型便会生成HTML、CSS和JavaScript代码，甚至创建多文件项目，并将输出实时流式传输到实时预览面板。该应用还支持语音输入进行对话式交互，并使用XML提示方式进行结构化工具调用，实践证明，对于此类模型，XML比JSON更可靠。

这款应用最初于2026年4月左右针对其他Gemma 4变体发布，现在可以运行新的无编码器12B模型，为原型设计和学习提供了一个完全离线、本地优先的开发环境。