エンコーダーレスUnifiedアーキテクチャの詳細

従来のマルチモーダルモデルは、入力処理を段階的に行うパイプライン方式を採用していました。画像認識には約1億5000万～5億5000万パラメータの視覚エンコーダーが、音声解析には約3億パラメータの音声エンコーダーがそれぞれ独立して存在し、それらの出力を後段のLLMが受け取っていました。Gemma 4 12Bは、こうした中間段階を全て排除し、すべての処理をLLMのバックボーン内で統一しました 。

このエンコーダーレスアプローチでは、入力をLLMの埋め込み空間に直接マッピングするために、以下のような軽量な射影機構が採用されています。

• 画像処理： 27層からなる巨大な視覚トランスフォーマーの代わりに、わずか3500万パラメータのコンパクトな埋め込みモジュールを採用。48×48ピクセルの画像パッチは、単純な行列積によってLLMの隠れ次元にマッピングされます。位置情報については、学習済みの位置埋め込みを用いる代わりに、X軸・Y軸の独立した行列による因数分解された座標ルックアップで注入されます 。
• 音声処理： 16kHzの生の音声信号は40ミリ秒のフレーム（640の浮動小数点値）に分割され、他のGemma 4バリアントに見られる12層のコンフォーマーレイヤーを経由せず、線形射影によって直接LLMの入力空間に投影されます 。
• ファインチューニング： すべてのモダリティ入力は単純な線形射影によって処理され、LLMのコアウェイトを共有するため、モデル全体をHugging Face TransformersやUnslothといった標準的なフレームワークで、LoRAあるいはフルウェイトのいずれでも、統一された単一パスでファインチューニングできます 。

この結果、テキスト、画像、音声、動画をネイティブに処理可能な256Kトークンのコンテキストモデルが、多段階エンコーダーパイプラインによるレイテンシーやアーキテクチャの複雑さなしに実現しました 。

ベンチマーク性能：小型モデルが生み出す大きな成果

Gemma 4 12Bのベンチマークスコアは、公式モデルカードに基づくと、効率性において著しい飛躍を示しています。この12Bモデルは、同サイズクラスのモデルと競合するだけでなく、前世代のフラッグシップであった270億パラメータのGemma 3 27Bを、複数の難易度の高い推論・マルチモーダルテストで大幅に上回っています 。

特に、大学院レベルの科学的知識を問うGPQA Diamondでの78.8%というスコアは際立っています。前世代のフラッグシップと比較して36.4ポイントもの向上であり、AIME 2026の数学スコアも約4倍の改善を示しています。これらの結果は、エンコーダースタックの排除が知能に妥協をもたらすどころか、むしろ効率化に貢献したことを明確に示しています 。

提供形態、ライセンス、初日からのエコシステム対応

Gemma 4 12Bは、Apache 2.0ライセンスのもと、オープンウェイトでプリトレーニング済みバリアントとインストラクションチューニング済みバリアントの両方が公開されています 。その実用的な設計目標は16GBのVRAM/ユニファイドメモリに収まることであり、標準的なコンシューマーノートPC上で真に機能することが確認されています 。

開発者にとって重要な要素として、本モデルは公開初日から以下の幅広いローカル推論エンジンに対応しました 。

• llama.cpp： GGUF量子化版が初日から利用可能で、CPU・GPU双方での効率的な推論を実現 。
• Ollama（v0.20以上）： macOSおよびLinux向けに、シンプルなワンコマンドでデプロイ可能 。
• LM Studio： ローカルモデルの検出・実行を容易にするデスクトップUI 。
• MLX： Apple Siliconハードウェアをネイティブサポート。ユニファイドメモリアーキテクチャを最大限活用 。
• vLLM： 高スループットなGPUおよびTPUサーブ用途に即応 。
• Unsloth： 最適化済み静的量子化モデルとファインチューニング機能を提供。オープンソースのStudio UIを通じてmacOS、Windows、Linuxに対応 。

Gemma Chat：専用デスクトップコーディングエージェントの登場

モデル公開と同時に、ローカルマルチモーダルAIの具体的かつユーザーフレンドリーなデモンストレーションとして、別途オープンソースのデスクトップアプリケーション「Gemma Chat」も公開されました。GoogleのデザイナーAmmar Reshi氏によって開発され、MITライセンスでGitHub上に公開されているElectronベースのアプリです 。

Gemma Chatは、AppleのMLXフレームワークを介してGemma 4モデルをApple Silicon上で完全にローカル実行します。つまり、初期ダウンロード以降はAPIキーやクラウドサービス、インターネット接続が一切不要です。主力機能は「Build Mode」と呼ばれるコーディングエージェントです。このモードでは、ユーザーがプレーンな言葉で作りたいものを説明すると、モデルがHTML、CSS、JavaScriptを生成し、複数ファイルにわたるプロジェクトをリアルタイムでライブプレビュー画面にストリーミング出力します。また、音声による入力（Whisper経由）や、JSONよりもこのクラスのモデルで信頼性が高いとされるXMLプロンプティングを用いた構造化ツール呼び出しにも対応しています 。

本アプリケーションは、元々2026年4月頃に他のGemma 4バリアント向けにローンチされていましたが、今回の新エンコーダーレス12Bモデルにも対応。プロトタイピングや学習のための、完全にオフラインかつローカルファーストな開発環境を提供します 。

エンコーダーレスUnifiedアーキテクチャの詳細

従来のマルチモーダルモデルは、入力処理を段階的に行うパイプライン方式を採用していました。画像認識には約1億5000万～5億5000万パラメータの視覚エンコーダーが、音声解析には約3億パラメータの音声エンコーダーがそれぞれ独立して存在し、それらの出力を後段のLLMが受け取っていました。Gemma 4 12Bは、こうした中間段階を全て排除し、すべての処理をLLMのバックボーン内で統一しました 。

このエンコーダーレスアプローチでは、入力をLLMの埋め込み空間に直接マッピングするために、以下のような軽量な射影機構が採用されています。

• 画像処理： 27層からなる巨大な視覚トランスフォーマーの代わりに、わずか3500万パラメータのコンパクトな埋め込みモジュールを採用。48×48ピクセルの画像パッチは、単純な行列積によってLLMの隠れ次元にマッピングされます。位置情報については、学習済みの位置埋め込みを用いる代わりに、X軸・Y軸の独立した行列による因数分解された座標ルックアップで注入されます 。
• 音声処理： 16kHzの生の音声信号は40ミリ秒のフレーム（640の浮動小数点値）に分割され、他のGemma 4バリアントに見られる12層のコンフォーマーレイヤーを経由せず、線形射影によって直接LLMの入力空間に投影されます 。
• ファインチューニング： すべてのモダリティ入力は単純な線形射影によって処理され、LLMのコアウェイトを共有するため、モデル全体をHugging Face TransformersやUnslothといった標準的なフレームワークで、LoRAあるいはフルウェイトのいずれでも、統一された単一パスでファインチューニングできます 。

この結果、テキスト、画像、音声、動画をネイティブに処理可能な256Kトークンのコンテキストモデルが、多段階エンコーダーパイプラインによるレイテンシーやアーキテクチャの複雑さなしに実現しました 。

ベンチマーク性能：小型モデルが生み出す大きな成果

Gemma 4 12Bのベンチマークスコアは、公式モデルカードに基づくと、効率性において著しい飛躍を示しています。この12Bモデルは、同サイズクラスのモデルと競合するだけでなく、前世代のフラッグシップであった270億パラメータのGemma 3 27Bを、複数の難易度の高い推論・マルチモーダルテストで大幅に上回っています 。

特に、大学院レベルの科学的知識を問うGPQA Diamondでの78.8%というスコアは際立っています。前世代のフラッグシップと比較して36.4ポイントもの向上であり、AIME 2026の数学スコアも約4倍の改善を示しています。これらの結果は、エンコーダースタックの排除が知能に妥協をもたらすどころか、むしろ効率化に貢献したことを明確に示しています 。

提供形態、ライセンス、初日からのエコシステム対応

Gemma 4 12Bは、Apache 2.0ライセンスのもと、オープンウェイトでプリトレーニング済みバリアントとインストラクションチューニング済みバリアントの両方が公開されています 。その実用的な設計目標は16GBのVRAM/ユニファイドメモリに収まることであり、標準的なコンシューマーノートPC上で真に機能することが確認されています 。

開発者にとって重要な要素として、本モデルは公開初日から以下の幅広いローカル推論エンジンに対応しました 。

• llama.cpp： GGUF量子化版が初日から利用可能で、CPU・GPU双方での効率的な推論を実現 。
• Ollama（v0.20以上）： macOSおよびLinux向けに、シンプルなワンコマンドでデプロイ可能 。
• LM Studio： ローカルモデルの検出・実行を容易にするデスクトップUI 。
• MLX： Apple Siliconハードウェアをネイティブサポート。ユニファイドメモリアーキテクチャを最大限活用 。
• vLLM： 高スループットなGPUおよびTPUサーブ用途に即応 。
• Unsloth： 最適化済み静的量子化モデルとファインチューニング機能を提供。オープンソースのStudio UIを通じてmacOS、Windows、Linuxに対応 。

Gemma Chat：専用デスクトップコーディングエージェントの登場

モデル公開と同時に、ローカルマルチモーダルAIの具体的かつユーザーフレンドリーなデモンストレーションとして、別途オープンソースのデスクトップアプリケーション「Gemma Chat」も公開されました。GoogleのデザイナーAmmar Reshi氏によって開発され、MITライセンスでGitHub上に公開されているElectronベースのアプリです 。

Gemma Chatは、AppleのMLXフレームワークを介してGemma 4モデルをApple Silicon上で完全にローカル実行します。つまり、初期ダウンロード以降はAPIキーやクラウドサービス、インターネット接続が一切不要です。主力機能は「Build Mode」と呼ばれるコーディングエージェントです。このモードでは、ユーザーがプレーンな言葉で作りたいものを説明すると、モデルがHTML、CSS、JavaScriptを生成し、複数ファイルにわたるプロジェクトをリアルタイムでライブプレビュー画面にストリーミング出力します。また、音声による入力（Whisper経由）や、JSONよりもこのクラスのモデルで信頼性が高いとされるXMLプロンプティングを用いた構造化ツール呼び出しにも対応しています 。

本アプリケーションは、元々2026年4月頃に他のGemma 4バリアント向けにローンチされていましたが、今回の新エンコーダーレス12Bモデルにも対応。プロトタイピングや学習のための、完全にオフラインかつローカルファーストな開発環境を提供します 。