Google、Gemma 4向けQATモデルでメモリ使用量72%削減を実現――その革新性が切り拓く世界

Gemma 4 QAT モデルラインナップ

5つのモデルサイズすべてにQATチェックポイントが提供されており、それぞれに投機的デコード用のドラフターモデルも用意されています。実用的なメモリ使用量は、BF16とQAT 4ビットの間で劇的に変化します。

メモリ数値はGoogle公式モデル概要とUnslothのドキュメントに基づき、Q4_0は広く使われているGGUF量子化レベルの数値です。

特に注目すべきは、26B A4Bです。これはMoE（Mixture of Experts）アーキテクチャを採用しており、総パラメータ数は260億に上る一方、トークン処理ごとに実際にアクティブになるのは約38億のパラメータのみです。これは、約40億パラメータモデルに近い計算コストで、はるかに大規模で高密度なモデルに匹敵する推論能力を提供することを意味します。4ビット形式なら、多くの開発者がすでに所有している12～16 GBのGPUで動作します。

配布形式：その選択が品質の明暗を分ける

GoogleはQATチェックポイントを4つの異なる形式でリリースしました。形式の選択は、最終的なモデルの品質に直接影響を与えます。

• Compressed-tensors (W4A16): vLLM推論用の公式フォーマットです。4ビット整数の重みと16ビットの活性化関数、group_size=32を使用し、Googleが保証する品質範囲内で最も安全に運用したい場合に推奨されます。
• GGUF / Q4_0: llama.cppやOllamaといったエコシステムのツールで最も一般的に使われる形式です。すぐにデプロイ可能なGGUFファイルが、全5サイズで提供されています。
• モバイル最適化形式: 複数の量子化幅を混合したカスタムスキーマで、モバイルハードウェア向けに特別に設計されています。E2BとE4Bでのみ利用可能で、E2Bで約1 GBという驚異的なメモリ使用量を達成した立役者です。
• 未量子化QATチェックポイント: QATパイプラインから抽出された半精度の重みです。研究者や開発者が、独自の量子化やコンパイルワークフローを下流で試したい場合に最適です。

このリリースにおける最大の注意点は、QATの重みを単純にQ4_0に変換すると、精度が大幅に低下する可能性があることです。 Unslothのドキュメントによると、26BモデルのQAT重みを安易にQ4_0変換した場合、Top-1精度はわずか約70.2%にとどまりました。Unslothの最適化手法「Dynamic」では85.6%まで回復しましたが、これは変換方法論の選択が、QAT本来の性能を引き出す上で決定的に重要であることを示しています。

ほとんどのユーザーにとっては、提供されている公式のcompressed-tensorsまたはGGUFチェックポイントから始めるのが最も安全で確実な道と言えるでしょう。

実際、どのハードウェアで動くのか？

QAT 4ビット化がもたらす真の価値は、単なるメモリ削減ではなく、ローカルAI推論の新たなハードウェア地図を描き出したことにあります。

スマートフォンとエッジデバイス:
E2Bはモバイル向けに設計されたモデルです。GoogleのLiteRT-LMフレームワークを使えば、2ビットと4ビットの量子化により1.5 GB未満のRAMでもE2Bを実行できます。Google Playストアの「AI Edge Gallery」アプリから、E2BやE4Bを完全に端末上で選択・実行することも可能です。テキスト、画像、音声入力にネイティブ対応しているため、リアルタイム音声翻訳や画像質問応答といった機能を、クラウド接続なしで実現できる可能性を秘めています。

8 GB GPU:
QATデプロイメントのスイートスポットです。E2B（約3.2 GB）、E4B（約5 GB）、さらに12Bモデル（約7 GB）は、いずれも8 GBのVRAMに快適に収まります。つまり、ミドルレンジのノートPCや数世代前のデスクトップ向けGPU（RTX 2070など）でも、256Kトークンものコンテキストウィンドウを持つ統合マルチモーダルモデルが動作する時代が到来したのです。

12～16 GB GPU:
このクラスには26B A4B（Q4_0で約15 GB）が適合し、RTX 3080、4070 Ti、4080などが現実的な選択肢となります。MoEアーキテクチャのおかげで、同クラスの巨大モデルと比較して推論遅延が短く、より軽快に動作する点も見逃せません。

20～24 GB GPU:
最重量級の31Bモデルも、Q4_0なら約17～18 GBまで圧縮され、RTX 3090や4090ユーザーにとって現実的な範囲に収まります。このモデルを16ビット精度で動かそうとすると60 GB近いVRAMが必要で、コンシューマー向けGPUでは全く手の届かない存在でした。QAT 4ビット化こそが、Gemma 4最大のモデルを高性能な個人向けGPUでも動かせるようにする鍵です。

現実的な注意点： ここで示したメモリ使用量は、あくまでモデルの重み自体のサイズです。実際の実行時には、長大なコンテキストを扱うためのKVキャッシュなどのオーバーヘッドが数ギガバイト単位で追加されます。特に31Bモデルで256Kのコンテキストを扱う場合、必要なメモリは基本の重みサイズを大幅に上回り、コミュニティの報告では20GB前半まで必要になるケースもあるようです。常に、記載された数値よりも多めのVRAMを余裕として見積もるようにしましょう。

QATは何を解き放つのか

実用面から見ると、このリリースは「このモデル、ローカルで動かせますか？」という問いに対するデフォルトの答えを変えてしまいます。主要なオープンウェイトモデルファミリーが、QATチェックポイントを後付けではなく、最初から第一級の要素として提供するのはこれが初めてです。

その影響は、以下のような分野に広がります。

プライバシーが重視される領域：
医療、法律、パーソナルアシスタントといった、これまでクラウドAPIへの依存が前提だったアプリケーションも、ノートPCやスマートフォン上で完全に動作させることが現実的になります。QATによって推論品質が十分に保たれるため、ローカル処理への移行が一気に加速するでしょう。

オフラインおよびエッジ環境での活用：
安定したネット接続が期待できない現場調査や災害対応、産業環境においても、高性能なマルチモーダルモデルを汎用的なハードウェアで展開できる道が開けます。E2Bのオーディオ対応と1 GBモバイル量子化が組み合わされば、一般的なスマートフォンでのリアルタイム音声翻訳も、夢物語ではなくなります。

開発者ツールとIDEへの統合：
12Bおよび26Bモデルは、多くの開発者がすでに持っているハードウェアに適合します。これにより、コード補完、リファクタリング、ドキュメント生成などを、レイテンシやAPIコストの制約なしにローカルで実行可能になります。

実験とファインチューニングの民主化：
小規模な研究チームや個人開発者にとって、A100やH100のクラスタを用意するのはコスト面で大きな障壁でした。QAT版Gemma 4の登場は、研究開発への参入障壁を劇的に引き下げ、12Bから31Bクラスのモデルを用いたカスタマイズや、ドメイン特化型のファインチューニングを、個人のコンシューマーハードウェアで行うことを可能にします。

今回のQATチェックポイントは、ベースのGemma 4モデルと同様に寛容なApache 2.0ライセンスの下で公開され、すでにHugging Faceから全5モデルサイズがダウンロード可能です。「本格的なAI」の実行環境に関する常識が、今、まさに書き換えられようとしています。