Gemma 4 QAT Kini Lebih Ringan 72%: Model AI Google Sedia Beraksi di Telefon dan PC Anda
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5]. Pendekatan QAT mensimulasikan kuantisasi semasa latihan, membolehkan model 4 bit mengekalkan prestasi hampir asal sambil mengurangkan penggunaan memori sekitar 72% berb...
Diterbitkan olehDisunting dengan DeepSeek-V4-ProImej dijana dengan GPT Image 1.5
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5].
Pendekatan QAT mensimulasikan kuantisasi semasa latihan, membolehkan model 4 bit mengekalkan prestasi hampir asal sambil mengurangkan penggunaan memori sekitar 72% berbanding format BF16 [5].
Model E2B boleh berjalan hanya dengan 3.2GB RAM, menjadikannya ideal untuk telefon pintar dan peranti edge, manakala model 12B sesuai untuk GPU 8GB ( 7GB) [3][5][7].
Selain format compressed tensors untuk pelayan, Google turut menyediakan format GGUF Q4 0 untuk ekosistem sumber terbuka dan format khas mudah alih yang memampatkan E2B kepada hanya sekitar 1GB memori [1][12][15].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Apakah Itu QAT dan Mengapa Ia Revolusioner?
Secara ringkas, Latihan Sedar Kuantisasi (QAT) ialah teknik di mana model AI dilatih sambil mengambil kira proses pemampatan (kuantisasi) yang akan dilaluinya kelak. Ini berbeza dengan kaedah lama iaitu Kuantisasi Pasca Latihan (PTQ), yang memampatkan model setelah ia selesai dilatih sepenuhnya. Proses PTQ sering mengakibatkan penurunan prestasi yang ketara .
Dengan QAT, model 'belajar' untuk mengimbangi kehilangan ketepatan semasa fasa latihan. Hasilnya, apabila model dimampatkan kepada format 4-bit (int4), ia menggunakan memori sehingga 72% lebih rendah tetapi masih mampu mengekalkan prestasi yang hampir setanding dengan model asal 16-bit (BF16) . Ini umpama mengecilkan saiz fail gambar tanpa membuatkannya kabur, kerana teknik pengecilan itu sudah dirancang sejak awal.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Gemma 4 QAT Kini Lebih Ringan 72%: Model AI Google Sedia Beraksi di Telefon dan PC Anda"?
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5].
What are the key points to validate first?
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5]. Pendekatan QAT mensimulasikan kuantisasi semasa latihan, membolehkan model 4 bit mengekalkan prestasi hampir asal sambil mengurangkan penggunaan memori sekitar 72% berbanding format BF16 [5].
What should I do next in practice?
Model E2B boleh berjalan hanya dengan 3.2GB RAM, menjadikannya ideal untuk telefon pintar dan peranti edge, manakala model 12B sesuai untuk GPU 8GB ( 7GB) [3][5][7].
Gemma 4 QAT Kini Lebih Ringan 72%: Model AI Google Sedia Beraksi di Telefon dan PC Anda
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5]. Pendekatan QAT mensimulasikan kuantisasi semasa latihan, membolehkan model 4 bit mengekalkan prestasi hampir asal sambil mengurangkan penggunaan memori sekitar 72% berb...
Diterbitkan olehDisunting dengan DeepSeek-V4-ProImej dijana dengan GPT Image 1.5
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5].
Pendekatan QAT mensimulasikan kuantisasi semasa latihan, membolehkan model 4 bit mengekalkan prestasi hampir asal sambil mengurangkan penggunaan memori sekitar 72% berbanding format BF16 [5].
Model E2B boleh berjalan hanya dengan 3.2GB RAM, menjadikannya ideal untuk telefon pintar dan peranti edge, manakala model 12B sesuai untuk GPU 8GB ( 7GB) [3][5][7].
Selain format compressed tensors untuk pelayan, Google turut menyediakan format GGUF Q4 0 untuk ekosistem sumber terbuka dan format khas mudah alih yang memampatkan E2B kepada hanya sekitar 1GB memori [1][12][15].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Apakah Itu QAT dan Mengapa Ia Revolusioner?
Secara ringkas, Latihan Sedar Kuantisasi (QAT) ialah teknik di mana model AI dilatih sambil mengambil kira proses pemampatan (kuantisasi) yang akan dilaluinya kelak. Ini berbeza dengan kaedah lama iaitu Kuantisasi Pasca Latihan (PTQ), yang memampatkan model setelah ia selesai dilatih sepenuhnya. Proses PTQ sering mengakibatkan penurunan prestasi yang ketara .
Dengan QAT, model 'belajar' untuk mengimbangi kehilangan ketepatan semasa fasa latihan. Hasilnya, apabila model dimampatkan kepada format 4-bit (int4), ia menggunakan memori sehingga 72% lebih rendah tetapi masih mampu mengekalkan prestasi yang hampir setanding dengan model asal 16-bit (BF16) . Ini umpama mengecilkan saiz fail gambar tanpa membuatkannya kabur, kerana teknik pengecilan itu sudah dirancang sejak awal.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Gemma 4 QAT Kini Lebih Ringan 72%: Model AI Google Sedia Beraksi di Telefon dan PC Anda"?
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5].
What are the key points to validate first?
Google menyediakan checkpoint rasmi Latihan Sedar Kuantisasi (QAT) untuk kesemua lima saiz model Gemma 4: E2B, E4B, 12B, 26B A4B, dan 31B [1][4][5]. Pendekatan QAT mensimulasikan kuantisasi semasa latihan, membolehkan model 4 bit mengekalkan prestasi hampir asal sambil mengurangkan penggunaan memori sekitar 72% berbanding format BF16 [5].
What should I do next in practice?
Model E2B boleh berjalan hanya dengan 3.2GB RAM, menjadikannya ideal untuk telefon pintar dan peranti edge, manakala model 12B sesuai untuk GPU 8GB ( 7GB) [3][5][7].
Checkpoint rasmi dari Google menggunakan skema W4A16 untuk model Dense Gemma 4. Ini bermakna pemberat (weight) model disimpan dalam integer 4-bit, manakala pengaktifan (activation) kekal dalam 16-bit, dengan group_size=32 dan format compressed-tensors.
Barisan Model: Daripada Telefon ke Workstation
Google menyediakan lima saiz model Gemma 4 yang semuanya telah dioptimumkan dengan QAT. Jadual di bawah meringkaskan penggunaan memori setiap model apabila dijalankan dalam format 4-bit berbanding ketepatan penuh BF16 .
Model
Jenis & Parameter Berkesan
Memori 4-bit (Q4_0)
Penjimatan vs BF16
Gemma 4 E2B
Rapat (Dense), 2.3B parameter
~3.2 GB
~72% lebih rendah
Gemma 4 E4B
Rapat (Dense), 4.5B parameter
~5 GB
~72% lebih rendah
Gemma 4 12B
Model multimodal bersatu (teks, imej, audio)
~7 GB
~72% lebih rendah
Gemma 4 26B A4B
Campuran Pakar (MoE), ~3.8B parameter aktif
~15 GB
~72% lebih rendah
Gemma 4 31B
Rapat (Dense), 30.7B parameter
~18–20 GB
~72% lebih rendah
Nota Penting: Model 26B A4B ialah model Campuran Pakar (Mixture of Experts - MoE). Ia mempunyai 26 bilion parameter secara keseluruhan, tetapi hanya sekitar 3.8 bilion yang 'aktif' pada setiap token input. Ini menjadikannya sepantas model 4B, namun dengan kepintaran setanding model 26B .
Format Pilihan: Yang Mana Sesuai untuk Anda?
Google menyediakan checkpoint QAT dalam beberapa format untuk memenuhi pelbagai keperluan pengguna :
Compressed-Tensors (W4A16): Format rasmi untuk inferens berasaskan pelayan, seperti menggunakan enjin vLLM. Ini memberikan keseimbangan terbaik antara penjimatan memori dan pemeliharaan kualiti .
GGUF / Q4_0: Format sedia guna yang serasi dengan pelbagai pustaka sumber terbuka seperti llama.cpp, Ollama, dan MLX. Ini adalah pilihan utama untuk peminat yang menjalankan AI secara lokal pada PC atau Mac .
Format Mudah Alih Khas: Dibangunkan khas untuk peranti mudah alih, format ini menggunakan campuran lebar kuantisasi yang berbeza dan pengoptimuman cache KV. Hasilnya, model Gemma 4 E2B boleh dimampatkan kepada hanya sekitar 1GB memori, menjadikannya sangat praktikal untuk dijalankan terus pada telefon pintar .
Model Ketepatan Lalai (16-bit): Tersedia untuk kes di mana kuantisasi tidak diperlukan atau untuk penyelidikan lanjut .
Implikasi Praktikal: AI Canggih di Hujung Jari Anda
Dengan pengurangan memori yang drastik, model yang sebelum ini hanya boleh berjalan pada pelayan atau GPU kelas server, kini boleh dijalankan pada perkakasan pengguna biasa:
Telefon Pintar & Peranti Edge: Model E2B dan E4B direka khas untuk peranti mudah alih. Ia menyokong input imej dan audio selain teks, dan boleh dijalankan sepenuhnya pada peranti melalui aplikasi seperti Google AI Edge Gallery atau pustaka LiteRT-LM, dengan penggunaan RAM serendah 1.5GB .
GPU 8GB VRAM (cth: RTX 3070/4060): Model E2B, E4B, dan 12B sangat praktikal dijalankan di sini. Model 12B, dengan keupayaan multimodal bersatunya, hanya memerlukan sekitar 7GB RAM dalam mod 4-bit .
GPU 12–16GB VRAM (cth: RTX 4070 Ti/3080): Model MoE 26B A4B (~15GB) adalah pilihan ideal untuk inferens berkeupayaan tinggi dengan jejak memori yang masih terurus .
GPU 24GB VRAM (cth: RTX 3090/4090): Model 31B (~18-20GB) kini boleh dijalankan secara lokal. Model ini mempunyai tetingkap konteks 256K token, membolehkan ia memproses dokumen yang sangat panjang .
Ini bermakna, buat pertama kalinya, model AI yang berkuasa untuk pengekodan, penulisan, analisis dokumen panjang, dan aliran kerja ejen boleh dijalankan secara lokal dan peribadi pada PC gaming atau telefon bimbit anda.
Kaveat Penting: Kualiti Bergantung pada Format
Walaupun QAT menawarkan lonjakan besar, pemilihan format adalah kritikal. Dokumentasi Gemma 4 QAT memberi amaran bahawa menukar pemberat QAT secara naif kepada format Q4_0 boleh menyebabkan penurunan kualiti yang drastik—contohnya, model 26B hanya mencapai sekitar 70.2% ketepatan top-1.
Ini berlaku kerana maklumat berharga yang disimpan dalam struktur pemberat terlatih-QAT boleh hilang jika tidak ditangani dengan betul. Untuk pengguna yang ingin menukar format sendiri, penyelidikan dari Unsloth menunjukkan kaedah "Unsloth Dynamic" dapat memulihkan dan meningkatkan ketepatan kepada 85.6%, sambil menjadikan fail model 200MB lebih kecil .
Kesimpulannya, untuk kebanyakan pengguna, menggunakan checkpoint QAT rasmi yang telah disediakan dalam format GGUF atau compressed-tensors adalah laluan paling selamat untuk memastikan anda menikmati penjimatan memori tanpa mengorbankan kepintaran model .
Checkpoint rasmi dari Google menggunakan skema W4A16 untuk model Dense Gemma 4. Ini bermakna pemberat (weight) model disimpan dalam integer 4-bit, manakala pengaktifan (activation) kekal dalam 16-bit, dengan group_size=32 dan format compressed-tensors.
Barisan Model: Daripada Telefon ke Workstation
Google menyediakan lima saiz model Gemma 4 yang semuanya telah dioptimumkan dengan QAT. Jadual di bawah meringkaskan penggunaan memori setiap model apabila dijalankan dalam format 4-bit berbanding ketepatan penuh BF16 .
Model
Jenis & Parameter Berkesan
Memori 4-bit (Q4_0)
Penjimatan vs BF16
Gemma 4 E2B
Rapat (Dense), 2.3B parameter
~3.2 GB
~72% lebih rendah
Gemma 4 E4B
Rapat (Dense), 4.5B parameter
~5 GB
~72% lebih rendah
Gemma 4 12B
Model multimodal bersatu (teks, imej, audio)
~7 GB
~72% lebih rendah
Gemma 4 26B A4B
Campuran Pakar (MoE), ~3.8B parameter aktif
~15 GB
~72% lebih rendah
Gemma 4 31B
Rapat (Dense), 30.7B parameter
~18–20 GB
~72% lebih rendah
Nota Penting: Model 26B A4B ialah model Campuran Pakar (Mixture of Experts - MoE). Ia mempunyai 26 bilion parameter secara keseluruhan, tetapi hanya sekitar 3.8 bilion yang 'aktif' pada setiap token input. Ini menjadikannya sepantas model 4B, namun dengan kepintaran setanding model 26B .
Format Pilihan: Yang Mana Sesuai untuk Anda?
Google menyediakan checkpoint QAT dalam beberapa format untuk memenuhi pelbagai keperluan pengguna :
Compressed-Tensors (W4A16): Format rasmi untuk inferens berasaskan pelayan, seperti menggunakan enjin vLLM. Ini memberikan keseimbangan terbaik antara penjimatan memori dan pemeliharaan kualiti .
GGUF / Q4_0: Format sedia guna yang serasi dengan pelbagai pustaka sumber terbuka seperti llama.cpp, Ollama, dan MLX. Ini adalah pilihan utama untuk peminat yang menjalankan AI secara lokal pada PC atau Mac .
Format Mudah Alih Khas: Dibangunkan khas untuk peranti mudah alih, format ini menggunakan campuran lebar kuantisasi yang berbeza dan pengoptimuman cache KV. Hasilnya, model Gemma 4 E2B boleh dimampatkan kepada hanya sekitar 1GB memori, menjadikannya sangat praktikal untuk dijalankan terus pada telefon pintar .
Model Ketepatan Lalai (16-bit): Tersedia untuk kes di mana kuantisasi tidak diperlukan atau untuk penyelidikan lanjut .
Implikasi Praktikal: AI Canggih di Hujung Jari Anda
Dengan pengurangan memori yang drastik, model yang sebelum ini hanya boleh berjalan pada pelayan atau GPU kelas server, kini boleh dijalankan pada perkakasan pengguna biasa:
Telefon Pintar & Peranti Edge: Model E2B dan E4B direka khas untuk peranti mudah alih. Ia menyokong input imej dan audio selain teks, dan boleh dijalankan sepenuhnya pada peranti melalui aplikasi seperti Google AI Edge Gallery atau pustaka LiteRT-LM, dengan penggunaan RAM serendah 1.5GB .
GPU 8GB VRAM (cth: RTX 3070/4060): Model E2B, E4B, dan 12B sangat praktikal dijalankan di sini. Model 12B, dengan keupayaan multimodal bersatunya, hanya memerlukan sekitar 7GB RAM dalam mod 4-bit .
GPU 12–16GB VRAM (cth: RTX 4070 Ti/3080): Model MoE 26B A4B (~15GB) adalah pilihan ideal untuk inferens berkeupayaan tinggi dengan jejak memori yang masih terurus .
GPU 24GB VRAM (cth: RTX 3090/4090): Model 31B (~18-20GB) kini boleh dijalankan secara lokal. Model ini mempunyai tetingkap konteks 256K token, membolehkan ia memproses dokumen yang sangat panjang .
Ini bermakna, buat pertama kalinya, model AI yang berkuasa untuk pengekodan, penulisan, analisis dokumen panjang, dan aliran kerja ejen boleh dijalankan secara lokal dan peribadi pada PC gaming atau telefon bimbit anda.
Kaveat Penting: Kualiti Bergantung pada Format
Walaupun QAT menawarkan lonjakan besar, pemilihan format adalah kritikal. Dokumentasi Gemma 4 QAT memberi amaran bahawa menukar pemberat QAT secara naif kepada format Q4_0 boleh menyebabkan penurunan kualiti yang drastik—contohnya, model 26B hanya mencapai sekitar 70.2% ketepatan top-1.
Ini berlaku kerana maklumat berharga yang disimpan dalam struktur pemberat terlatih-QAT boleh hilang jika tidak ditangani dengan betul. Untuk pengguna yang ingin menukar format sendiri, penyelidikan dari Unsloth menunjukkan kaedah "Unsloth Dynamic" dapat memulihkan dan meningkatkan ketepatan kepada 85.6%, sambil menjadikan fail model 200MB lebih kecil .
Kesimpulannya, untuk kebanyakan pengguna, menggunakan checkpoint QAT rasmi yang telah disediakan dalam format GGUF atau compressed-tensors adalah laluan paling selamat untuk memastikan anda menikmati penjimatan memori tanpa mengorbankan kepintaran model .
