Gemma 4 QAT Kini Lebih Ringan 72%: Model AI Google Sedia Beraksi di Telefon dan PC Anda

Barisan Model: Daripada Telefon ke Workstation

Google menyediakan lima saiz model Gemma 4 yang semuanya telah dioptimumkan dengan QAT. Jadual di bawah meringkaskan penggunaan memori setiap model apabila dijalankan dalam format 4-bit berbanding ketepatan penuh BF16 .

Nota Penting: Model 26B A4B ialah model Campuran Pakar (Mixture of Experts - MoE). Ia mempunyai 26 bilion parameter secara keseluruhan, tetapi hanya sekitar 3.8 bilion yang 'aktif' pada setiap token input. Ini menjadikannya sepantas model 4B, namun dengan kepintaran setanding model 26B .

Format Pilihan: Yang Mana Sesuai untuk Anda?

Google menyediakan checkpoint QAT dalam beberapa format untuk memenuhi pelbagai keperluan pengguna :

• Compressed-Tensors (W4A16): Format rasmi untuk inferens berasaskan pelayan, seperti menggunakan enjin vLLM. Ini memberikan keseimbangan terbaik antara penjimatan memori dan pemeliharaan kualiti .
• GGUF / Q4_0: Format sedia guna yang serasi dengan pelbagai pustaka sumber terbuka seperti llama.cpp, Ollama, dan MLX. Ini adalah pilihan utama untuk peminat yang menjalankan AI secara lokal pada PC atau Mac .
• Format Mudah Alih Khas: Dibangunkan khas untuk peranti mudah alih, format ini menggunakan campuran lebar kuantisasi yang berbeza dan pengoptimuman cache KV. Hasilnya, model Gemma 4 E2B boleh dimampatkan kepada hanya sekitar 1GB memori, menjadikannya sangat praktikal untuk dijalankan terus pada telefon pintar .
• Model Ketepatan Lalai (16-bit): Tersedia untuk kes di mana kuantisasi tidak diperlukan atau untuk penyelidikan lanjut .

Implikasi Praktikal: AI Canggih di Hujung Jari Anda

Dengan pengurangan memori yang drastik, model yang sebelum ini hanya boleh berjalan pada pelayan atau GPU kelas server, kini boleh dijalankan pada perkakasan pengguna biasa:

• Telefon Pintar & Peranti Edge: Model E2B dan E4B direka khas untuk peranti mudah alih. Ia menyokong input imej dan audio selain teks, dan boleh dijalankan sepenuhnya pada peranti melalui aplikasi seperti Google AI Edge Gallery atau pustaka LiteRT-LM, dengan penggunaan RAM serendah 1.5GB .
• GPU 8GB VRAM (cth: RTX 3070/4060): Model E2B, E4B, dan 12B sangat praktikal dijalankan di sini. Model 12B, dengan keupayaan multimodal bersatunya, hanya memerlukan sekitar 7GB RAM dalam mod 4-bit .
• GPU 12–16GB VRAM (cth: RTX 4070 Ti/3080): Model MoE 26B A4B (~15GB) adalah pilihan ideal untuk inferens berkeupayaan tinggi dengan jejak memori yang masih terurus .
• GPU 24GB VRAM (cth: RTX 3090/4090): Model 31B (~18-20GB) kini boleh dijalankan secara lokal. Model ini mempunyai tetingkap konteks 256K token, membolehkan ia memproses dokumen yang sangat panjang .

Ini bermakna, buat pertama kalinya, model AI yang berkuasa untuk pengekodan, penulisan, analisis dokumen panjang, dan aliran kerja ejen boleh dijalankan secara lokal dan peribadi pada PC gaming atau telefon bimbit anda.

Kaveat Penting: Kualiti Bergantung pada Format

Walaupun QAT menawarkan lonjakan besar, pemilihan format adalah kritikal. Dokumentasi Gemma 4 QAT memberi amaran bahawa menukar pemberat QAT secara naif kepada format Q4_0 boleh menyebabkan penurunan kualiti yang drastik—contohnya, model 26B hanya mencapai sekitar 70.2% ketepatan top-1 .

Ini berlaku kerana maklumat berharga yang disimpan dalam struktur pemberat terlatih-QAT boleh hilang jika tidak ditangani dengan betul. Untuk pengguna yang ingin menukar format sendiri, penyelidikan dari Unsloth menunjukkan kaedah "Unsloth Dynamic" dapat memulihkan dan meningkatkan ketepatan kepada 85.6%, sambil menjadikan fail model 200MB lebih kecil .

Kesimpulannya, untuk kebanyakan pengguna, menggunakan checkpoint QAT rasmi yang telah disediakan dalam format GGUF atau compressed-tensors adalah laluan paling selamat untuk memastikan anda menikmati penjimatan memori tanpa mengorbankan kepintaran model .