Google'dan Devrim Niteliğinde Hamle: Gemma 4 QAT ile En Gelişmiş Yapay Zeka Artık Cebinize Sığacak

Google, yapay zeka modellerini güçlü sunuculardan kurtarıp doğrudan kullanıcıların cihazlarına taşıma konusunda kritik bir adım attı. 4 Haziran 2026'da, en yeni açık ağırlıklı modelleri olan Gemma 4 ailesi için Kuantizasyon Farkında Eğitim (QAT) ile optimize edilmiş kontrol noktalarını yayınladı . Peki bu ne anlama geliyor? En basit tabirle, artık en gelişmiş yapay zeka modellerini, performansından neredeyse hiç ödün vermeden, akıllı telefonunuzda veya dizüstü bilgisayarınızda çalıştırabileceksiniz.

Kuantizasyon Yaklaşımı: Akıllı Sıkıştırmanın Sırrı

Yapay zeka modellerini "kuantize etmek", bir nevi yüksek çözünürlüklü bir fotoğrafı sıkıştırarak boyutunu küçültmeye benzer. Modeller normalde parametrelerini (yani öğrendiği bilgileri) 16-bitlik yüksek hassasiyetle (BF16) saklar. Kuantizasyon, bu hassasiyeti düşürerek, örneğin her bir sayıyı sadece 4 bit (int4) ile temsil ederek veri boyutunu dörtte birine indirir .

Ancak standart bir sıkıştırma (Kuantizasyon Sonrası Eğitim - PTQ) genellikle modelin "zekasında" gözle görülür bir düşüşe neden olur. Google'ın QAT yaklaşımı ise, modeli daha eğitim aşamasındayken bu sıkıştırmaya hazırlıyor. Model, "ileride sıkıştırılacağını" bilerek eğitildiği için, 4-bit gibi düşük hassasiyetlerde bile orijinal performansına çok yakın sonuçlar verebiliyor .

Resmi QAT kontrol noktaları, yoğun (dense) Gemma 4 modelleri için W4A16 şemasını kullanıyor. Bu, ağırlıkların 4-bit tam sayı, aktivasyonların ise 16-bit olarak tutulduğu, group_size=32 ayarına sahip ve compressed-tensors formatında sunulan bir yapı .

Modeller ve Sıkıştırma Seviyeleri: Her Cihaza Bir Gemma

Gemma 4 ailesi, farklı ihtiyaçlara yönelik beş farklı parametre boyutunda sunuluyor: E2B, E4B, 12B, 26B A4B ve 31B . QAT sayesinde tüm bu modeller, orijinal BF16 hallerine kıyasla yaklaşık %72 daha az bellek kullanıyor ve neredeyse aynı kaliteyi koruyor .

Model	Türü	Q4_0 / 4-bit Bellek	BF16'ya Göre Tasarruf
E2B	Yoğun (Dense), 2.3B efektif parametre	~3.2 GB	QAT tarzı 4-bit ile ~%72 daha düşük
E4B	Yoğun (Dense), 4.5B efektif parametre	~5 GB	QAT tarzı 4-bit ile ~%72 daha düşük
12B	Birleşik metin/görüntü/ses modeli	~7 GB	QAT tarzı 4-bit ile ~%72 daha düşük
26B A4B	Uzman Karması (MoE), ~3.8B aktif parametre	~15 GB	QAT tarzı 4-bit ile ~%72 daha düşük
31B	Yoğun (Dense), 30.7B parametre	~18–20 GB	QAT tarzı 4-bit ile ~%72 daha düşük

Bilgi Notu: "26B A4B" modelindeki "A", İngilizce "active" (aktif) kelimesinden gelir. Bu, Uzman Karması (Mixture of Experts) mimarisi sayesinde, modelin her bir işlem için toplam 26 milyar parametresinin yalnızca yaklaşık 3.8 milyarını kullanması anlamına gelir. Bu sayede, 26B seviyesinde bir zeka sunarken, işlem maliyeti 4B'lık bir modele yakın olur .

Mevcut Formatlar: Hangi Araç, Hangi Format?

Modelleri kullanmak için birkaç farklı seçenek mevcut. Seçiminiz, kullandığınız yazılıma ve amacınıza göre değişecektir :

• Compressed-tensors: vLLM gibi yüksek performanslı çıkarım motorları için resmi W4A16 kontrol noktaları. Kaliteyi en iyi koruyan seçenek budur .
• GGUF / Q4_0: Ollama, llama.cpp gibi popüler ve kullanıcı dostu araçlar için hazır format. Kritik uyarı: QAT ağırlıklarını bilinçsizce Q4_0'a dönüştürmek, modelin doğruluğunda ciddi kayıplara yol açabilir. Örneğin, bu yöntemle dönüştürülen 26B modeli, bir testte yalnızca %85.6 doğruluk oranına ulaşabilmiştir (orijinaline kıyasla bir düşüş) .
• Mobil Format (wNa8o8): Özellikle E2B ve E4B modelleri için tasarlanmış, farklı kuantizasyon genişliklerini bir arada kullanan, donanım dostu özel bir format. E2B'yi yaklaşık 1 GB'a kadar düşürmeyi başarıyor .
• Varsayılan Hassasiyet Modelleri: Kuantizasyon istemeyen veya en yüksek doğruluğa ihtiyaç duyanlar için modellerin orijinal 16-bit halleri de mevcut .

Donanım Üzerindeki Pratik Etkileri: Kim, Hangi Modeli Çalıştırabilir?

Bu yeni modellerin asıl devrim yarattığı nokta, onları çalıştırmak için gereken donanımı demokratikleştirmesi:

• Akıllı Telefonlar ve Tabletler: E2B ve E4B modelleri, mobil cihazlar için özel olarak konumlandırılmıştır . Özel mobil format sayesinde E2B, yalnızca 1 GB bellek ile çalışabilir hale gelerek, gelişmiş bir sohbet robotunun veya çevirmenin tamamen internetsiz, cihaz üzerinde çalıştırılabilmesinin önünü açıyor .
• 8 GB VRAM'li GPU'lar (örn. RTX 3070): E2B, E4B ve hatta metin, görüntü ve sesi bir arada işleyebilen yeni 12B modeli, 4-bit modda yaklaşık 7-8 GB RAM ile rahatlıkla çalıştırabilirsiniz .
• 12-16 GB VRAM'li GPU'lar (örn. RTX 3080 Ti, 4070 Ti): 26B A4B Uzman Karması modeli yaklaşık 15 GB bellek kaplar ve bu segmentteki kartlar için biçilmiş kaftandır . Çok düşük gecikme süresi ve yüksek verimlilik sunar.
• 20-24 GB VRAM'li GPU'lar (örn. RTX 3090, 4090): Asıl bomba burada. 256K token bağlam uzunluğuna sahip devasa 31B yoğun model, 4-bit QAT ile yaklaşık 18-20 GB VRAM'e sığıyor . Bu, bir zamanlar sadece sunucularda çalıştırılabilen bir modeli, evinizdeki üst düzey bir oyuncu bilgisayarında, tüm bir kitabı tek seferde analiz edebilecek kapasitede çalıştırabileceğiniz anlamına geliyor.

Dikkat Edilmesi Gereken Kritik Nokta

QAT'nin kalite avantajı, özellikle 4-bit seviyesinde kritik önem taşır. Google'ın Gemma 4 QAT belgeleri, QAT ağırlıklarını doğrudan standart bir Q4_0 formatına dönüştürmenin, 26B modelinde doğruluğu sadece %85.6'ya kadar düşürebildiği konusunda açıkça uyarıyor . Bu nedenle, eğer amacınız QAT'nin sunduğu yüksek kaliteyi korumaksa, resmi compressed-tensors formatındaki kontrol noktalarını kullanmak en güvenli ve doğru yöntemdir .