Google'dan Devrim Niteliğinde Hamle: Gemma 4 QAT ile En Gelişmiş Yapay Zeka Artık Cebinize Sığacak

Resmi QAT kontrol noktaları, yoğun (dense) Gemma 4 modelleri için W4A16 şemasını kullanıyor. Bu, ağırlıkların 4-bit tam sayı, aktivasyonların ise 16-bit olarak tutulduğu, group_size=32 ayarına sahip ve compressed-tensors formatında sunulan bir yapı .

Modeller ve Sıkıştırma Seviyeleri: Her Cihaza Bir Gemma

Gemma 4 ailesi, farklı ihtiyaçlara yönelik beş farklı parametre boyutunda sunuluyor: E2B, E4B, 12B, 26B A4B ve 31B . QAT sayesinde tüm bu modeller, orijinal BF16 hallerine kıyasla yaklaşık %72 daha az bellek kullanıyor ve neredeyse aynı kaliteyi koruyor .

Bilgi Notu: "26B A4B" modelindeki "A", İngilizce "active" (aktif) kelimesinden gelir. Bu, Uzman Karması (Mixture of Experts) mimarisi sayesinde, modelin her bir işlem için toplam 26 milyar parametresinin yalnızca yaklaşık 3.8 milyarını kullanması anlamına gelir. Bu sayede, 26B seviyesinde bir zeka sunarken, işlem maliyeti 4B'lık bir modele yakın olur .

Mevcut Formatlar: Hangi Araç, Hangi Format?

Modelleri kullanmak için birkaç farklı seçenek mevcut. Seçiminiz, kullandığınız yazılıma ve amacınıza göre değişecektir :

• Compressed-tensors: vLLM gibi yüksek performanslı çıkarım motorları için resmi W4A16 kontrol noktaları. Kaliteyi en iyi koruyan seçenek budur .
• GGUF / Q4_0: Ollama, llama.cpp gibi popüler ve kullanıcı dostu araçlar için hazır format. Kritik uyarı: QAT ağırlıklarını bilinçsizce Q4_0'a dönüştürmek, modelin doğruluğunda ciddi kayıplara yol açabilir. Örneğin, bu yöntemle dönüştürülen 26B modeli, bir testte yalnızca %85.6 doğruluk oranına ulaşabilmiştir (orijinaline kıyasla bir düşüş) .
• Mobil Format (wNa8o8): Özellikle E2B ve E4B modelleri için tasarlanmış, farklı kuantizasyon genişliklerini bir arada kullanan, donanım dostu özel bir format. E2B'yi yaklaşık 1 GB'a kadar düşürmeyi başarıyor .
• Varsayılan Hassasiyet Modelleri: Kuantizasyon istemeyen veya en yüksek doğruluğa ihtiyaç duyanlar için modellerin orijinal 16-bit halleri de mevcut .

Donanım Üzerindeki Pratik Etkileri: Kim, Hangi Modeli Çalıştırabilir?

Bu yeni modellerin asıl devrim yarattığı nokta, onları çalıştırmak için gereken donanımı demokratikleştirmesi:

• Akıllı Telefonlar ve Tabletler: E2B ve E4B modelleri, mobil cihazlar için özel olarak konumlandırılmıştır . Özel mobil format sayesinde E2B, yalnızca 1 GB bellek ile çalışabilir hale gelerek, gelişmiş bir sohbet robotunun veya çevirmenin tamamen internetsiz, cihaz üzerinde çalıştırılabilmesinin önünü açıyor .
• 8 GB VRAM'li GPU'lar (örn. RTX 3070): E2B, E4B ve hatta metin, görüntü ve sesi bir arada işleyebilen yeni 12B modeli, 4-bit modda yaklaşık 7-8 GB RAM ile rahatlıkla çalıştırabilirsiniz .
• 12-16 GB VRAM'li GPU'lar (örn. RTX 3080 Ti, 4070 Ti): 26B A4B Uzman Karması modeli yaklaşık 15 GB bellek kaplar ve bu segmentteki kartlar için biçilmiş kaftandır . Çok düşük gecikme süresi ve yüksek verimlilik sunar.
• 20-24 GB VRAM'li GPU'lar (örn. RTX 3090, 4090): Asıl bomba burada. 256K token bağlam uzunluğuna sahip devasa 31B yoğun model, 4-bit QAT ile yaklaşık 18-20 GB VRAM'e sığıyor . Bu, bir zamanlar sadece sunucularda çalıştırılabilen bir modeli, evinizdeki üst düzey bir oyuncu bilgisayarında, tüm bir kitabı tek seferde analiz edebilecek kapasitede çalıştırabileceğiniz anlamına geliyor.

Dikkat Edilmesi Gereken Kritik Nokta

QAT'nin kalite avantajı, özellikle 4-bit seviyesinde kritik önem taşır. Google'ın Gemma 4 QAT belgeleri, QAT ağırlıklarını doğrudan standart bir Q4_0 formatına dönüştürmenin, 26B modelinde doğruluğu sadece %85.6'ya kadar düşürebildiği konusunda açıkça uyarıyor . Bu nedenle, eğer amacınız QAT'nin sunduğu yüksek kaliteyi korumaksa, resmi compressed-tensors formatındaki kontrol noktalarını kullanmak en güvenli ve doğru yöntemdir .