Gemini 4’ün yüksek test puanları gerçek kullanımda soru işaretlerini gidermedi

Bloomberg’in haberine göre Gemini 4, yapay zekâ modellerini ölçmek için kullanılan yaygın kıyaslama testlerinde iyi sonuçlar aldı; ancak Google’da modele erişimi bulunan bazı çalışanlar, belirli kodlama görevlerinde performansın gerçek kullanımda gerilediğini söyledi. Bu değerlendirmeler anonim çalışan görüşlerine dayanıyor; modelin bütün yeteneklerini ortaya koyan bağımsız ve kapsamlı bir test değil. 7

Aynı gün yayımlanan başka bir haberde Google’ın Gemini 4 Argon’u tanıttığı bildirildi. Ancak şirket, modelin genel kullanıma ne zaman açılacağına ilişkin bir takvim vermedi. Dolayısıyla çalışanların aktardığı kaygılar, duyuru ve genel erişim tarihinden ayrı değerlendirilmesi gereken bir iç performans tartışması. 710

Test puanları ile günlük kullanım neden farklı olabilir?

Benchmark’lar, modelleri ortak ve standartlaştırılmış ölçütlerle karşılaştırmaya yarar. Çalışanların belirli görevlerde edindiği deneyim ise başka türden bir gösterge sunar. Bloomberg’in aktardığı görüşler, yüksek test puanlarının kodlama alanındaki tüm endişeleri gidermediğine işaret ediyor; Gemini 4’ün her gerçek dünya görevinde başarısız olduğunu göstermiyor. 7

Kodlama performansı Google açısından özellikle önemli. Bloomberg, nisan ayında şirket yöneticilerinin yapay zekâ destekli kodlama araçlarında geride kalmaktan kaygı duyduğunu ve Anthropic’in iş dünyasında daha etkili ve popüler bulunan araçlarının rekabet baskısını artırdığını yazmıştı. 4

Temmuzdaki ayrı bir haberde ise Google’ın Gemini 3.5 Pro’nun çıkışını, özellikle kodlama yeteneklerini geliştirmek için ertelediği aktarılmıştı. Haberde görüşlerine yer verilen çalışanlar, Anthropic ve OpenAI modellerinin Gemini’nin yeteneklerini aştığından endişe ediyordu. Reuters da Gemini 3.5 Pro’nun, kodlama araçları ve yapay zekâ ajanı görevlerinde Google’ın rakiplerini yakalamasına yardımcı olması için geliştirildiğini bildirmişti. 12

Bu haberler, Google’ın rekabet ortamına dair bağlam sunuyor; ancak Gemini 3.5 Pro’yla ilgili sorunların Gemini 4’te de bulunduğunu ya da Google’ın yarışı kaybettiğini kanıtlamıyor. Mevcut kaynaklar, Gemini 4 hakkındaki çalışan yorumlarının belirli ürünlere veya müşterilere nasıl yansıyacağını da ortaya koymuyor. 247

Gemini 3.5 Pro rafa mı kaldırıldı?

Kaynakların desteklediği ifade, Gemini 3.5 Pro’nun özellikle kodlama performansını iyileştirme çalışmaları nedeniyle geciktiği. Modelin tamamen iptal edildiği ya da rafa kaldırıldığı bu haberlerle doğrulanmıyor. 12

Bir modelin çıkışının ertelenmesi, iptal edildiği anlamına gelmez. Ayrıca Gemini 3.5 Pro hakkındaki gecikme haberleri, Gemini 4’ün performansına ilişkin kanıt olarak değerlendirilmemeli; Bloomberg’in Gemini 4 haberi ayrı çalışan kaygılarını konu alıyor. 17

Google eleştirilere ne yanıt verdi?

Bloomberg’in haberini aktaran ZeroHedge’e göre Google, Gemini 4’ün kodlamada beklentilerin altında kaldığını söylemenin “isabetsiz” olacağını belirtti. Böylece şirketin yanıtı, anonim çalışanların aktardığı değerlendirmelerle çelişiyor. Eldeki kaynaklarda bu anlaşmazlığı sonuçlandıracak bağımsız ve kamuya açık bir test bulunmuyor. 57

Alphabet hisseleri nasıl etkilendi?

Bloomberg haberinin ardından Alphabet hisseleri gün içindeki kazançlarının bir kısmını geri verdi. Investing.com’a dayandırılan habere göre hisseler, yüzde 2’nin üzerinde artıdayken kapanışa yakın yaklaşık yüzde 0,5 artıda işlem görüyordu. Yani yükseliş azaldı, ancak hisse önceki kapanışın altına inmedi. 9

Haberin ortaya koyduğu ve koymadığı

Haberin işaret ettiği temel soru şu: Gemini 4’ün güçlü benchmark sonuçları, çalışanların denediği kodlama görevlerinde de karşılık buluyor mu? Şimdilik eldeki tablo, anonim şirket içi değerlendirmeler ile Google’ın itirazından oluşuyor; kapsamlı bir kamuya açık performans incelemesi değil. Gemini 3.5 Pro’nun gecikmesi rekabet bağlamı sağlıyor, fakat modelin iptal edildiğini veya Gemini 4’ün rakiplerinin genel olarak gerisinde kaldığını göstermiyor. 157