Claude Fable 5, Android Bench’te Zirvede: Yeni Lider, Yeni Dönem

8 Temmuz 2026’da Google, büyük dil modellerini (LLM) gerçek dünya Android geliştirme görevlerinde değerlendiren resmi liderlik tablosu Android Bench’te kapsamlı bir güncelleme yayınladı . Bu güncelleme ile birlikte yeni bir birinci model, açık kaynak Harbor değerlendirme altyapısına tam geçiş, bir topluluk katkı sistemi ve maliyet ile doğruluk arasındaki keskin dengeleri gözler önüne seren yenilenmiş bir liderlik tablosu geldi .

Zirvedeki Yeni Model: Anthropic Claude Fable 5

Claude Fable 5, Android Bench’te 84.5 puanla zirveye oturdu ve en yakın rakibine 4 puandan fazla fark attı . Bu puan, yaklaşık 39.000 açık kaynaklı pull request havuzundan seçilen 100 gerçek dünya Android kodlama görevindeki başarıyı yansıtıyor .

Fable 5, sektör genelinde de kodlama kıyaslamalarında lider konumda. Bağımsız raporlar, modelin SWE-bench Verified’da %95.0 ve SWE-bench Pro’da %80.0 puan aldığını, önceki nesil modellerin oldukça ilerisinde olduğunu gösteriyor . Aracı kodlama kıyaslaması Terminal-Bench 2.0’da ise Fable 5, %84.3 doğruluk elde etti . Birden fazla bağımsız liderlik tablosu, Temmuz 2026 itibarıyla Fable 5’i genel yapay zeka modelleri arasında birinci sıraya koyuyor .

Genel Sıralama: GPT 5.5, Gemini 3.1 Pro ve Diğerleri

Daha önce sıralanmış tüm modeller, yeni Harbor tabanlı yöntemle yeniden değerlendirildi ve büyük ölçüde yenilenmiş bir liderlik tablosu ortaya çıktı . Android Bench’e göre ilk on sıra şöyle:

Sıra	Model	Puan	Ort. Gecikme (sn)	Ort. Maliyet ($/1K görev)
1	Claude Fable 5 (Anthropic)	84.5	8.0	$133.20
2	GPT 5.5 (OpenAI)	80.2	15.7	$138.30
3	Claude Sonnet 5 (Anthropic)	76.2	12.3	$99.90
4	GPT 5.4 (OpenAI)	74.1	8.4	$83.40
5	Gemini 3.1 Pro Preview (Google)	73.7	10.6	$87.40
6	Claude Opus 4.8 (Anthropic)	72.4	6.7	$88.00
7	GLM 5.2	72.2	38.9	$117.00
8	Gemini 3.5 Flash (Google)	71.1	28.3	$165.60
9	Kimi K2.7 Code	70.4	31.8	$48.10

Kaynak: 9to5Google’ın Android Bench’in güncellenen sıralamasına ilişkin raporu .

Güncellenen sıralamadan öne çıkanlar:

• Anthropic, ilk altı sıranın üçünü (Fable 5, Sonnet 5, Opus 4.8) elinde tutarak en güçlü genel kadroya sahip .
• OpenAI’nin GPT 5.5’i 80.2 puanla en yakın rakip ancak Fable 5’in 4.3 puan gerisinde ve neredeyse iki kat gecikmeye sahip .
• Google’ın kendi Gemini 3.1 Pro Preview’i 73.7 puanla 5. sırada, hem Anthropic’in zirve modellerinin hem de iki OpenAI modelinin gerisinde . Daha hafif olan Gemini 3.5 Flash ise 71.1 puanla, belirgin şekilde yüksek maliyet ve gecikmeyle daha alt sıralarda yer alıyor .
• Kimi K2.7 Code, ilk 10’daki en düşük maliyeti ($48.10) sunarken en düşük doğruluğa (70.4) sahip ve maliyet-doğruluk dengesini en net şekilde gösteriyor .

Harbor Framework’üne Geçiş

Google, Android Bench’i, Laude Enstitüsü (Terminal-Bench’in yaratıcıları) tarafından geliştirilen açık kaynak bir değerlendirme ekosistemi olan Harbor framework’üne taşıdı . Daha önce Android Bench, özel bir mini-swe-agent v1 altyapısı kullanıyordu. Harbor; bulut dağıtımını, topluluk görevi gönderimini ve pekiştirmeli öğrenme çalışmalarını destekleyen standart, konteyner tabanlı bir değerlendirme hattı sunuyor .

Bu geçiş, önceki tüm model puanlarının karşılaştırılamaz olduğu anlamına geliyor. Yukarıda listelenen her puan, Harbor yöntemiyle yapılan yeni bir değerlendirmedir . Google, bu adımın, LLM’ler hızla gelişirken değerlendirme standartlarını güncel tutmak için gerekli olduğunu belirtti .

Geliştirici Katkılarının Başlaması

Google, Android Bench’i ilk kez topluluk katkılarına açtı . Geliştiriciler artık:

• Kıyaslama veri setine eklenmek üzere gerçek Android geliştirme görevleri gönderebilir .
• Kendi kullanım senaryoları için doğrudan karşılaştırma yapabilmek adına aynı Harbor araçlarını kullanarak kendi kıyaslama değerlendirmelerini paylaşabilir .

Google, bu adımı geliştiricilerin “veri setimiz hakkında geri bildirim sağlama” talebine bir yanıt ve Android geliştirme topluluğuyla daha derin bir iş birliğine doğru atılmış bir adım olarak tanımladı .

Maliyet-Doğruluk Dengesi

Yenilenen liderlik tablosu, doğruluk liderleri ile maliyet liderleri arasında önemli bir fark olduğunu ortaya koyuyor :

• En yüksek doğruluktaki model (Claude Fable 5, 84.5) 1.000 görev başına $133.20’ye mal oluyor.
• İlk 10’daki en ucuz model (Kimi K2.7 Code, $48.10) yalnızca 70.4 puan alıyor; bu da 14.1 puanlık bir doğruluk farkı anlamına geliyor.
• Gemini 3.5 Flash, en pahalı seçenek ($165.60) olmasına rağmen yalnızca 71.1 puan alıyor.
• GPT 5.5, yüksek doğruluk ve orta düzey maliyetin en iyi dengesini sunuyor: 80.2 puan ve $138.30.
• Claude Sonnet 5, orta seviye bir değer sunuyor: 76.2 puan ve $99.90.

Rekabet Dinamikleri

Temmuz 2026 güncellemesi, Anthropic, OpenAI ve Google arasındaki üçlü yarışı pekiştiriyor :

• Anthropic, saf doğrulukta açık ara lider. Fable 5’in 84.5 puanı ve Anthropic’in ilk 6’da 3 modelle sahip olduğu derinlik, Android’e özel kodlama yeteneğine yaptığı yatırımın karşılığını aldığını gösteriyor .
• OpenAI, GPT 5.5 ile 80.2 puanda en güçlü tek model rakibi ve GPT 5.4 (74.1) saygın bir konumda, ancak Anthropic’in kadro derinliğinden yoksun .
• Google’ın Gemini serisi doğrulukta her iki rakibinin de gerisinde. Kıyaslamanın sahibi olmasına rağmen Google’ın kendi modelleri 5. ve 8. sırada yer alıyor. Şirket, kıyaslamayı topluluğa açarak ve üçüncü taraf model gönderimlerini davet ederek bu rekabetçi zafiyeti kamuoyu önünde kabul ediyor .

Bu, bir Anthropic modelinin Google’ın kendi kıyaslamasında Android kodlama alanında zirveye çıktığı ilk Android Bench güncellemesi. Mobil yapay zeka asistan pazarında sembolik bir değişime işaret ediyor.