Claude Fable 5 dari Anthropic Kalahkan Model Google di Benchmark Android Terbaru

Fable 5 juga memimpin benchmark coding yang lebih luas di industri. Laporan independen menunjukkan skor 95,0% di SWE-bench Verified dan 80,0% di SWE-bench Pro, jauh di atas model generasi sebelumnya ^WLM. Pada benchmark coding agen Terminal-Bench 2.0, Fable 5 mencatat akurasi 84,3% ^WB. Beberapa papan peringkat independen kini menempatkan Fable 5 sebagai model AI terbaik secara keseluruhan per Juli 2026 ^BB.

Peringkat Lebih Luas: GPT 5.5, Gemini 3.1 Pro, dan Lainnya

Semua model yang sebelumnya diperingkatkan dievaluasi ulang dengan metodologi berbasis Harbor yang baru, menghasilkan papan peringkat yang sangat berbeda ^DA. Berikut sepuluh besar menurut Android Bench:

Sumber: Laporan 9to5Google dari peringkat Android Bench yang disegarkan ^A.

Temuan utama dari papan peringkat yang diperbarui:

• Anthropic menguasai tiga dari enam posisi teratas (Fable 5, Sonnet 5, Opus 4.8), menjadikannya yang terkuat secara keseluruhan ^A.
• GPT 5.5 dari OpenAI adalah pesaing model tunggal terdekat dengan skor 80,2, tetapi tertinggal 4,3 poin dan memiliki latensi hampir dua kali lipat dari Fable 5 ^A.
• Gemini 3.1 Pro Preview milik Google sendiri berada di peringkat 5 dengan skor 73,7, di belakang dua model teratas Anthropic dan kedua model OpenAI ^A. Gemini 3.5 Flash yang lebih ringan berada lebih rendah di peringkat 8 dengan biaya dan latensi yang tinggi ^A.
• Kimi K2.7 Code menawarkan biaya terendah ($48,10) tetapi juga akurasi terendah (70,4) di antara 10 besar, menggambarkan trade-off biaya versus akurasi yang paling jelas ^A.

Migrasi ke Framework Harbor

Google menstandarisasi Android Bench pada framework Harbor, sebuah ekosistem evaluasi open-source yang dikembangkan oleh Laude Institute, tim di balik Terminal-Bench ^DATG. Sebelumnya, Android Bench menggunakan harness mini-swe-agent v1 khusus. Harbor menyediakan pipeline evaluasi berbasis kontainer yang terstandarisasi, mendukung deployment cloud, pengiriman tugas komunitas, dan peluncuran reinforcement learning ^ATQ.

Migrasi ini berarti semua skor model sebelumnya tidak dapat dibandingkan — setiap skor yang tercantum di atas adalah evaluasi baru di bawah metodologi Harbor ^9A. Google menyatakan langkah ini diperlukan untuk menjaga standar evaluasi tetap mutakhir seiring dengan pesatnya peningkatan LLM ^D.

Pengenalan Kontribusi Developer

Untuk pertama kalinya, Google membuka Android Bench untuk kontribusi komunitas ^9A. Kini developer dapat:

• Mengirimkan tugas pengembangan Android nyata untuk ditambahkan ke kumpulan data benchmark ^9A.
• Membagikan evaluasi benchmark mereka sendiri terhadap model menggunakan alat Harbor yang sama, memungkinkan perbandingan langsung untuk kasus penggunaan individu ^9A.

Google menggambarkan ini sebagai respons terhadap permintaan developer akan "cara untuk memberikan umpan balik pada kumpulan data kami" dan langkah menuju kolaborasi yang lebih dalam dengan komunitas pengembangan Android ⁹.

Trade-off Biaya vs. Akurasi

Papan peringkat yang disegarkan mengungkapkan pasar dengan kesenjangan signifikan antara pemimpin biaya dan pemimpin akurasi ^A:

• Model dengan akurasi tertinggi (Claude Fable 5, 84,5) berbiaya $133,20 per 1.000 tugas.
• Model termurah di 10 besar (Kimi K2.7 Code, $48,10) hanya mendapat skor 70,4, dengan kesenjangan akurasi 14,1 poin.
• Gemini 3.5 Flash adalah opsi termahal ($165,60) namun hanya mendapat skor 71,1.
• GPT 5.5 menawarkan keseimbangan terbaik antara akurasi tinggi dan biaya moderat: 80,2 dengan biaya $138,30.
• Claude Sonnet 5 memberikan nilai tambah kelas menengah: 76,2 dengan biaya $99,90.

Dinamika Kompetitif

Pembaruan Juli 2026 memperkuat persaingan tiga arah antara Anthropic, OpenAI, dan Google ^A:

• Anthropic adalah pemimpin jelas dalam akurasi murni. Skor 84,5 Fable 5 dan kedalaman Anthropic dengan tiga model di 6 besar menandakan bahwa investasinya dalam kemampuan coding spesifik Android membuahkan hasil ^AM.
• OpenAI adalah pesaing model tunggal terkuat dengan GPT 5.5 di 80,2, dan GPT 5.4 di 74,1 memegang posisi terhormat, tetapi OpenAI tidak memiliki kedalaman jajaran model seperti Anthropic ^A.
• Lini Gemini milik Google tertinggal dari kedua pesaing dalam akurasi. Meskipun memiliki benchmark ini, model Google sendiri berada di peringkat 5 dan 8 — sebuah kerentanan kompetitif yang secara terbuka diakui perusahaan dengan membuka benchmark ke komunitas dan mengundang pengiriman model pihak ketiga ^9AA.

Ini adalah pembaruan Android Bench pertama di mana model Anthropic memimpin benchmark milik Google sendiri untuk coding Android, sebuah pergeseran simbolis di pasar asisten AI seluler.