Claude Fable 5 dari Anthropic Kalahkan Model Google di Benchmark Android Terbaru

Pada 8 Juli 2026, Google merilis pembaruan besar untuk Android Bench — papan peringkat (leaderboard) resmi untuk mengevaluasi large language model (LLM) dalam mengerjakan tugas pengembangan Android di dunia nyata . Pembaruan ini menghadirkan model peringkat teratas yang baru, migrasi penuh ke framework evaluasi open-source bernama Harbor, sistem kontribusi komunitas, dan papan peringkat yang disegarkan yang memperlihatkan trade-off biaya versus akurasi .

Model Peringkat Teratas Baru: Claude Fable 5 dari Anthropic

Claude Fable 5 kini duduk di puncak Android Bench dengan skor 84,5, unggul lebih dari 4 poin dari pesaing terdekatnya . Skor ini mencerminkan akurasi model dalam menyelesaikan 100 tugas coding Android nyata yang diambil dari kumpulan sekitar 39.000 pull request open-source .

Fable 5 juga memimpin benchmark coding yang lebih luas di industri. Laporan independen menunjukkan skor 95,0% di SWE-bench Verified dan 80,0% di SWE-bench Pro, jauh di atas model generasi sebelumnya . Pada benchmark coding agen Terminal-Bench 2.0, Fable 5 mencatat akurasi 84,3% . Beberapa papan peringkat independen kini menempatkan Fable 5 sebagai model AI terbaik secara keseluruhan per Juli 2026 .

Peringkat Lebih Luas: GPT 5.5, Gemini 3.1 Pro, dan Lainnya

Semua model yang sebelumnya diperingkatkan dievaluasi ulang dengan metodologi berbasis Harbor yang baru, menghasilkan papan peringkat yang sangat berbeda . Berikut sepuluh besar menurut Android Bench:

Peringkat	Model	Skor	Rata-rata Latensi (detik)	Rata-rata Biaya ($/1.000 tugas)
1	Claude Fable 5 (Anthropic)	84,5	8,0	$133,20
2	GPT 5.5 (OpenAI)	80,2	15,7	$138,30
3	Claude Sonnet 5 (Anthropic)	76,2	12,3	$99,90
4	GPT 5.4 (OpenAI)	74,1	8,4	$83,40
5	Gemini 3.1 Pro Preview (Google)	73,7	10,6	$87,40
6	Claude Opus 4.8 (Anthropic)	72,4	6,7	$88,00
7	GLM 5.2	72,2	38,9	$117,00
8	Gemini 3.5 Flash (Google)	71,1	28,3	$165,60
9	Kimi K2.7 Code	70,4	31,8	$48,10

Sumber: Laporan 9to5Google dari peringkat Android Bench yang disegarkan .

Temuan utama dari papan peringkat yang diperbarui:

• Anthropic menguasai tiga dari enam posisi teratas (Fable 5, Sonnet 5, Opus 4.8), menjadikannya yang terkuat secara keseluruhan .
• GPT 5.5 dari OpenAI adalah pesaing model tunggal terdekat dengan skor 80,2, tetapi tertinggal 4,3 poin dan memiliki latensi hampir dua kali lipat dari Fable 5 .
• Gemini 3.1 Pro Preview milik Google sendiri berada di peringkat 5 dengan skor 73,7, di belakang dua model teratas Anthropic dan kedua model OpenAI . Gemini 3.5 Flash yang lebih ringan berada lebih rendah di peringkat 8 dengan biaya dan latensi yang tinggi .
• Kimi K2.7 Code menawarkan biaya terendah ($48,10) tetapi juga akurasi terendah (70,4) di antara 10 besar, menggambarkan trade-off biaya versus akurasi yang paling jelas .

Migrasi ke Framework Harbor

Google menstandarisasi Android Bench pada framework Harbor, sebuah ekosistem evaluasi open-source yang dikembangkan oleh Laude Institute, tim di balik Terminal-Bench . Sebelumnya, Android Bench menggunakan harness mini-swe-agent v1 khusus. Harbor menyediakan pipeline evaluasi berbasis kontainer yang terstandarisasi, mendukung deployment cloud, pengiriman tugas komunitas, dan peluncuran reinforcement learning .

Migrasi ini berarti semua skor model sebelumnya tidak dapat dibandingkan — setiap skor yang tercantum di atas adalah evaluasi baru di bawah metodologi Harbor . Google menyatakan langkah ini diperlukan untuk menjaga standar evaluasi tetap mutakhir seiring dengan pesatnya peningkatan LLM .

Pengenalan Kontribusi Developer

Untuk pertama kalinya, Google membuka Android Bench untuk kontribusi komunitas . Kini developer dapat:

• Mengirimkan tugas pengembangan Android nyata untuk ditambahkan ke kumpulan data benchmark .
• Membagikan evaluasi benchmark mereka sendiri terhadap model menggunakan alat Harbor yang sama, memungkinkan perbandingan langsung untuk kasus penggunaan individu .

Google menggambarkan ini sebagai respons terhadap permintaan developer akan "cara untuk memberikan umpan balik pada kumpulan data kami" dan langkah menuju kolaborasi yang lebih dalam dengan komunitas pengembangan Android .

Trade-off Biaya vs. Akurasi

Papan peringkat yang disegarkan mengungkapkan pasar dengan kesenjangan signifikan antara pemimpin biaya dan pemimpin akurasi :

• Model dengan akurasi tertinggi (Claude Fable 5, 84,5) berbiaya $133,20 per 1.000 tugas.
• Model termurah di 10 besar (Kimi K2.7 Code, $48,10) hanya mendapat skor 70,4, dengan kesenjangan akurasi 14,1 poin.
• Gemini 3.5 Flash adalah opsi termahal ($165,60) namun hanya mendapat skor 71,1.
• GPT 5.5 menawarkan keseimbangan terbaik antara akurasi tinggi dan biaya moderat: 80,2 dengan biaya $138,30.
• Claude Sonnet 5 memberikan nilai tambah kelas menengah: 76,2 dengan biaya $99,90.

Dinamika Kompetitif

Pembaruan Juli 2026 memperkuat persaingan tiga arah antara Anthropic, OpenAI, dan Google :

• Anthropic adalah pemimpin jelas dalam akurasi murni. Skor 84,5 Fable 5 dan kedalaman Anthropic dengan tiga model di 6 besar menandakan bahwa investasinya dalam kemampuan coding spesifik Android membuahkan hasil .
• OpenAI adalah pesaing model tunggal terkuat dengan GPT 5.5 di 80,2, dan GPT 5.4 di 74,1 memegang posisi terhormat, tetapi OpenAI tidak memiliki kedalaman jajaran model seperti Anthropic .
• Lini Gemini milik Google tertinggal dari kedua pesaing dalam akurasi. Meskipun memiliki benchmark ini, model Google sendiri berada di peringkat 5 dan 8 — sebuah kerentanan kompetitif yang secara terbuka diakui perusahaan dengan membuka benchmark ke komunitas dan mengundang pengiriman model pihak ketiga .

Ini adalah pembaruan Android Bench pertama di mana model Anthropic memimpin benchmark milik Google sendiri untuk coding Android, sebuah pergeseran simbolis di pasar asisten AI seluler.