Model Peringkat Teratas Baru: Claude Fable 5 dari Anthropic

Claude Fable 5 kini duduk di puncak Android Bench dengan skor 84,5, unggul lebih dari 4 poin dari pesaing terdekatnya . Skor ini mencerminkan akurasi model dalam menyelesaikan 100 tugas coding Android nyata yang diambil dari kumpulan sekitar 39.000 pull request open-source .

Fable 5 juga memimpin benchmark coding yang lebih luas di industri. Laporan independen menunjukkan skor 95,0% di SWE-bench Verified dan 80,0% di SWE-bench Pro, jauh di atas model generasi sebelumnya . Pada benchmark coding agen Terminal-Bench 2.0, Fable 5 mencatat akurasi 84,3% . Beberapa papan peringkat independen kini menempatkan Fable 5 sebagai model AI terbaik secara keseluruhan per Juli 2026 .

Peringkat Lebih Luas: GPT 5.5, Gemini 3.1 Pro, dan Lainnya

Semua model yang sebelumnya diperingkatkan dievaluasi ulang dengan metodologi berbasis Harbor yang baru, menghasilkan papan peringkat yang sangat berbeda . Berikut sepuluh besar menurut Android Bench:

Sumber: Laporan 9to5Google dari peringkat Android Bench yang disegarkan .

Temuan utama dari papan peringkat yang diperbarui:

• Anthropic menguasai tiga dari enam posisi teratas (Fable 5, Sonnet 5, Opus 4.8), menjadikannya yang terkuat secara keseluruhan .
• GPT 5.5 dari OpenAI adalah pesaing model tunggal terdekat dengan skor 80,2, tetapi tertinggal 4,3 poin dan memiliki latensi hampir dua kali lipat dari Fable 5 .
• Gemini 3.1 Pro Preview milik Google sendiri berada di peringkat 5 dengan skor 73,7, di belakang dua model teratas Anthropic dan kedua model OpenAI . Gemini 3.5 Flash yang lebih ringan berada lebih rendah di peringkat 8 dengan biaya dan latensi yang tinggi .
• Kimi K2.7 Code menawarkan biaya terendah ($48,10) tetapi juga akurasi terendah (70,4) di antara 10 besar, menggambarkan trade-off biaya versus akurasi yang paling jelas .

Migrasi ke Framework Harbor

Google menstandarisasi Android Bench pada framework Harbor, sebuah ekosistem evaluasi open-source yang dikembangkan oleh Laude Institute, tim di balik Terminal-Bench . Sebelumnya, Android Bench menggunakan harness mini-swe-agent v1 khusus. Harbor menyediakan pipeline evaluasi berbasis kontainer yang terstandarisasi, mendukung deployment cloud, pengiriman tugas komunitas, dan peluncuran reinforcement learning .

Migrasi ini berarti semua skor model sebelumnya tidak dapat dibandingkan — setiap skor yang tercantum di atas adalah evaluasi baru di bawah metodologi Harbor . Google menyatakan langkah ini diperlukan untuk menjaga standar evaluasi tetap mutakhir seiring dengan pesatnya peningkatan LLM .

Pengenalan Kontribusi Developer

Untuk pertama kalinya, Google membuka Android Bench untuk kontribusi komunitas . Kini developer dapat:

• Mengirimkan tugas pengembangan Android nyata untuk ditambahkan ke kumpulan data benchmark .
• Membagikan evaluasi benchmark mereka sendiri terhadap model menggunakan alat Harbor yang sama, memungkinkan perbandingan langsung untuk kasus penggunaan individu .

Google menggambarkan ini sebagai respons terhadap permintaan developer akan "cara untuk memberikan umpan balik pada kumpulan data kami" dan langkah menuju kolaborasi yang lebih dalam dengan komunitas pengembangan Android .

Trade-off Biaya vs. Akurasi

Papan peringkat yang disegarkan mengungkapkan pasar dengan kesenjangan signifikan antara pemimpin biaya dan pemimpin akurasi :

• Model dengan akurasi tertinggi (Claude Fable 5, 84,5) berbiaya $133,20 per 1.000 tugas.
• Model termurah di 10 besar (Kimi K2.7 Code, $48,10) hanya mendapat skor 70,4, dengan kesenjangan akurasi 14,1 poin.
• Gemini 3.5 Flash adalah opsi termahal ($165,60) namun hanya mendapat skor 71,1.
• GPT 5.5 menawarkan keseimbangan terbaik antara akurasi tinggi dan biaya moderat: 80,2 dengan biaya $138,30.
• Claude Sonnet 5 memberikan nilai tambah kelas menengah: 76,2 dengan biaya $99,90.

Dinamika Kompetitif

Pembaruan Juli 2026 memperkuat persaingan tiga arah antara Anthropic, OpenAI, dan Google :

• Anthropic adalah pemimpin jelas dalam akurasi murni. Skor 84,5 Fable 5 dan kedalaman Anthropic dengan tiga model di 6 besar menandakan bahwa investasinya dalam kemampuan coding spesifik Android membuahkan hasil .
• OpenAI adalah pesaing model tunggal terkuat dengan GPT 5.5 di 80,2, dan GPT 5.4 di 74,1 memegang posisi terhormat, tetapi OpenAI tidak memiliki kedalaman jajaran model seperti Anthropic .
• Lini Gemini milik Google tertinggal dari kedua pesaing dalam akurasi. Meskipun memiliki benchmark ini, model Google sendiri berada di peringkat 5 dan 8 — sebuah kerentanan kompetitif yang secara terbuka diakui perusahaan dengan membuka benchmark ke komunitas dan mengundang pengiriman model pihak ketiga .

Ini adalah pembaruan Android Bench pertama di mana model Anthropic memimpin benchmark milik Google sendiri untuk coding Android, sebuah pergeseran simbolis di pasar asisten AI seluler.

Model Peringkat Teratas Baru: Claude Fable 5 dari Anthropic

Claude Fable 5 kini duduk di puncak Android Bench dengan skor 84,5, unggul lebih dari 4 poin dari pesaing terdekatnya . Skor ini mencerminkan akurasi model dalam menyelesaikan 100 tugas coding Android nyata yang diambil dari kumpulan sekitar 39.000 pull request open-source .

Fable 5 juga memimpin benchmark coding yang lebih luas di industri. Laporan independen menunjukkan skor 95,0% di SWE-bench Verified dan 80,0% di SWE-bench Pro, jauh di atas model generasi sebelumnya . Pada benchmark coding agen Terminal-Bench 2.0, Fable 5 mencatat akurasi 84,3% . Beberapa papan peringkat independen kini menempatkan Fable 5 sebagai model AI terbaik secara keseluruhan per Juli 2026 .

Peringkat Lebih Luas: GPT 5.5, Gemini 3.1 Pro, dan Lainnya

Semua model yang sebelumnya diperingkatkan dievaluasi ulang dengan metodologi berbasis Harbor yang baru, menghasilkan papan peringkat yang sangat berbeda . Berikut sepuluh besar menurut Android Bench:

Sumber: Laporan 9to5Google dari peringkat Android Bench yang disegarkan .

Temuan utama dari papan peringkat yang diperbarui:

• Anthropic menguasai tiga dari enam posisi teratas (Fable 5, Sonnet 5, Opus 4.8), menjadikannya yang terkuat secara keseluruhan .
• GPT 5.5 dari OpenAI adalah pesaing model tunggal terdekat dengan skor 80,2, tetapi tertinggal 4,3 poin dan memiliki latensi hampir dua kali lipat dari Fable 5 .
• Gemini 3.1 Pro Preview milik Google sendiri berada di peringkat 5 dengan skor 73,7, di belakang dua model teratas Anthropic dan kedua model OpenAI . Gemini 3.5 Flash yang lebih ringan berada lebih rendah di peringkat 8 dengan biaya dan latensi yang tinggi .
• Kimi K2.7 Code menawarkan biaya terendah ($48,10) tetapi juga akurasi terendah (70,4) di antara 10 besar, menggambarkan trade-off biaya versus akurasi yang paling jelas .

Migrasi ke Framework Harbor

Google menstandarisasi Android Bench pada framework Harbor, sebuah ekosistem evaluasi open-source yang dikembangkan oleh Laude Institute, tim di balik Terminal-Bench . Sebelumnya, Android Bench menggunakan harness mini-swe-agent v1 khusus. Harbor menyediakan pipeline evaluasi berbasis kontainer yang terstandarisasi, mendukung deployment cloud, pengiriman tugas komunitas, dan peluncuran reinforcement learning .

Migrasi ini berarti semua skor model sebelumnya tidak dapat dibandingkan — setiap skor yang tercantum di atas adalah evaluasi baru di bawah metodologi Harbor . Google menyatakan langkah ini diperlukan untuk menjaga standar evaluasi tetap mutakhir seiring dengan pesatnya peningkatan LLM .

Pengenalan Kontribusi Developer

Untuk pertama kalinya, Google membuka Android Bench untuk kontribusi komunitas . Kini developer dapat:

• Mengirimkan tugas pengembangan Android nyata untuk ditambahkan ke kumpulan data benchmark .
• Membagikan evaluasi benchmark mereka sendiri terhadap model menggunakan alat Harbor yang sama, memungkinkan perbandingan langsung untuk kasus penggunaan individu .

Google menggambarkan ini sebagai respons terhadap permintaan developer akan "cara untuk memberikan umpan balik pada kumpulan data kami" dan langkah menuju kolaborasi yang lebih dalam dengan komunitas pengembangan Android .

Trade-off Biaya vs. Akurasi

Papan peringkat yang disegarkan mengungkapkan pasar dengan kesenjangan signifikan antara pemimpin biaya dan pemimpin akurasi :

• Model dengan akurasi tertinggi (Claude Fable 5, 84,5) berbiaya $133,20 per 1.000 tugas.
• Model termurah di 10 besar (Kimi K2.7 Code, $48,10) hanya mendapat skor 70,4, dengan kesenjangan akurasi 14,1 poin.
• Gemini 3.5 Flash adalah opsi termahal ($165,60) namun hanya mendapat skor 71,1.
• GPT 5.5 menawarkan keseimbangan terbaik antara akurasi tinggi dan biaya moderat: 80,2 dengan biaya $138,30.
• Claude Sonnet 5 memberikan nilai tambah kelas menengah: 76,2 dengan biaya $99,90.

Dinamika Kompetitif

Pembaruan Juli 2026 memperkuat persaingan tiga arah antara Anthropic, OpenAI, dan Google :

• Anthropic adalah pemimpin jelas dalam akurasi murni. Skor 84,5 Fable 5 dan kedalaman Anthropic dengan tiga model di 6 besar menandakan bahwa investasinya dalam kemampuan coding spesifik Android membuahkan hasil .
• OpenAI adalah pesaing model tunggal terkuat dengan GPT 5.5 di 80,2, dan GPT 5.4 di 74,1 memegang posisi terhormat, tetapi OpenAI tidak memiliki kedalaman jajaran model seperti Anthropic .
• Lini Gemini milik Google tertinggal dari kedua pesaing dalam akurasi. Meskipun memiliki benchmark ini, model Google sendiri berada di peringkat 5 dan 8 — sebuah kerentanan kompetitif yang secara terbuka diakui perusahaan dengan membuka benchmark ke komunitas dan mengundang pengiriman model pihak ketiga .

Ini adalah pembaruan Android Bench pertama di mana model Anthropic memimpin benchmark milik Google sendiri untuk coding Android, sebuah pergeseran simbolis di pasar asisten AI seluler.