Pada 8 Julai 2026, Google mengeluarkan kemas kini besar kepada Android Bench — papan pendahulu rasmi untuk menilai model bahasa besar (LLM) pada tugas pembangunan Android sebenar D9. Kemas kini ini memperkenalkan model ranking teratas baharu, migrasi penuh ke framework penilaian sumber terbuka Harbor, sistem sumbangan komuniti, dan papan pendahulu yang disegarkan yang mendedahkan pertukaran kos-berbanding-ketepatan yang ketara DA.
Model Ranking Teratas Baharu: Claude Fable 5 Anthropic
Claude Fable 5 kini menduduki puncak Android Bench dengan skor 84.5, mendahului lebih daripada 4 mata berbanding pesaing seterusnya DA. Skor ini mencerminkan ketepatan model pada suite 100 tugas pengekodan Android sebenar yang diambil daripada kira-kira 39,000 permintaan tarik (pull request) sumber terbuka DG.
Fable 5 juga mendahului penanda aras pengekodan yang lebih luas di seluruh industri. Laporan bebas menunjukkan ia mendapat 95.0% pada SWE-bench Verified dan 80.0% pada SWE-bench Pro, jauh mendahului model generasi sebelumnya WLM. Pada penanda aras pengekodan ejen Terminal-Bench 2.0, Fable 5 mencatatkan ketepatan 84.3% WB. Pelbagai papan pendahulu bebas kini meletakkan Fable 5 sebagai model AI keseluruhan terbaik setakat Julai 2026 .
Kedudukan Lebih Luas: GPT 5.5, Gemini 3.1 Pro, dan Lain-lain
Semua model yang sebelumnya disenaraikan telah dinilai semula di bawah metodologi berasaskan Harbor yang baharu, menghasilkan papan pendahulu yang banyak disegarkan DA. Sepuluh teratas menurut Android Bench:
| Ranking | Model | Skor | Purata Latensi (s) | Purata Kos ($/1K tugas) |
|---|
| 1 | Claude Fable 5 (Anthropic) | 84.5 | 8.0 | $133.20 |
| 2 | GPT 5.5 (OpenAI) | 80.2 | 15.7 | $138.30 |
| 3 | Claude Sonnet 5 (Anthropic) | 76.2 | 12.3 | $99.90 |
| 4 | GPT 5.4 (OpenAI) | 74.1 | 8.4 | $83.40 |
| 5 | Gemini 3.1 Pro Preview (Google) | 73.7 | 10.6 | $87.40 |
| 6 | Claude Opus 4.8 (Anthropic) | 72.4 | 6.7 | $88.00 |
| 7 | GLM 5.2 | 72.2 | 38.9 | $117.00 |
| 8 | Gemini 3.5 Flash (Google) | 71.1 | 28.3 | $165.60 |
| 9 | Kimi K2.7 Code | 70.4 | 31.8 | $48.10 |
Sumber: Laporan 9to5Google daripada ranking disegarkan Android Bench A.
Pemerhatian utama daripada kedudukan terkini:
- Anthropic memegang tiga daripada enam tempat teratas (Fable 5, Sonnet 5, Opus 4.8), menjadikannya barisan keseluruhan paling kukuh A.
- GPT 5.5 OpenAI adalah pencabar model tunggal paling dekat pada 80.2, tetapi ketinggalan 4.3 mata dan mempunyai latensi hampir dua kali ganda berbanding Fable 5 A.
- Gemini 3.1 Pro Preview Google sendiri menduduki tempat ke-5 pada 73.7, di belakang kedua-dua model teratas Anthropic dan kedua-dua penyertaan OpenAI A. Gemini 3.5 Flash yang lebih ringan berada lebih rendah pada 71.1 dengan kos dan latensi yang ketara tinggi A.
- Kimi K2.7 Code menawarkan kos terendah ($48.10) tetapi ketepatan terendah (70.4) dalam kalangan 10 teratas, menggambarkan pertukaran kos-berbanding-ketepatan yang paling jelas .
Migrasi ke Framework Harbor
Google menyeragamkan Android Bench pada framework Harbor, ekosistem penilaian sumber terbuka yang dibangunkan oleh Laude Institute, pasukan di sebalik Terminal-Bench DATG. Sebelum ini, Android Bench menggunakan abah-abah mini-swe-agent v1 tersuai. Harbor menyediakan saluran paip penilaian berasaskan kontena yang diseragamkan yang menyokong penggunaan awan, penyerahan tugas komuniti, dan pelancaran pembelajaran pengukuhan AT.
Migrasi ini bermakna semua skor model sebelumnya tidak setanding — setiap skor yang disenaraikan di atas adalah penilaian baharu di bawah metodologi Harbor 9A. Google menyatakan langkah ini perlu untuk memastikan piawaian penilaian kekal terkini seiring dengan peningkatan pesat LLM D.
Pengenalan Sumbangan Pembangun
Buat pertama kalinya, Google membuka Android Bench kepada sumbangan komuniti 9A. Pembangun kini boleh:
- Menghantar tugas pembangunan Android sebenar untuk ditambahkan ke set data penanda aras 9A.
- Berkongsi penilaian penanda aras mereka sendiri model menggunakan alat Harbor yang sama, membolehkan perbandingan langsung untuk kes penggunaan individu 9A.
Google menyifatkan ini sebagai respons kepada permintaan pembangun untuk "cara untuk memberikan maklum balas pada set data kami" dan langkah ke arah kerjasama yang lebih mendalam dengan komuniti pembangunan Android 9.
Pertukaran Kos-berbanding-Ketepatan
Papan pendahulu yang disegarkan mendedahkan pasaran dengan jurang ketara antara pemimpin kos dan pemimpin ketepatan A:
- Model ketepatan tertinggi (Claude Fable 5, 84.5) berharga $133.20 setiap 1K tugas.
- Model termurah dalam 10 teratas (Kimi K2.7 Code, $48.10) hanya mendapat 70.4, jurang ketepatan 14.1 mata.
- Gemini 3.5 Flash adalah pilihan paling mahal ($165.60) namun hanya mendapat 71.1.
- GPT 5.5 menawarkan keseimbangan terbaik ketepatan tinggi dan kos sederhana: 80.2 pada $138.30.
- Claude Sonnet 5 menyediakan tawaran nilai sederhana: 76.2 pada $99.90.
Dinamik Persaingan
Kemas kini Julai 2026 mengukuhkan perlumbaan tiga penjuru antara Anthropic, OpenAI, dan Google A:
- Anthropic adalah peneraju jelas pada ketepatan tulen. Skor Fable 5 84.5 dan kedalaman Anthropic dengan tiga model dalam 6 teratas menandakan bahawa pelaburannya dalam keupayaan pengekodan khusus Android membuahkan hasil AM.
- OpenAI adalah pesaing model tunggal terkuat dengan GPT 5.5 pada 80.2, dan GPT 5.4 pada 74.1 memegang kedudukan yang dihormati, tetapi OpenAI kekurangan kedalaman barisan Anthropic A.
- Barisan Gemini Google ketinggalan di belakang kedua-dua pesaing pada ketepatan. Walaupun memiliki penanda aras, model Google sendiri menduduki tempat ke-5 dan ke-8 — kelemahan daya saing yang diakui secara terbuka oleh syarikat dengan membuka penanda aras kepada komuniti dan menjemput penyerahan model pihak ketiga 9.
Ini adalah kemas kini Android Bench pertama di mana model Anthropic mendahului penanda aras Google sendiri untuk pengekodan Android, peralihan simbolik dalam pasaran pembantu AI mudah alih.
