Claude Fable 5 Mengatasi Semua Model dalam Android Bench Google — Analisis Penuh, Kos, dan Maksud Kemas Kini Harbor

Fable 5 juga mendahului penanda aras pengekodan yang lebih luas di seluruh industri. Laporan bebas menunjukkan ia mendapat 95.0% pada SWE-bench Verified dan 80.0% pada SWE-bench Pro, jauh mendahului model generasi sebelumnya . Pada penanda aras pengekodan ejen Terminal-Bench 2.0, Fable 5 mencatatkan ketepatan 84.3% . Pelbagai papan pendahulu bebas kini meletakkan Fable 5 sebagai model AI keseluruhan terbaik setakat Julai 2026 .

Kedudukan Lebih Luas: GPT 5.5, Gemini 3.1 Pro, dan Lain-lain

Semua model yang sebelumnya disenaraikan telah dinilai semula di bawah metodologi berasaskan Harbor yang baharu, menghasilkan papan pendahulu yang banyak disegarkan . Sepuluh teratas menurut Android Bench:

Sumber: Laporan 9to5Google daripada ranking disegarkan Android Bench .

Pemerhatian utama daripada kedudukan terkini:

• Anthropic memegang tiga daripada enam tempat teratas (Fable 5, Sonnet 5, Opus 4.8), menjadikannya barisan keseluruhan paling kukuh .
• GPT 5.5 OpenAI adalah pencabar model tunggal paling dekat pada 80.2, tetapi ketinggalan 4.3 mata dan mempunyai latensi hampir dua kali ganda berbanding Fable 5 .
• Gemini 3.1 Pro Preview Google sendiri menduduki tempat ke-5 pada 73.7, di belakang kedua-dua model teratas Anthropic dan kedua-dua penyertaan OpenAI . Gemini 3.5 Flash yang lebih ringan berada lebih rendah pada 71.1 dengan kos dan latensi yang ketara tinggi .
• Kimi K2.7 Code menawarkan kos terendah ($48.10) tetapi ketepatan terendah (70.4) dalam kalangan 10 teratas, menggambarkan pertukaran kos-berbanding-ketepatan yang paling jelas .

Migrasi ke Framework Harbor

Google menyeragamkan Android Bench pada framework Harbor, ekosistem penilaian sumber terbuka yang dibangunkan oleh Laude Institute, pasukan di sebalik Terminal-Bench . Sebelum ini, Android Bench menggunakan abah-abah mini-swe-agent v1 tersuai. Harbor menyediakan saluran paip penilaian berasaskan kontena yang diseragamkan yang menyokong penggunaan awan, penyerahan tugas komuniti, dan pelancaran pembelajaran pengukuhan .

Migrasi ini bermakna semua skor model sebelumnya tidak setanding — setiap skor yang disenaraikan di atas adalah penilaian baharu di bawah metodologi Harbor . Google menyatakan langkah ini perlu untuk memastikan piawaian penilaian kekal terkini seiring dengan peningkatan pesat LLM .

Pengenalan Sumbangan Pembangun

Buat pertama kalinya, Google membuka Android Bench kepada sumbangan komuniti . Pembangun kini boleh:

• Menghantar tugas pembangunan Android sebenar untuk ditambahkan ke set data penanda aras .
• Berkongsi penilaian penanda aras mereka sendiri model menggunakan alat Harbor yang sama, membolehkan perbandingan langsung untuk kes penggunaan individu .

Google menyifatkan ini sebagai respons kepada permintaan pembangun untuk "cara untuk memberikan maklum balas pada set data kami" dan langkah ke arah kerjasama yang lebih mendalam dengan komuniti pembangunan Android .

Pertukaran Kos-berbanding-Ketepatan

Papan pendahulu yang disegarkan mendedahkan pasaran dengan jurang ketara antara pemimpin kos dan pemimpin ketepatan :

• Model ketepatan tertinggi (Claude Fable 5, 84.5) berharga $133.20 setiap 1K tugas.
• Model termurah dalam 10 teratas (Kimi K2.7 Code, $48.10) hanya mendapat 70.4, jurang ketepatan 14.1 mata.
• Gemini 3.5 Flash adalah pilihan paling mahal ($165.60) namun hanya mendapat 71.1.
• GPT 5.5 menawarkan keseimbangan terbaik ketepatan tinggi dan kos sederhana: 80.2 pada $138.30.
• Claude Sonnet 5 menyediakan tawaran nilai sederhana: 76.2 pada $99.90.

Dinamik Persaingan

Kemas kini Julai 2026 mengukuhkan perlumbaan tiga penjuru antara Anthropic, OpenAI, dan Google :

• Anthropic adalah peneraju jelas pada ketepatan tulen. Skor Fable 5 84.5 dan kedalaman Anthropic dengan tiga model dalam 6 teratas menandakan bahawa pelaburannya dalam keupayaan pengekodan khusus Android membuahkan hasil .
• OpenAI adalah pesaing model tunggal terkuat dengan GPT 5.5 pada 80.2, dan GPT 5.4 pada 74.1 memegang kedudukan yang dihormati, tetapi OpenAI kekurangan kedalaman barisan Anthropic .
• Barisan Gemini Google ketinggalan di belakang kedua-dua pesaing pada ketepatan. Walaupun memiliki penanda aras, model Google sendiri menduduki tempat ke-5 dan ke-8 — kelemahan daya saing yang diakui secara terbuka oleh syarikat dengan membuka penanda aras kepada komuniti dan menjemput penyerahan model pihak ketiga .

Ini adalah kemas kini Android Bench pertama di mana model Anthropic mendahului penanda aras Google sendiri untuk pengekodan Android, peralihan simbolik dalam pasaran pembantu AI mudah alih.