Claude Fable 5 від Anthropic — новий лідер Android Bench: повний рейтинг, аналіз витрат та оновлення фреймворку Harbor

Fable 5 також лідирує в ширших галузевих бенчмарках кодування. Незалежні звіти показують 95,0% на SWE-bench Verified та 80,0% на SWE-bench Pro, що значно випереджає моделі попередніх поколінь ^WLM. На агентному бенчмарку кодування Terminal-Bench 2.0 Fable 5 показав точність 84,3% ^WB. Станом на липень 2026 року кілька незалежних рейтингів визнають Fable 5 найкращою моделлю ШІ загалом ^BB.

Загальний рейтинг: GPT 5.5, Gemini 3.1 Pro та інші

Усі раніше рейтинговані моделі були переоцінені за новою методологією на основі Harbor, що призвело до суттєво оновленої таблиці лідерів ^DA. Топ-10 згідно з Android Bench:

Джерело: звіт 9to5Google за оновленими даними Android Bench ^A.

Ключові спостереження з оновленого рейтингу:

• Anthropic займає три з шести найкращих місць (Fable 5, Sonnet 5, Opus 4.8), що робить її найсильнішою лінійкою ^A.
• GPT 5.5 від OpenAI є найближчим конкурентом з показником 80,2, але відстає на 4,3 пункти та має майже вдвічі більшу затримку, ніж Fable 5 ^A.
• Власна модель Google Gemini 3.1 Pro Preview посідає лише 5-те місце з 73,7, поступаючись обом топ-моделям Anthropic та обом моделям OpenAI ^A. Легша версія Gemini 3.5 Flash знаходиться ще нижче — 71,1 з помітно високою вартістю та затримкою ^A.
• Kimi K2.7 Code пропонує найнижчу вартість ($48,10), але й найнижчу точність (70,4) серед топ-10, що ілюструє найбільш очевидний компроміс між вартістю та точністю ^A.

Перехід на фреймворк Harbor

Google стандартизував Android Bench на фреймворку Harbor, відкритій екосистемі оцінки, розробленій Інститутом Лауда, командою, що стоїть за Terminal-Bench ^DATG. Раніше Android Bench використовував власний тестовий механізм mini-swe-agent v1. Harbor забезпечує стандартизований конвеєр оцінки на основі контейнерів, який підтримує хмарне розгортання, подання завдань спільнотою та розгортання навчання з підкріпленням ^ATQ.

Міграція означає, що всі попередні оцінки моделей є непорівнянними — кожен показник, зазначений вище, є новою оцінкою за методологією Harbor ^9A. Google заявив, що цей крок був необхідний для підтримки стандартів оцінки на сучасному рівні, оскільки LLM швидко вдосконалюються ^D.

Впровадження внесків розробників

Вперше Google відкрив Android Bench для внесків спільноти ^9A. Розробники тепер можуть:

• Додавати реальні завдання з розробки Android до набору даних бенчмарку ^9A.
• Ділитися власними оцінками моделей, використовуючи той самий інструментарій Harbor, що дозволяє безпосередньо порівнювати для індивідуальних випадків використання ^9A.

Google описав це як відповідь на запит розробників щодо "способу надання зворотного зв'язку щодо нашого набору даних" та крок до глибшої співпраці зі спільнотою Android-розробників ⁹.

Компроміс між вартістю та точністю

Оновлений рейтинг демонструє ринок із значним розривом між лідерами за вартістю та лідерами за точністю ^A:

• Найточніша модель (Claude Fable 5, 84,5) коштує $133,20 за 1 000 завдань.
• Найдешевша модель у топ-10 (Kimi K2.7 Code, $48,10) набирає лише 70,4, що становить розрив у 14,1 пункту точності.
• Gemini 3.5 Flash є найдорожчим варіантом ($165,60), але має лише 71,1.
• GPT 5.5 пропонує найкращий баланс високої точності та помірної вартості: 80,2 за $138,30.
• Claude Sonnet 5 є варіантом середньої цінової категорії: 76,2 за $99,90.

Конкурентна динаміка

Оновлення липня 2026 року підкреслює тристоронню боротьбу між Anthropic, OpenAI та Google ^A:

• Anthropic є беззаперечним лідером за чистою точністю. Показник Fable 5 у 84,5 балів та глибина лінійки Anthropic з трьома моделями в топ-6 свідчать про те, що її інвестиції у здібності до кодування Android окупаються ^AM.
• OpenAI є найсильнішим конкурентом з однією моделлю — GPT 5.5 з показником 80,2, а GPT 5.4 з 74,1 займає гідне місце, але OpenAI не вистачає глибини лінійки Anthropic ^A.
• Лінійка Gemini від Google відстає від обох конкурентів за точністю. Незважаючи на те, що Google володіє бенчмарком, її власні моделі займають 5-те та 8-ме місця — це конкурентна вразливість, яку компанія публічно визнає, відкриваючи бенчмарк для спільноти та запрошуючи до подання сторонніх моделей ^9AA.

Це перше оновлення Android Bench, коли модель Anthropic очолює власний бенчмарк Google для кодування Android — символічний зсув на ринку мобільних AI-асистентів.