Claude Fable 5 от Anthropic возглавил Android Bench от Google: полный рейтинг, анализ стоимости и что означает обновление фреймворка Harbor

Fable 5 также лидирует в более широких бенчмарках по программированию. Независимые отчёты показывают результат 95,0% на SWE-bench Verified и 80,0% на SWE-bench Pro, что значительно опережает модели предыдущего поколения ^WLM. На агентивном бенчмарке Terminal-Bench 2.0 Fable 5 показала точность 84,3% ^WB. По состоянию на июль 2026 года несколько независимых рейтингов ставят Fable 5 на первое место среди всех моделей ИИ ^BB.

Общая расстановка: GPT 5.5, Gemini 3.1 Pro и другие

Все ранее ранжированные модели были переоценены по новой методологии на основе Harbor, что привело к существенно обновлённой таблице лидеров ^DA. Десять лучших моделей по версии Android Bench:

Источник: отчёт 9to5Google на основе обновлённого рейтинга Android Bench ^A.

Ключевые наблюдения из обновлённой таблицы:

• Anthropic занимает три из шести верхних позиций (Fable 5, Sonnet 5, Opus 4.8), что даёт компании сильнейший общий состав моделей ^A.
• GPT 5.5 от OpenAI — ближайший единоличный конкурент с результатом 80,2, но отстаёт на 4,3 пункта и имеет почти вдвое большую задержку по сравнению с Fable 5 ^A.
• Собственная модель Google Gemini 3.1 Pro Preview занимает лишь 5-е место с результатом 73,7, уступая обеим топ-моделям Anthropic и обеим моделям OpenAI ^A. Более лёгкая модель Gemini 3.5 Flash находится ещё ниже — на 8-м месте с результатом 71,1 и заметно высокой стоимостью и задержкой ^A.
• Kimi K2.7 Code предлагает самую низкую стоимость (48,10 долл.), но и самую низкую точность (70,4) среди топ-10, что иллюстрирует наиболее явный компромисс между стоимостью и точностью ^A.

Переход на фреймворк Harbor

Google стандартизировал Android Bench на фреймворке Harbor — открытой экосистеме оценки, разработанной институтом Laude, создателями Terminal-Bench ^DATG. Ранее Android Bench использовал собственный инструментарий mini-swe-agent v1. Harbor предоставляет стандартизированный конвейер оценки на основе контейнеров, поддерживающий облачное развёртывание, отправку задач сообществом и развёртывание обучения с подкреплением ^ATQ.

Миграция означает, что все предыдущие результаты моделей несопоставимы — каждый указанный выше результат является свежей оценкой по методологии Harbor ^9A. Google заявил, что этот шаг был необходим для поддержания стандартов оценки на современном уровне по мере быстрого совершенствования LLM ^D.

Введение вклада разработчиков

Впервые Google открыл Android Bench для вклада сообщества ^9A. Теперь разработчики могут:

• Отправлять реальные задачи Android-разработки для добавления в набор данных бенчмарка ^9A.
• Делиться собственными оценками бенчмарка моделей с помощью того же инструментария Harbor, что позволяет проводить прямое сравнение для индивидуальных случаев использования ^9A.

Google описал это как ответ на запрос разработчиков о "способе предоставлять обратную связь по нашему набору данных" и шаг к более глубокому сотрудничеству с сообществом Android-разработчиков ⁹.

Компромисс между стоимостью и точностью

Обновлённая таблица лидеров выявляет рынок со значительным разбросом между лидерами по стоимости и лидерами по точности ^A:

• Самая точная модель (Claude Fable 5, 84,5) стоит 133,20 долл. за 1 000 задач.
• Самая дешёвая модель в топ-10 (Kimi K2.7 Code, 48,10 долл.) набирает лишь 70,4 — разрыв в точности составляет 14,1 пункта.
• Gemini 3.5 Flash — самый дорогой вариант (165,60 долл.), но её результат составляет лишь 71,1.
• GPT 5.5 предлагает наилучший баланс высокой точности и умеренной стоимости: 80,2 при цене 138,30 долл.
• Claude Sonnet 5 представляет собой вариант среднего уровня: 76,2 при цене 99,90 долл.

Конкурентная динамика

Обновление июля 2026 года укрепляет трёхстороннюю конкуренцию между Anthropic, OpenAI и Google ^A:

• Anthropic является явным лидером по чистой точности. Результат Fable 5 (84,5) и глубина портфолио Anthropic с тремя моделями в топ-6 свидетельствуют о том, что инвестиции компании в способность к Android-специфичному программированию окупаются ^AM.
• OpenAI — сильнейший единоличный конкурент с GPT 5.5 (80,2), а GPT 5.4 (74,1) занимает достойную позицию, но OpenAI не хватает глубины портфолио, как у Anthropic ^A.
• Линейка Gemini от Google отстаёт от обоих конкурентов по точности. Несмотря на то, что Google владеет бенчмарком, его собственные модели занимают лишь 5-е и 8-е места — это конкурентная уязвимость, которую компания публично признаёт, открывая бенчмарк для сообщества и приглашая к отправке сторонних моделей ^9AA.

Это первое обновление Android Bench, в котором модель Anthropic возглавляет собственный бенчмарк Google для программирования под Android, что является символическим сдвигом на рынке мобильных ИИ-ассистентов.