Claude Fable 5 d'Anthropic détrône tous les concurrents sur Android Bench

Fable 5 domine également les benchmarks de codage plus larges. Des rapports indépendants lui attribuent un score de 95,0 % sur SWE-bench Verified et de 80,0 % sur SWE-bench Pro, loin devant les modèles de la génération précédente ^WLM. Sur le benchmark de codage agentique Terminal-Bench 2.0, Fable 5 a enregistré une précision de 84,3 % ^WB. Plusieurs classements indépendants placent désormais Fable 5 comme le meilleur modèle d'IA global en juillet 2026 ^BB.

Classement général : GPT 5.5, Gemini 3.1 Pro et autres

Tous les modèles précédemment classés ont été réévalués selon la nouvelle méthodologie basée sur Harbor, produisant un classement largement renouvelé ^DA. Voici le top 10 selon Android Bench :

Source : rapport de 9to5Google à partir des classements actualisés d'Android Bench ^A.

Observations clés du classement mis à jour :

• Anthropic occupe trois des six premières places (Fable 5, Sonnet 5, Opus 4.8), ce qui lui confère la gamme de modèles la plus solide ^A.
• GPT 5.5 d'OpenAI est le challenger le plus proche avec 80,2, mais il accuse un retard de 4,3 points et a une latence presque double de celle de Fable 5 ^A.
• Le propre modèle de Google, Gemini 3.1 Pro Preview, se classe 5e avec 73,7, derrière les deux meilleurs modèles d'Anthropic et les deux modèles d'OpenAI ^A. Le modèle plus léger Gemini 3.5 Flash se situe encore plus bas, à 71,1, avec un coût et une latence notablement élevés ^A.
• Kimi K2.7 Code offre le coût le plus bas (48,10 $) mais aussi la précision la plus faible (70,4) parmi le top 10, illustrant le compromis le plus net entre coût et précision ^A.

Migration vers le framework Harbor

Google a standardisé Android Bench sur le framework Harbor, un écosystème d'évaluation open-source développé par le Laude Institute, l'équipe à l'origine de Terminal-Bench ^DATG. Auparavant, Android Bench utilisait un harnais personnalisé mini-swe-agent v1. Harbor fournit un pipeline d'évaluation standardisé basé sur des conteneurs, prenant en charge le déploiement dans le cloud, la soumission de tâches par la communauté et les déploiements d'apprentissage par renforcement ^ATQ.

Cette migration signifie que tous les scores des modèles précédents ne sont pas comparables — chaque score listé ci-dessus est une évaluation fraîche selon la méthodologie Harbor ^9A. Google a déclaré que cette décision était nécessaire pour maintenir les normes d'évaluation à la pointe de la technologie, les LLM s'améliorant rapidement ^D.

Introduction des contributions des développeurs

Pour la première fois, Google a ouvert Android Bench aux contributions de la communauté ^9A. Les développeurs peuvent désormais :

• Soumettre des tâches de développement Android réelles pour qu'elles soient ajoutées à l'ensemble de données du benchmark ^9A.
• Partager leurs propres évaluations de benchmark des modèles en utilisant le même outillage Harbor, permettant une comparaison directe pour des cas d'utilisation individuels ^9A.

Google a présenté cette initiative comme une réponse à la demande des développeurs qui souhaitaient "un moyen de fournir des commentaires sur notre ensemble de données" et comme une étape vers une collaboration plus approfondie avec la communauté des développeurs Android ⁹.

Compromis entre coût et précision

Le classement actualisé révèle un marché avec un écart significatif entre les leaders en termes de coût et ceux en termes de précision ^A :

• Le modèle le plus précis (Claude Fable 5, 84,5) coûte 133,20 $ pour 1 000 tâches.
• Le modèle le moins cher du top 10 (Kimi K2.7 Code, 48,10 $) n'obtient qu'un score de 70,4, soit un écart de précision de 14,1 points.
• Gemini 3.5 Flash est l'option la plus chère (165,60 $) mais n'obtient qu'un score de 71,1.
• GPT 5.5 offre le meilleur équilibre entre haute précision et coût modéré : 80,2 pour 138,30 $.
• Claude Sonnet 5 représente un bon rapport qualité-prix intermédiaire : 76,2 pour 99,90 $.

Dynamique concurrentielle

La mise à jour de juillet 2026 renforce une course à trois entre Anthropic, OpenAI et Google ^A :

• Anthropic est le leader incontesté en termes de précision pure. Le score de 84,5 de Fable 5 et la profondeur de la gamme d'Anthropic avec trois modèles dans le top 6 signalent que son investissement dans la capacité de codage spécifique à Android porte ses fruits ^AM.
• OpenAI est le concurrent le plus fort avec un seul modèle, GPT 5.5 à 80,2, et GPT 5.4 à 74,1 occupe une position respectable, mais OpenAI manque de la profondeur de gamme d'Anthropic ^A.
• La gamme Gemini de Google est à la traîne des deux concurrents en termes de précision. Bien qu'elle possède le benchmark, les propres modèles de Google occupent les 5e et 8e places — une vulnérabilité concurrentielle que l'entreprise reconnaît publiquement en ouvrant le benchmark à la communauté et en invitant les soumissions de modèles tiers ^9AA.

Il s'agit de la première mise à jour d'Android Bench où un modèle d'Anthropic devance le propre benchmark de Google pour le codage Android, un changement symbolique sur le marché des assistants IA mobiles.