Claude Fable 5 domina o Android Bench do Google; entenda o novo ranking, os custos e a mudança para o framework Harbor

Em 8 de julho de 2026, o Google liberou uma grande atualização do Android Bench — sua plataforma oficial para avaliar modelos de linguagem (LLMs) em tarefas reais de desenvolvimento Android ^D9. A atualização traz um novo modelo no topo do ranking, a migração completa para o framework de avaliação open-source Harbor, um sistema de contribuição da comunidade e um ranking reformulado que expõe os dilemas entre custo e precisão ^DA.

Novo líder do ranking: Claude Fable 5, da Anthropic

O Claude Fable 5 agora lidera o Android Bench com uma pontuação de 84,5, uma vantagem de mais de 4 pontos sobre o segundo colocado ^DA. A nota reflete a precisão do modelo em 100 tarefas reais de codificação Android, selecionadas a partir de um universo de aproximadamente 39 mil pull requests de projetos open-source ^DG.

O Fable 5 também domina benchmarks de codificação mais amplos. Análises independentes mostram que ele atinge 95,0% no SWE-bench Verified e 80,0% no SWE-bench Pro, bem à frente de modelos de gerações anteriores ^WLM. No benchmark agêntico Terminal-Bench 2.0, o Fable 5 registrou 84,3% de precisão ^WB. Vários rankings independentes agora colocam o Fable 5 como o melhor modelo de IA geral em julho de 2026 ^BB.

O restante do pódio: GPT 5.5, Gemini 3.1 Pro e outros

Todos os modelos previamente ranqueados foram reavaliados com a nova metodologia baseada no Harbor, gerando um ranking substancialmente renovado ^DA. Confira o top 10 do Android Bench:

Posição	Modelo	Pontuação	Latência Média (s)	Custo Médio (US$/1 mil tarefas)
1	Claude Fable 5 (Anthropic)	84,5	8,0	$133,20
2	GPT 5.5 (OpenAI)	80,2	15,7	$138,30
3	Claude Sonnet 5 (Anthropic)	76,2	12,3	$99,90
4	GPT 5.4 (OpenAI)	74,1	8,4	$83,40
5	Gemini 3.1 Pro Preview (Google)	73,7	10,6	$87,40
6	Claude Opus 4.8 (Anthropic)	72,4	6,7	$88,00
7	GLM 5.2	72,2	38,9	$117,00
8	Gemini 3.5 Flash (Google)	71,1	28,3	$165,60
9	Kimi K2.7 Code	70,4	31,8	$48,10

Fonte: reportagem do 9to5Google com base no ranking atualizado do Android Bench ^A.

Observações importantes do novo ranking:

• A Anthropic domina três das seis primeiras posições (Fable 5, Sonnet 5, Opus 4.8), tornando-se a empresa com o portfólio mais forte ^A.
• O GPT 5.5, da OpenAI, é o principal concorrente isolado, com 80,2 pontos, mas fica 4,3 pontos atrás do líder e tem quase o dobro da latência ^A.
• O Gemini 3.1 Pro Preview, do próprio Google, aparece apenas em 5º, com 73,7 pontos, atrás dos dois principais modelos da Anthropic e das duas entradas da OpenAI ^A. Já o Gemini 3.5 Flash, mais leve, fica em 8º, com custo e latência notavelmente altos ^A.
• O Kimi K2.7 Code oferece o menor custo (US$ 48,10), mas também a menor precisão (70,4) entre os 10 primeiros, ilustrando claramente o trade-off entre custo e desempenho ^A.

Migração para o framework Harbor

O Google padronizou o Android Bench no framework Harbor, um ecossistema de avaliação open-source desenvolvido pelo Laude Institute, a mesma equipe por trás do Terminal-Bench ^DATG. Antes, o Android Bench usava um harness personalizado chamado mini-swe-agent v1. O Harbor oferece uma pipeline de avaliação padronizada e baseada em contêineres, que suporta implantação em nuvem, submissão de tarefas pela comunidade e ciclos de reinforcement learning ^ATQ.

A migração significa que todas as pontuações anteriores não são comparáveis — cada nota listada acima é uma avaliação nova, feita com a metodologia do Harbor ^9A. O Google afirmou que a mudança foi necessária para manter os padrões de avaliação atualizados com o rápido avanço dos LLMs ^D.

Abertura para contribuições da comunidade

Pela primeira vez, o Google abriu o Android Bench para contribuições da comunidade ^9A. Desenvolvedores agora podem:

• Enviar tarefas reais de desenvolvimento Android para serem incorporadas ao conjunto de dados do benchmark ^9A.
• Compartilhar suas próprias avaliações de modelos usando as mesmas ferramentas do Harbor, permitindo comparações diretas para casos de uso específicos ^9A.

O Google descreveu a novidade como uma resposta à demanda dos desenvolvedores por "uma forma de fornecer feedback sobre nosso conjunto de dados" e um passo em direção a uma colaboração mais profunda com a comunidade de desenvolvimento Android ⁹.

O dilema custo versus precisão

O ranking reformulado revela um mercado com grande variação entre os modelos mais baratos e os mais precisos ^A:

• O modelo mais preciso (Claude Fable 5, 84,5) custa US$ 133,20 por 1.000 tarefas.
• O modelo mais barato entre os 10 primeiros (Kimi K2.7 Code, US$ 48,10) atinge apenas 70,4 pontos — uma diferença de 14,1 pontos na precisão.
• O Gemini 3.5 Flash é a opção mais cara (US$ 165,60), mas pontua apenas 71,1.
• O GPT 5.5 oferece o melhor equilíbrio entre alta precisão e custo moderado: 80,2 pontos por US$ 138,30.
• O Claude Sonnet 5 representa um bom custo-benefício na faixa intermediária: 76,2 pontos por US$ 99,90.

Dinâmica competitiva

A atualização de julho de 2026 reforça uma disputa de três pontas entre Anthropic, OpenAI e Google ^A:

• Anthropic é a líder clara em precisão pura. A pontuação de 84,5 do Fable 5 e a profundidade da empresa com três modelos no top 6 mostram que seu investimento em capacidade de codificação específica para Android está valendo a pena ^AM.
• OpenAI é a concorrente mais forte em modelo único, com o GPT 5,5 em 80,2 pontos, e o GPT 5.4 (74,1) mantém uma posição respeitável, mas a empresa não tem a mesma profundidade de portfólio da Anthropic ^A.
• A linha Gemini, do Google, fica atrás de ambos os concorrentes em precisão. Mesmo sendo a dona do benchmark, os modelos do Google ocupam apenas o 5º e o 8º lugares — uma vulnerabilidade competitiva que a empresa reconhece publicamente ao abrir o benchmark para a comunidade e convidar submissões de modelos de terceiros ^9AA.

Esta é a primeira atualização do Android Bench em que um modelo da Anthropic lidera o próprio benchmark do Google para codificação Android, uma mudança simbólica no mercado de assistentes de IA para dispositivos móveis.