Google Android Bench-update: Claude Fable 5 verslaat Gemini en GPT, cost-vs-accuracy trade-offs in de schijnwerpers

Op 8 juli 2026 heeft Google een grote update uitgebracht voor Android Bench — het officiële leaderboard waarmee grote taalmodellen (LLM's) worden beoordeeld op hun vaardigheden voor echte Android-ontwikkeltaken ^D9. De update introduceert een nieuw nummer 1-model, een complete overstap naar het open-source Harbor-evaluatieframework, een systeem voor community-bijdragen, en een ververste ranglijst. Die ranglijst laat scherpe afwegingen zien tussen kosten en nauwkeurigheid ^DA.

Nieuw op 1: Anthropic's Claude Fable 5

Claude Fable 5 voert nu de Android Bench aan met een score van 84,5 — een voorsprong van meer dan 4 punten op de nummer 2 ^DA. De score weerspiegelt de nauwkeurigheid van het model op een reeks van 100 realistische Android-coderingstaken, afkomstig uit een verzameling van ongeveer 39.000 open-source pull-requests ^DG.

Fable 5 presteert ook uitstekend op bredere codeerbenchmarks. Onafhankelijke tests laten 95,0% op SWE-bench Verified en 80,0% op SWE-bench Pro zien, ruim vooruit op eerdere modellen ^WLM. Op de agentische codeerbenchmark Terminal-Bench 2.0 noteerde Fable 5 een nauwkeurigheid van 84,3% ^WB. Meerdere onafhankelijke leaderboards plaatsen Fable 5 per juli 2026 bovenaan als het beste AI-model overall ^BB.

De rest van de top 10: GPT 5.5, Gemini 3.1 Pro en anderen

Alle eerder gerangschikte modellen zijn opnieuw geëvalueerd met de nieuwe, op Harbor gebaseerde methodiek. Dat levert een flink ververste ranglijst op ^DA. De top 10 volgens Android Bench:

Rang	Model	Score	Gem. latentie (s)	Gem. kosten ($/1K taken)
1	Claude Fable 5 (Anthropic)	84,5	8,0	$133,20
2	GPT 5.5 (OpenAI)	80,2	15,7	$138,30
3	Claude Sonnet 5 (Anthropic)	76,2	12,3	$99,90
4	GPT 5.4 (OpenAI)	74,1	8,4	$83,40
5	Gemini 3.1 Pro Preview (Google)	73,7	10,6	$87,40
6	Claude Opus 4.8 (Anthropic)	72,4	6,7	$88,00
7	GLM 5.2	72,2	38,9	$117,00
8	Gemini 3.5 Flash (Google)	71,1	28,3	$165,60
9	Kimi K2.7 Code	70,4	31,8	$48,10

Bron: 9to5Google's verslaggeving van de ververste Android Bench-ranglijst ^A.

Opvallende punten uit de nieuwe stand:

• Anthropic bezet drie van de zes bovenste plaatsen (Fable 5, Sonnet 5, Opus 4.8) en heeft daarmee het sterkste totale aanbod ^A.
• OpenAI's GPT 5.5 is de dichtstbijzijnde concurrent met 80,2, maar blijft 4,3 punten achter en heeft bijna twee keer zoveel latentie als Fable 5 ^A.
• Googles eigen Gemini 3.1 Pro Preview staat op de 5e plaats met 73,7, achter zowel Anthropics topmodellen als de twee OpenAI-modellen ^A. De lichtere Gemini 3.5 Flash staat nog lager, op 71,1, met opvallend hoge kosten en latentie ^A.
• Kimi K2.7 Code biedt de laagste kosten ($48,10) maar ook de laagste nauwkeurigheid (70,4) in de top 10. Dit illustreert de meest duidelijke afweging tussen kosten en prestaties ^A.

De overstap naar het Harbor-framework

Google heeft Android Bench gestandaardiseerd op het Harbor-framework, een open-source evaluatie-ecosysteem ontwikkeld door het Laude Institute, het team achter Terminal-Bench ^DATG. Voorheen gebruikte Android Bench een eigen mini-swe-agent v1-testomgeving. Harbor biedt een gestandaardiseerde, container-gebaseerde evaluatiepijplijn die cloud-implementatie, het indienen van community-taken en het uitrollen van reinforcement learning ondersteunt ^ATQ.

De overstap betekent dat alle eerdere modelscores niet meer vergelijkbaar zijn — elke score hierboven is een verse evaluatie onder de Harbor-methodiek ^9A. Google gaf aan dat de verandering nodig was om de evaluatiestandaarden up-to-date te houden, nu LLM's zich razendsnel verbeteren ^D.

Introductie van bijdragen van ontwikkelaars

Voor het eerst stelt Google Android Bench open voor bijdragen uit de community ^9A. Ontwikkelaars kunnen nu:

• Echte Android-ontwikkeltaken indienen die aan de benchmarkdataset worden toegevoegd ^9A.
• Hun eigen benchmark-evaluaties delen van modellen, met dezelfde Harbor-tooling. Dat maakt directe vergelijking mogelijk voor specifieke use cases ^9A.

Google omschrijft dit als antwoord op de vraag van ontwikkelaars naar "een manier om feedback te geven op onze dataset" en als een stap richting diepere samenwerking met de Android-ontwikkelcommunity ⁹.

Afwegingen tussen kosten en nauwkeurigheid

De ververste ranglijst toont een markt met aanzienlijke verschillen tussen koplopers op het gebied van kosten en nauwkeurigheid ^A:

• Het meest nauwkeurige model (Claude Fable 5, 84,5) kost $133,20 per 1.000 taken.
• Het goedkoopste model in de top 10 (Kimi K2.7 Code, $48,10) scoort slechts 70,4, een verschil van 14,1 procentpunt.
• Gemini 3.5 Flash is de duurste optie ($165,60) maar scoort slechts 71,1.
• GPT 5.5 biedt de beste balans tussen hoge nauwkeurigheid en gematigde kosten: 80,2 voor $138,30.
• Claude Sonnet 5 is een middenklasse-optie: 76,2 voor $99,90.

Concurrentiedynamiek

De update van juli 2026 bevestigt een race met drie koplopers: Anthropic, OpenAI en Google ^A:

• Anthropic is de duidelijke leider op pure nauwkeurigheid. Fable 5's score van 84,5 en de diepte van Anthropic's aanbod (drie modellen in de top 6) laten zien dat de investering in Android-specifieke codeervaardigheden zijn vruchten afwerpt ^AM.
• OpenAI is met GPT 5.5 (80,2) de sterkste concurrent met één model. GPT 5.4 (74,1) staat ook op een nette plek, maar OpenAI mist de diepgang van Anthropic ^A.
• Google's Gemini-serie blijft qua nauwkeurigheid achter bij beide concurrenten. Hoewel Google eigenaar is van de benchmark, bezetten de eigen modellen de 5e en 8e plaats. Dat is een concurrentieel zwakke plek die het bedrijf openlijk erkent door de benchmark open te stellen voor de community en externe modellen uit te nodigen ^9AA.

Dit is de eerste Android Bench-update waarbij een Anthropic-model Googles eigen benchmark voor Android-codering aanvoert — een symbolische verschuiving in de markt voor mobiele AI-assistenten.