Anthropics Claude Fable 5 løber med førstepladsen: Googles Android Bench opdateret med ny topscorer, ny testmetode og åbent bidragssystem

Den 8. juli 2026 udgav Google en større opdatering af Android Bench – den officielle rangliste til evaluering af store sprogmodeller (LLM'er) på virkelige Android-udviklingsopgaver . Opdateringen introducerer en ny topscorer, et komplet skift til det open source-baserede Harbor-evalueringsrammeværk, et system for community-bidrag og en opdateret rangliste, der tydeligt viser afvejningen mellem omkostninger og nøjagtighed .

Ny topscorer: Anthropics Claude Fable 5

Claude Fable 5 indtager nu førstepladsen på Android Bench med en score på 84,5 – en føring på over 4 point til nærmeste konkurrent . Scoren afspejler modellens nøjagtighed på en række af 100 virkelige Android-kodningsopgaver, der er udvalgt fra en pulje på cirka 39.000 open source-pull requests .

Fable 5 fører også på tværs af bredere kodningsbenchmarks. Uafhængige rapporter viser, at den scorer 95,0 % på SWE-bench Verified og 80,0 % på SWE-bench Pro, hvilket er et godt stykke foran tidligere modeller . På den agentiske kodningsbenchmark Terminal-Bench 2.0 opnåede Fable 5 en nøjagtighed på 84,3 % . Flere uafhængige ranglister rangerer nu Fable 5 som den bedste AI-model samlet set pr. juli 2026 .

De øvrige placeringer: GPT 5.5, Gemini 3.1 Pro og flere

Alle tidligere rangerede modeller er blevet genvurderet under den nye Harbor-baserede metode, hvilket har resulteret i en markant opdateret rangliste . Top ti ifølge Android Bench:

Placering	Model	Score	Gennemsnitlig latenstid (s)	Gns. omkostning ($/1.000 opgaver)
1	Claude Fable 5 (Anthropic)	84,5	8,0	133,20 $
2	GPT 5.5 (OpenAI)	80,2	15,7	138,30 $
3	Claude Sonnet 5 (Anthropic)	76,2	12,3	99,90 $
4	GPT 5.4 (OpenAI)	74,1	8,4	83,40 $
5	Gemini 3.1 Pro Preview (Google)	73,7	10,6	87,40 $
6	Claude Opus 4.8 (Anthropic)	72,4	6,7	88,00 $
7	GLM 5.2	72,2	38,9	117,00 $
8	Gemini 3.5 Flash (Google)	71,1	28,3	165,60 $
9	Kimi K2.7 Code	70,4	31,8	48,10 $

Kilde: 9to5Googles dækning af Android Bench's opdaterede rangliste .

Centrale observationer fra de opdaterede placeringer:

• Anthropic har tre af de seks øverste pladser (Fable 5, Sonnet 5, Opus 4.8) og har dermed den stærkeste samlede opstilling .
• OpenAIs GPT 5.5 er den nærmeste enkeltmodel-konkurrent med 80,2, men halter 4,3 point efter og har næsten dobbelt så høj latenstid som Fable 5 .
• Googles egen Gemini 3.1 Pro Preview ligger på en 5. plads med 73,7, bag begge Anthropics topmodeller og begge OpenAI-modeller . Den lettere Gemini 3.5 Flash ligger endnu lavere med 71,1 og bemærkelsesværdigt høje omkostninger og latenstid .
• Kimi K2.7 Code tilbyder de laveste omkostninger (48,10 $), men også den laveste nøjagtighed (70,4) blandt top 10, hvilket illustrerer den tydeligste afvejning mellem pris og præstation .

Skiftet til Harbor-rammeværket

Google standardiserede Android Bench på Harbor-rammeværket, et open source-evalueringsøkosystem udviklet af Laude Institute, holdet bag Terminal-Bench . Tidligere brugte Android Bench en specialbygget mini-swe-agent v1-testopsætning. Harbor tilbyder en standardiseret, containerbaseret evalueringspipeline, der understøtter cloud-distribution, community-indsendelse af opgaver og reinforcement learning-udrulninger .

Overflytningen betyder, at alle tidligere modelscores ikke er sammenlignelige – hver score ovenfor er en ny evaluering under Harbor-metoden . Google oplyste, at skiftet var nødvendigt for at holde evalueringsstandarderne på et højt niveau, i takt med at LLM'erne hurtigt forbedres .

Introduktion af udviklerbidrag

For første gang har Google åbnet Android Bench for community-bidrag . Udviklere kan nu:

• Indsende rigtige Android-udviklingsopgaver, som kan føjes til benchmark-datasættet .
• Dele deres egne benchm arkevalueringer af modeller ved hjælp af de samme Harbor-værktøjer, hvilket muliggør direkte sammenligning til individuelle brugssituationer .

Google beskrev dette som et svar på udvikleres efterspørgsel efter ”en måde at give feedback på vores datasæt på” og et skridt mod et dybere samarbejde med Android-udviklerfællesskabet .

Afvejning mellem omkostninger og nøjagtighed

Den opdaterede rangliste afslører et marked med betydelige forskelle mellem omkostnings- og præstationsledere :

• Den mest nøjagtige model (Claude Fable 5, 84,5) koster 133,20 $ per 1.000 opgaver.
• Den billigste model i top 10 (Kimi K2.7 Code, 48,10 $) scorer kun 70,4 – en forskel på 14,1 point i nøjagtighed.
• Gemini 3.5 Flash er den dyreste mulighed (165,60 $), men scorer kun 71,1.
• GPT 5.5 tilbyder den bedste balance mellem høj nøjagtighed og moderate omkostninger: 80,2 til 138,30 $.
• Claude Sonnet 5 udgør et mellemklasse-valg: 76,2 til 99,90 $.

Konkurrencedynamik

Opdateringen fra juli 2026 understreger et tre-vejskapløb mellem Anthropic, OpenAI og Google :

• Anthropic er den klare leder inden for ren nøjagtighed. Fable 5's score på 84,5 og Anthropics bredde med tre modeller i top 6 viser, at investeringen i Android-specifik kodningsevne betaler sig .
• OpenAI er den stærkeste enkeltmodelkonkurrent med GPT 5.5 på 80,2, og GPT 5.4 på 74,1 indtager en respektabel position, men OpenAI mangler Anthropics bredde .
• Googles Gemini-serie halter efter begge konkurrenter i nøjagtighed. På trods af at Google ejer benchmarken, indtager deres egne modeller 5. og 8. pladsen – en konkurrencemæssig sårbarhed, som virksomheden anerkender ved at åbne benchmarken for fællesskabet og invitere tredjepartsmodelindsendelser .

Dette er den første Android Bench-opdatering, hvor en Anthropic-model fører Googles egen benchmark for Android-kodning – et symbolsk skift på markedet for mobile AI-assistenter.