Anthropics Claude Fable 5 knuser Googles egen Android-trest

Fable 5 leder også bredere kodingsreferanser på tvers av bransjen. Uavhengige rapporter viser at den scorer 95,0 % på SWE-bench Verified og 80,0 % på SWE-bench Pro, godt foran tidligere generasjonsmodeller . På den agentiske kodingsreferansen Terminal-Bench 2.0 registrerte Fable 5 en nøyaktighet på 84,3 % . Flere uavhengige ledertavier rangerer nå Fable 5 som den beste totale AI-modellen per juli 2026 .

Øvrige plasseringer: GPT 5.5, Gemini 3.1 Pro og andre

Alle tidligere rangerte modeller ble reevaluert under den nye Harbor-baserte metodikken, noe som ga en betydelig fornyet ledertavle . Topp ti ifølge Android Bench:

Kilde: 9to5Googles rapportering fra Android Bench oppdaterte rangeringer .

Viktige observasjoner fra den oppdaterte stillingen:

• Anthropic har tre av de seks øverste plassene (Fable 5, Sonnet 5, Opus 4.8), noe som gir dem den sterkeste totale oppstillingen .
• OpenAIs GPT 5.5 er den nærmeste enkeltmodellutfordreren med 80,2, men ligger 4,3 poeng bak og har nesten dobbelt så lang ventetid som Fable 5 .
• Googles egen Gemini 3.1 Pro Preview rangerer 5. plass med 73,7, bak både Anthropics toppmodeller og begge OpenAI-oppføringene . Den lettere Gemini 3.5 Flash ligger enda lavere på 71,1 med bemerkelsesverdig høy kostnad og ventetid .
• Kimi K2.7 Code tilbyr den laveste kostnaden (48,10 dollar) men den laveste nøyaktigheten (70,4) blant topp 10, noe som illustrerer den tydeligste avveiningen mellom kostnad og nøyaktighet .

Overgang til Harbor-rammeverket

Google standardiserte Android Bench på Harbor-rammeverket, et åpent kildekode-økosystem for evaluering utviklet av Laude Institute, teamet bak Terminal-Bench . Tidligere brukte Android Bench en tilpasset mini-swe-agent v1-sele. Harbor tilbyr en standardisert, containerbasert evalueringspipeline som støtter skydistribusjon, fellesskapsinnsending av oppgaver og distribusjon av forsterkende læring .

Overgangen betyr at alle tidligere modellpoengsummer ikke er sammenlignbare — hver poengsum oppført ovenfor er en fersk evaluering under Harbor-metodikken . Google uttalte at flyttingen var nødvendig for å holde evalueringsstandardene oppdaterte etter hvert som LLM-er raskt forbedres .

Introduksjon av utviklerbidrag

For første gang har Google åpnet Android Bench for fellesskapsbidrag . Utviklere kan nå:

• Sende inn virkelige Android-utviklingsoppgaver som skal legges til benchmark-datasettet .
• Dele sine egne benchmark-evalueringer av modeller ved å bruke de samme Harbor-verktøyene, noe som muliggjør direkte sammenligning for individuelle brukstilfeller .

Google beskrev dette som et svar på utvikleres etterspørsel etter "en måte å gi tilbakemelding på datasettet vårt" og et steg mot dypere samarbeid med Android-utviklingsmiljøet .

Avveininger mellom kostnad og nøyaktighet

Den fornyede ledertavlen avslører et marked med betydelig spredning mellom kostnadsledere og nøyaktighetsledere :

• Modellen med høyest nøyaktighet (Claude Fable 5, 84,5) koster 133,20 dollar per 1 000 oppgaver.
• Den billigste modellen i topp 10 (Kimi K2.7 Code, 48,10 dollar) scorer bare 70,4, et nøyaktighetsgap på 14,1 poeng.
• Gemini 3.5 Flash er det dyreste alternativet (165,60 dollar) men scorer bare 71,1.
• GPT 5.5 tilbyr den beste balansen mellom høy nøyaktighet og moderat kostnad: 80,2 til 138,30 dollar.
• Claude Sonnet 5 gir et mellomklasseverditilbud: 76,2 til 99,90 dollar.

Konkurransedynamikk

Juli 2026-oppdateringen forsterker et tredelt kappløp mellom Anthropic, OpenAI og Google :

• Anthropic er den klare lederen på ren nøyaktighet. Fable 5s poengsum på 84,5 og Anthropics bredde med tre modeller blant de 6 beste signaliserer at investeringen i Android-spesifikk kodingsevne lønner seg .
• OpenAI er den sterkeste enkeltmodellkonkurrenten med GPT 5.5 på 80,2, og GPT 5.4 på 74,1 holder en respektabel posisjon, men OpenAI mangler Anthropics bredde i oppstillingen .
• Googles Gemini-linje ligger bak begge konkurrentene på nøyaktighet. Til tross for at de eier referansen, opptar Googles egne modeller 5. og 8. plass — en konkurransemessig sårbarhet som selskapet offentlig anerkjenner ved å åpne referansen for fellesskapet og invitere tredjepartsmodellinnsendinger .

Dette er den første Android Bench-oppdateringen der en Anthropic-modell leder Googles egen referanse for Android-koding, et symbolsk skifte i markedet for mobile AI-assistenter.