Claude Fable 5 se stal králem Android Bench: Co přinesla červencová aktualizace?

Společnost Google 8. července 2026 vydala zásadní aktualizaci svého žebříčku Android Bench, oficiálního nástroje pro hodnocení velkých jazykových modelů (LLM) na reálných úlohách z vývoje pro Android . Tato aktualizace přináší nového lídra, kompletní přechod na otevřený evaluační framework Harbor, systém komunitních příspěvků a přepracovaný žebříček, který odhaluje zajímavé kompromisy mezi cenou a přesností .

Nový král žebříčku: Anthropicův Claude Fable 5

Model Claude Fable 5 od Anthropicu se nyní usadil na vrcholu Android Bench se skóre 84,5, což je náskok více než 4 body před druhým v pořadí . Toto skóre odráží přesnost modelu při řešení sady 100 reálných Android vývojářských úloh, které pocházejí z fondu přibližně 39 000 pull requestů z open-source projektů .

Fable 5 rovněž vede v širších kódovacích benchmarkech napříč odvětvím. Nezávislá hodnocení ukazují, že dosahuje 95,0 % na SWE-bench Verified a 80,0 % na SWE-bench Pro, což je výrazně více než u předchozí generace modelů . Na agentním kódovacím benchmarku Terminal-Bench 2.0 zaznamenal Fable 5 přesnost 84,3 % . K červenci 2026 je Fable 5 na řadě nezávislých žebříčků hodnocen jako nejlepší AI model celkově .

Širší pořadí: GPT 5.5, Gemini 3.1 Pro a další

Všechny dříve hodnocené modely byly přehodnoceny podle nové metodiky založené na Harboru, což vedlo k podstatně obnovenému žebříčku . Nejlepší desítka podle Android Bench vypadá takto:

Pořadí	Model	Skóre	Prům. latence (s)	Prům. cena ($/1K úloh)
1	Claude Fable 5 (Anthropic)	84,5	8,0	133,20 $
2	GPT 5.5 (OpenAI)	80,2	15,7	138,30 $
3	Claude Sonnet 5 (Anthropic)	76,2	12,3	99,90 $
4	GPT 5.4 (OpenAI)	74,1	8,4	83,40 $
5	Gemini 3.1 Pro Preview (Google)	73,7	10,6	87,40 $
6	Claude Opus 4.8 (Anthropic)	72,4	6,7	88,00 $
7	GLM 5.2	72,2	38,9	117,00 $
8	Gemini 3.5 Flash (Google)	71,1	28,3	165,60 $
9	Kimi K2.7 Code	70,4	31,8	48,10 $

Zdroj: Reportáž 9to5Google z obnoveného žebříčku Android Bench .

Klíčová pozorování z aktualizovaného pořadí:

• Anthropic drží tři z prvních šesti míst (Fable 5, Sonnet 5, Opus 4.8), což z něj dělá nejsilnější sestavu .
• GPT 5.5 od OpenAI je nejbližším vyzyvatelem s jedním modelem na 80,2, ale zaostává o 4,3 bodu a má téměř dvojnásobnou latenci oproti Fable 5 .
• Vlastní model Googlu, Gemini 3.1 Pro Preview, je na 5. místě s 73,7, tedy za oběma nejlepšími modely Anthropicu i oběma modely OpenAI . Odlehčený model Gemini 3.5 Flash je ještě níže, na 71,1, s výrazně vyšší cenou a latencí .
• Kimi K2.7 Code nabízí nejnižší cenu (48,10 $) ale také nejnižší přesnost (70,4) v první desítce, což nejlépe ilustruje kompromis mezi cenou a výkonem .

Přechod na framework Harbor

Google standardizoval Android Bench na framework Harbor, otevřený evaluační ekosystém vyvinutý institutem Laude, týmem stojícím za Terminal-Bench . Dříve Android Bench používal vlastní harness mini-swe-agent v1. Harbor poskytuje standardizované, kontejnerové vyhodnocovací prostředí, které podporuje nasazení v cloudu, komunitní zadávání úloh a nasazení pro posilované učení .

Tato migrace znamená, že všechna dřívější skóre modelů nejsou srovnatelná – každé výše uvedené skóre je čerstvým hodnocením podle metodiky Harboru . Google uvedl, že tento krok byl nezbytný k udržení evaluačních standardů na špičkové úrovni, protože LLM se rychle zlepšují .

Zavedení komunitních příspěvků

Poprvé v historii Google otevřel Android Bench komunitním příspěvkům . Vývojáři nyní mohou:

• Přidávat reálné Android vývojářské úlohy do datové sady benchmarku .
• Sdílet vlastní hodnocení modelů pomocí stejných nástrojů Harboru, což umožňuje přímé srovnání pro jejich individuální případy použití .

Google popsal tento krok jako reakci na poptávku vývojářů po "způsobu, jak poskytnout zpětnou vazbu k naší datové sadě" a jako posun směrem k hlubší spolupráci s komunitou Android vývojářů .

Kompromisy mezi cenou a přesností

Obnovený žebříček odhaluje trh s výraznými rozdíly mezi cenovými a přesnostními lídry :

• Model s nejvyšší přesností (Claude Fable 5, 84,5) stojí 133,20 $ za 1 000 úloh.
• Nejlevnější model v top 10 (Kimi K2.7 Code, 48,10 $) dosahuje pouze 70,4, což je propast 14,1 procentního bodu.
• Gemini 3.5 Flash je nejdražší variantou (165,60 $), přesto dosahuje pouze 71,1.
• GPT 5.5 nabízí nejlepší rovnováhu mezi vysokou přesností a mírnou cenou: 80,2 za 138,30 $.
• Claude Sonnet 5 představuje střední hodnotu: 76,2 za 99,90 $.

Konkurenční dynamika

Aktualizace z července 2026 potvrzuje třícestný souboj mezi Anthropicem, OpenAI a Googlem :

• Anthropic je jasným lídrem v čisté přesnosti. Skóre Fable 5 (84,5) a hloubka sestavy se třemi modely v první šestce signalizují, že investice do schopnosti kódování specifického pro Android se vyplácí .
• OpenAI je nejsilnějším jedno-modelovým konkurentem s GPT 5.5 na 80,2 a GPT 5.4 na 74,1 drží solidní pozici, ale chybí mu sestava srovnatelná s Anthropicem .
• Řada Gemini od Googlu zaostává za oběma konkurenty v přesnosti. Přestože Google benchmark vlastní, jeho vlastní modely obsazují 5. a 8. místo – konkurenční zranitelnost, kterou společnost veřejně přiznává otevřením benchmarku komunitě a pozváním modelů třetích stran .

Jedná se o první aktualizaci Android Bench, kde model Anthropicu vede vlastní benchmark Googlu pro kódování na Androidu, což je symbolický posun na trhu mobilních AI asistentů.