Claude Fable 5 se stal králem Android Bench: Co přinesla červencová aktualizace?

Fable 5 rovněž vede v širších kódovacích benchmarkech napříč odvětvím. Nezávislá hodnocení ukazují, že dosahuje 95,0 % na SWE-bench Verified a 80,0 % na SWE-bench Pro, což je výrazně více než u předchozí generace modelů ^WLM. Na agentním kódovacím benchmarku Terminal-Bench 2.0 zaznamenal Fable 5 přesnost 84,3 % ^WB. K červenci 2026 je Fable 5 na řadě nezávislých žebříčků hodnocen jako nejlepší AI model celkově ^BB.

Širší pořadí: GPT 5.5, Gemini 3.1 Pro a další

Všechny dříve hodnocené modely byly přehodnoceny podle nové metodiky založené na Harboru, což vedlo k podstatně obnovenému žebříčku ^DA. Nejlepší desítka podle Android Bench vypadá takto:

Zdroj: Reportáž 9to5Google z obnoveného žebříčku Android Bench ^A.

Klíčová pozorování z aktualizovaného pořadí:

• Anthropic drží tři z prvních šesti míst (Fable 5, Sonnet 5, Opus 4.8), což z něj dělá nejsilnější sestavu ^A.
• GPT 5.5 od OpenAI je nejbližším vyzyvatelem s jedním modelem na 80,2, ale zaostává o 4,3 bodu a má téměř dvojnásobnou latenci oproti Fable 5 ^A.
• Vlastní model Googlu, Gemini 3.1 Pro Preview, je na 5. místě s 73,7, tedy za oběma nejlepšími modely Anthropicu i oběma modely OpenAI ^A. Odlehčený model Gemini 3.5 Flash je ještě níže, na 71,1, s výrazně vyšší cenou a latencí ^A.
• Kimi K2.7 Code nabízí nejnižší cenu (48,10 $) ale také nejnižší přesnost (70,4) v první desítce, což nejlépe ilustruje kompromis mezi cenou a výkonem ^A.

Přechod na framework Harbor

Google standardizoval Android Bench na framework Harbor, otevřený evaluační ekosystém vyvinutý institutem Laude, týmem stojícím za Terminal-Bench ^DATG. Dříve Android Bench používal vlastní harness mini-swe-agent v1. Harbor poskytuje standardizované, kontejnerové vyhodnocovací prostředí, které podporuje nasazení v cloudu, komunitní zadávání úloh a nasazení pro posilované učení ^ATQ.

Tato migrace znamená, že všechna dřívější skóre modelů nejsou srovnatelná – každé výše uvedené skóre je čerstvým hodnocením podle metodiky Harboru ^9A. Google uvedl, že tento krok byl nezbytný k udržení evaluačních standardů na špičkové úrovni, protože LLM se rychle zlepšují ^D.

Zavedení komunitních příspěvků

Poprvé v historii Google otevřel Android Bench komunitním příspěvkům ^9A. Vývojáři nyní mohou:

• Přidávat reálné Android vývojářské úlohy do datové sady benchmarku ^9A.
• Sdílet vlastní hodnocení modelů pomocí stejných nástrojů Harboru, což umožňuje přímé srovnání pro jejich individuální případy použití ^9A.

Google popsal tento krok jako reakci na poptávku vývojářů po "způsobu, jak poskytnout zpětnou vazbu k naší datové sadě" a jako posun směrem k hlubší spolupráci s komunitou Android vývojářů ⁹.

Kompromisy mezi cenou a přesností

Obnovený žebříček odhaluje trh s výraznými rozdíly mezi cenovými a přesnostními lídry ^A:

• Model s nejvyšší přesností (Claude Fable 5, 84,5) stojí 133,20 $ za 1 000 úloh.
• Nejlevnější model v top 10 (Kimi K2.7 Code, 48,10 $) dosahuje pouze 70,4, což je propast 14,1 procentního bodu.
• Gemini 3.5 Flash je nejdražší variantou (165,60 $), přesto dosahuje pouze 71,1.
• GPT 5.5 nabízí nejlepší rovnováhu mezi vysokou přesností a mírnou cenou: 80,2 za 138,30 $.
• Claude Sonnet 5 představuje střední hodnotu: 76,2 za 99,90 $.

Konkurenční dynamika

Aktualizace z července 2026 potvrzuje třícestný souboj mezi Anthropicem, OpenAI a Googlem ^A:

• Anthropic je jasným lídrem v čisté přesnosti. Skóre Fable 5 (84,5) a hloubka sestavy se třemi modely v první šestce signalizují, že investice do schopnosti kódování specifického pro Android se vyplácí ^AM.
• OpenAI je nejsilnějším jedno-modelovým konkurentem s GPT 5.5 na 80,2 a GPT 5.4 na 74,1 drží solidní pozici, ale chybí mu sestava srovnatelná s Anthropicem ^A.
• Řada Gemini od Googlu zaostává za oběma konkurenty v přesnosti. Přestože Google benchmark vlastní, jeho vlastní modely obsazují 5. a 8. místo – konkurenční zranitelnost, kterou společnost veřejně přiznává otevřením benchmarku komunitě a pozváním modelů třetích stran ^9AA.

Jedná se o první aktualizaci Android Bench, kde model Anthropicu vede vlastní benchmark Googlu pro kódování na Androidu, což je symbolický posun na trhu mobilních AI asistentů.