Anthropic wyrywa prowadzenie Google'owi na własnym benchmarku

8 lipca 2026 roku Google opublikowało znaczącą aktualizację Android Bench – swojego oficjalnego rankingu dużych modeli językowych (LLM), oceniających je w rzeczywistych zadaniach programistycznych dla Androida . Aktualizacja wprowadza nowego lidera, całkowitą migrację do otwartego frameworka Harbor, system zgłaszania zadań przez społeczność oraz odświeżoną tabelę wyników, która unaocznia wyraźny kompromis między kosztem a dokładnością .

Nowy lider: Claude Fable 5 od Anthropic

Claude Fable 5 zajmuje pierwsze miejsce w Android Bench z wynikiem 84,5 pkt, wyprzedzając kolejnego konkurenta o ponad 4 punkty . Wynik odzwierciedla dokładność modelu w zestawie 100 rzeczywistych zadań programistycznych dla Androida, pochodzących z puli około 39 000 pull requestów z otwartego kodu .

Fable 5 przewodzi również w szerszych benchmarkach kodowania. Niezależne raporty wskazują na 95,0% w SWE-bench Verified i 80,0% w SWE-bench Pro, co znacznie przewyższa modele poprzedniej generacji . W agentycznym benchmarku Terminal-Bench 2.0 Fable 5 osiągnął 84,3% dokładności . Według wielu niezależnych rankingów, od lipca 2026 r. Fable 5 jest najlepszym ogólnym modelem AI .

Szersze zestawienie: GPT 5.5, Gemini 3.1 Pro i inne

Wszystkie wcześniej sklasyfikowane modele zostały ponownie ocenione według nowej metodologii Harbor, co dało w pełni odświeżoną tabelę liderów . Oto pierwsza dziesiątka według Android Bench:

Miejsce	Model	Wynik	Średnie opóźnienie (s)	Średni koszt ($/1 tys. zadań)
1	Claude Fable 5 (Anthropic)	84,5	8,0	133,20 USD
2	GPT 5.5 (OpenAI)	80,2	15,7	138,30 USD
3	Claude Sonnet 5 (Anthropic)	76,2	12,3	99,90 USD
4	GPT 5.4 (OpenAI)	74,1	8,4	83,40 USD
5	Gemini 3.1 Pro Preview (Google)	73,7	10,6	87,40 USD
6	Claude Opus 4.8 (Anthropic)	72,4	6,7	88,00 USD
7	GLM 5.2	72,2	38,9	117,00 USD
8	Gemini 3.5 Flash (Google)	71,1	28,3	165,60 USD
9	Kimi K2.7 Code	70,4	31,8	48,10 USD

Źródło: raport 9to5Google na podstawie odświeżonego rankingu Android Bench .

Kluczowe spostrzeżenia z aktualnego zestawienia:

• Anthropic ma trzy modele w pierwszej szóstce (Fable 5, Sonnet 5, Opus 4.8), co daje mu najsilniejszą linię wśród wszystkich producentów .
• OpenAI z modelem GPT 5.5 to najbliższy pojedynczy rywal z wynikiem 80,2 pkt, ale traci 4,3 pkt do lidera i ma prawie dwukrotnie większe opóźnienie .
• Gemini 3.1 Pro Preview od Google plasuje się na 5. miejscu z wynikiem 73,7 pkt, za oboma modelami Anthropic i oboma modelami OpenAI . Lżejszy Gemini 3.5 Flash jest jeszcze niżej – 71,1 pkt, przy znacząco wyższym koszcie i opóźnieniu .
• Kimi K2.7 Code oferuje najniższy koszt (48,10 USD), ale też najniższą dokładność (70,4 pkt) wśród pierwszej dziesiątki, co stanowi najbardziej wyrazisty przykład kompromisu między kosztem a dokładnością .

Migracja do frameworka Harbor

Google ujednoliciło Android Bench w oparciu o framework Harbor – otwarty ekosystem ewaluacyjny stworzony przez Laude Institute, zespół stojący za Terminal-Bench . Wcześniej Android Bench korzystał z autorskiego narzędzia mini-swe-agent v1. Harbor zapewnia znormalizowany, kontenerowy potok ewaluacyjny, który obsługuje wdrożenia w chmurze, zgłaszanie zadań przez społeczność oraz wdrażanie uczenia przez wzmacnianie .

Migracja sprawia, że wszystkie wcześniejsze wyniki modeli nie są porównywalne – każdy wynik powyżej jest świeżą oceną według metodologii Harbor . Google stwierdziło, że zmiana była konieczna, aby standardy ewaluacji nadążały za szybkim rozwojem LLM .

Wprowadzenie wkładu społeczności

Po raz pierwszy Google otworzyło Android Bench na wkład społeczności . Deweloperzy mogą teraz:

• Zgłaszać rzeczywiste zadania programistyczne dla Androida, które zostaną dodane do zbioru danych benchmarku .
• Udostępniać własne ewaluacje modeli przy użyciu tych samych narzędzi Harbor, umożliwiając bezpośrednie porównanie dla indywidualnych przypadków użycia .

Google określiło to jako odpowiedź na zapotrzebowanie deweloperów na „sposób przekazywania opinii na temat naszego zbioru danych” i krok w kierunku głębszej współpracy ze społecznością programistów Androida .

Kompromis między kosztem a dokładnością

Odświeżona tabela liderów ujawnia rynek ze znacznym rozstrzałem między liderami kosztów a liderami dokładności :

• Najdokładniejszy model (Claude Fable 5, 84,5 pkt) kosztuje 133,20 USD za 1 tys. zadań.
• Najtańszy model w pierwszej dziesiątce (Kimi K2.7 Code, 48,10 USD) osiąga wynik tylko 70,4 pkt – różnica 14,1 pkt dokładności.
• Gemini 3.5 Flash jest najdroższą opcją (165,60 USD), a osiąga wynik tylko 71,1 pkt.
• GPT 5.5 oferuje najlepszy balans wysokiej dokładności i umiarkowanego kosztu: 80,2 pkt przy 138,30 USD.
• Claude Sonnet 5 to opcja średniej półki: 76,2 pkt przy 99,90 USD.

Dynamika konkurencyjna

Aktualizacja z lipca 2026 r. umacnia trójstronny wyścig między Anthropic, OpenAI i Google :

• Anthropic to wyraźny lider pod względem czystej dokładności. Wynik Fable 5 (84,5 pkt) i głębia oferty (trzy modele w pierwszej szóstce) pokazują, że inwestycja w specjalizację w kodowaniu dla Androida się opłaca .
• OpenAI to najsilniejszy pojedynczy konkurent z modelem GPT 5.5 (80,2 pkt), a GPT 5.4 (74,1 pkt) utrzymuje przyzwoitą pozycję, ale OpenAI brakuje głębi oferty Anthropic .
• Linia Gemini Google pozostaje w tyle za oboma konkurentami pod względem dokładności. Mimo że Google jest właścicielem benchmarku, jego własne modele zajmują 5. i 8. miejsce – jest to słabość konkurencyjna, którą firma publicznie przyznaje, otwierając benchmark na społeczność i zapraszając do zgłaszania modeli innych firm .

To pierwsza aktualizacja Android Bench, w której model Anthropic przewodzi na własnym benchmarku Google dla kodowania na Androida – symboliczna zmiana na rynku mobilnych asystentów AI.