Anthropic wyrywa prowadzenie Google'owi na własnym benchmarku

Fable 5 przewodzi również w szerszych benchmarkach kodowania. Niezależne raporty wskazują na 95,0% w SWE-bench Verified i 80,0% w SWE-bench Pro, co znacznie przewyższa modele poprzedniej generacji ^WLM. W agentycznym benchmarku Terminal-Bench 2.0 Fable 5 osiągnął 84,3% dokładności ^WB. Według wielu niezależnych rankingów, od lipca 2026 r. Fable 5 jest najlepszym ogólnym modelem AI ^BB.

Szersze zestawienie: GPT 5.5, Gemini 3.1 Pro i inne

Wszystkie wcześniej sklasyfikowane modele zostały ponownie ocenione według nowej metodologii Harbor, co dało w pełni odświeżoną tabelę liderów ^DA. Oto pierwsza dziesiątka według Android Bench:

Źródło: raport 9to5Google na podstawie odświeżonego rankingu Android Bench ^A.

Kluczowe spostrzeżenia z aktualnego zestawienia:

• Anthropic ma trzy modele w pierwszej szóstce (Fable 5, Sonnet 5, Opus 4.8), co daje mu najsilniejszą linię wśród wszystkich producentów ^A.
• OpenAI z modelem GPT 5.5 to najbliższy pojedynczy rywal z wynikiem 80,2 pkt, ale traci 4,3 pkt do lidera i ma prawie dwukrotnie większe opóźnienie ^A.
• Gemini 3.1 Pro Preview od Google plasuje się na 5. miejscu z wynikiem 73,7 pkt, za oboma modelami Anthropic i oboma modelami OpenAI ^A. Lżejszy Gemini 3.5 Flash jest jeszcze niżej – 71,1 pkt, przy znacząco wyższym koszcie i opóźnieniu ^A.
• Kimi K2.7 Code oferuje najniższy koszt (48,10 USD), ale też najniższą dokładność (70,4 pkt) wśród pierwszej dziesiątki, co stanowi najbardziej wyrazisty przykład kompromisu między kosztem a dokładnością ^A.

Migracja do frameworka Harbor

Google ujednoliciło Android Bench w oparciu o framework Harbor – otwarty ekosystem ewaluacyjny stworzony przez Laude Institute, zespół stojący za Terminal-Bench ^DATG. Wcześniej Android Bench korzystał z autorskiego narzędzia mini-swe-agent v1. Harbor zapewnia znormalizowany, kontenerowy potok ewaluacyjny, który obsługuje wdrożenia w chmurze, zgłaszanie zadań przez społeczność oraz wdrażanie uczenia przez wzmacnianie ^ATQ.

Migracja sprawia, że wszystkie wcześniejsze wyniki modeli nie są porównywalne – każdy wynik powyżej jest świeżą oceną według metodologii Harbor ^9A. Google stwierdziło, że zmiana była konieczna, aby standardy ewaluacji nadążały za szybkim rozwojem LLM ^D.

Wprowadzenie wkładu społeczności

Po raz pierwszy Google otworzyło Android Bench na wkład społeczności ^9A. Deweloperzy mogą teraz:

• Zgłaszać rzeczywiste zadania programistyczne dla Androida, które zostaną dodane do zbioru danych benchmarku ^9A.
• Udostępniać własne ewaluacje modeli przy użyciu tych samych narzędzi Harbor, umożliwiając bezpośrednie porównanie dla indywidualnych przypadków użycia ^9A.

Google określiło to jako odpowiedź na zapotrzebowanie deweloperów na „sposób przekazywania opinii na temat naszego zbioru danych” i krok w kierunku głębszej współpracy ze społecznością programistów Androida ⁹.

Kompromis między kosztem a dokładnością

Odświeżona tabela liderów ujawnia rynek ze znacznym rozstrzałem między liderami kosztów a liderami dokładności ^A:

• Najdokładniejszy model (Claude Fable 5, 84,5 pkt) kosztuje 133,20 USD za 1 tys. zadań.
• Najtańszy model w pierwszej dziesiątce (Kimi K2.7 Code, 48,10 USD) osiąga wynik tylko 70,4 pkt – różnica 14,1 pkt dokładności.
• Gemini 3.5 Flash jest najdroższą opcją (165,60 USD), a osiąga wynik tylko 71,1 pkt.
• GPT 5.5 oferuje najlepszy balans wysokiej dokładności i umiarkowanego kosztu: 80,2 pkt przy 138,30 USD.
• Claude Sonnet 5 to opcja średniej półki: 76,2 pkt przy 99,90 USD.

Dynamika konkurencyjna

Aktualizacja z lipca 2026 r. umacnia trójstronny wyścig między Anthropic, OpenAI i Google ^A:

• Anthropic to wyraźny lider pod względem czystej dokładności. Wynik Fable 5 (84,5 pkt) i głębia oferty (trzy modele w pierwszej szóstce) pokazują, że inwestycja w specjalizację w kodowaniu dla Androida się opłaca ^AM.
• OpenAI to najsilniejszy pojedynczy konkurent z modelem GPT 5.5 (80,2 pkt), a GPT 5.4 (74,1 pkt) utrzymuje przyzwoitą pozycję, ale OpenAI brakuje głębi oferty Anthropic ^A.
• Linia Gemini Google pozostaje w tyle za oboma konkurentami pod względem dokładności. Mimo że Google jest właścicielem benchmarku, jego własne modele zajmują 5. i 8. miejsce – jest to słabość konkurencyjna, którą firma publicznie przyznaje, otwierając benchmark na społeczność i zapraszając do zgłaszania modeli innych firm ^9AA.

To pierwsza aktualizacja Android Bench, w której model Anthropic przewodzi na własnym benchmarku Google dla kodowania na Androida – symboliczna zmiana na rynku mobilnych asystentów AI.