KI-Showdown auf Android-Bench: Claude Fable 5 entthront Googles eigene Modelle

Fable 5 führt auch in breiteren Codierungs-Benchmarks der Branche. Unabhängige Berichte zeigen, dass es 95,0 % im SWE-bench Verified und 80,0 % im SWE-bench Pro erreicht und damit frühere Modelle deutlich hinter sich lässt ^WLM. Im agentischen Codierungs-Benchmark Terminal-Bench 2.0 erzielte Fable 5 eine Genauigkeit von 84,3 % ^WB. Mehrere unabhängige Bestenlisten führen Fable 5 seit Juli 2026 als das insgesamt beste KI-Modell ^BB.

Die weiteren Platzierungen: GPT 5.5, Gemini 3.1 Pro und andere

Alle zuvor gelisteten Modelle wurden mit der neuen Harbor-Methodik neu bewertet, was zu einer deutlich veränderten Rangliste führte ^DA. Die Top Ten laut Android Bench:

Quelle: Berichterstattung von 9to5Google über die aktualisierte Android-Bench-Rangliste ^A.

Wichtige Erkenntnisse aus den aktualisierten Platzierungen:

• Anthropic hält drei der ersten sechs Plätze (Fable 5, Sonnet 5, Opus 4.8) und hat damit das insgesamt stärkste Line-up ^A.
• OpenAIs GPT 5.5 ist der nächste einzelne Herausforderer mit 80,2 Punkten, liegt aber 4,3 Punkte zurück und hat eine fast doppelt so hohe Latenzzeit wie Fable 5 ^A.
• Googles eigene Gemini 3.1 Pro Preview liegt mit 73,7 Punkten auf Platz 5, hinter beiden Top-Modellen von Anthropic und beiden OpenAI-Modellen ^A. Die leichtere Gemini 3.5 Flash liegt mit 71,1 Punkten noch weiter hinten und hat zudem auffallend hohe Kosten und Latenz ^A.
• Kimi K2.7 Code bietet die niedrigsten Kosten (48,10 $), aber auch die geringste Genauigkeit (70,4) unter den Top 10 – der deutlichste Kostenvorteil bei gleichzeitigem Genauigkeitsverlust ^A.

Umstellung auf das Harbor-Framework

Google hat Android Bench auf das Harbor-Framework standardisiert – ein quelloffenes Auswertungs-Ökosystem, das vom Laude Institute entwickelt wurde, dem Team hinter Terminal-Bench ^DATG. Zuvor nutzte Android Bench eine eigene mini-swe-agent v1-Testumgebung. Harbor bietet eine standardisierte, containerbasierte Auswertungspipeline, die Cloud-Bereitstellung, die Einreichung von Community-Aufgaben und Reinforcement-Learning-Rollouts unterstützt ^ATQ.

Die Umstellung bedeutet, dass alle bisherigen Modellbewertungen nicht mehr vergleichbar sind – jede oben aufgeführte Punktzahl ist eine frische Bewertung nach der Harbor-Methodik ^9A. Google begründete den Schritt mit der Notwendigkeit, die Bewertungsstandards angesichts der rasanten Verbesserungen bei LLMs auf dem neuesten Stand zu halten ^D.

Einführung von Entwicklerbeiträgen

Erstmals öffnet Google Android Bench für Community-Beiträge ^9A. Entwickler können nun:

• Echte Android-Entwicklungsaufgaben einreichen, die zum Benchmark-Datensatz hinzugefügt werden ^9A.
• Ihre eigenen Benchmark-Auswertungen von Modellen teilen, die mit denselben Harbor-Tools durchgeführt wurden, was direkte Vergleiche für individuelle Anwendungsfälle ermöglicht ^9A.

Google beschrieb dies als Reaktion auf den Wunsch der Entwickler nach „einer Möglichkeit, Feedback zu unserem Datensatz zu geben“ und als einen Schritt hin zu einer engeren Zusammenarbeit mit der Android-Entwickler-Community ⁹.

Kosten-Nutzen-Abwägung

Die aktualisierte Rangliste zeigt einen Markt mit erheblichen Unterschieden zwischen Kostenvorteilen und Genauigkeit ^A:

• Das genaueste Modell (Claude Fable 5, 84,5) kostet 133,20 $ pro 1.000 Aufgaben.
• Das günstigste Modell in den Top 10 (Kimi K2.7 Code, 48,10 $) erzielt nur 70,4 Punkte – eine Genauigkeitslücke von 14,1 Punkten.
• Gemini 3.5 Flash ist mit 165,60 $ die teuerste Option, erzielt aber nur 71,1 Punkte.
• GPT 5.5 bietet die beste Balance aus hoher Genauigkeit und moderaten Kosten: 80,2 Punkte bei 138,30 $.
• Claude Sonnet 5 stellt eine Mittelklasse-Option dar: 76,2 Punkte bei 99,90 $.

Wettbewerbsdynamik

Das Update vom Juli 2026 unterstreicht ein Dreikampf zwischen Anthropic, OpenAI und Google ^A:

• Anthropic ist der klare Spitzenreiter in puncto reiner Genauigkeit. Die 84,5 Punkte von Fable 5 und die Tiefe des Anthropic-Portfolios mit drei Modellen in den Top 6 zeigen, dass sich die Investition in Android-spezifische Codierungsfähigkeiten auszahlt ^AM.
• OpenAI ist mit GPT 5,5 (80,2) der stärkste einzelne Konkurrent, und GPT 5.4 (74,1) hält eine respektable Position, aber OpenAI fehlt die Aufstellungstiefe von Anthropic ^A.
• Googles Gemini-Reihe liegt in Sachen Genauigkeit hinter beiden Konkurrenten zurück. Obwohl Google der Eigentümer des Benchmarks ist, belegen die eigenen Modelle nur die Plätze 5 und 8 – eine Wettbewerbsschwäche, die das Unternehmen öffentlich eingesteht, indem es den Benchmark für die Community öffnet und die Einreichung von Drittanbieter-Modellen ermöglicht ^9AA.

Dies ist das erste Android-Bench-Update, bei dem ein Anthropic-Modell Googles eigenen Benchmark für Android-Codierung anführt – ein symbolträchtiger Wandel im Markt für mobile KI-Assistenten.