Claude Opus 4.7 im Benchmark: Was die 87,6 % in SWE-bench Verified bedeuten

Was 87,6 % in SWE-bench Verified wirklich aussagen

Für Teams, die Modelle als Coding-Agenten vergleichen, ist SWE-bench Verified der griffigste Wert aus den verfügbaren Quellen: AWS berichtet 87,6 % für Claude Opus 4.7 . Praktisch heißt das: Der Schwerpunkt des Modells liegt klar auf Software-Engineering-Aufgaben und Problemlösung im Code – passend zu Anthropics Beschreibung von Opus 4.7 als starkem Modell für komplexes Reasoning und agentisches Coding .

Wichtig ist die Grenze des Werts: SWE-bench Verified misst eine bestimmte Klasse von Softwareaufgaben. Der Wert bedeutet nicht, dass Opus 4.7 in jedem Unternehmen, jedem Repository oder jeder Tool-Kette automatisch ähnlich abschneidet. Er ersetzt auch keine Tests für Terminal-Nutzung, Finanzaufgaben, visuelle Analyse, lange Kontexte oder Research-Workflows. Für eine belastbare technische Auswahl sollte man daher mindestens auch SWE-bench Pro und Terminal-Bench 2.0 einbeziehen .

Warum unterschiedliche Zahlen kursieren

Nicht alle Quellen nennen denselben SWE-bench-Verified-Wert. Eine Sekundärquelle berichtet 82,4 % in SWE-bench Verified, während AWS für Claude Opus 4.7 87,6 % angibt . Das ist keine Kleinigkeit: Wer Modelle vergleicht, sollte nicht nur eine Prozentzahl übernehmen, sondern immer auch den genauen Benchmark, den Score und die Quelle nennen.

Aus den vorliegenden Quellen lässt sich die Abweichung nicht eindeutig auf eine einzelne Ursache zurückführen. Sicher ist aber: Die Evaluierungskonfiguration kann eine Rolle spielen. AWS schreibt ausdrücklich, dass Opus 4.7 unter Umständen geänderte Prompts und Anpassungen am Harness braucht, um die bestmögliche Leistung zu erreichen .

Welcher Benchmark für welchen Einsatz zählt

Wenn der wichtigste Anwendungsfall Programmierung ist, ist SWE-bench Verified ein sinnvoller Einstieg. Dabei sollte es aber nicht bleiben. SWE-bench Pro und Terminal-Bench 2.0 helfen, Szenarien einzuordnen, in denen das Modell komplexere Softwareaufgaben lösen oder mit Umgebungen und Werkzeugen interagieren muss .

Geht es um Finanzen oder Research, sind die internen Daten von Anthropic näher an diesem Nutzungsmuster. Im internen Research-Agent-Benchmark erreichte Opus 4.7 einen Gesamtscore von 0,715 und im Modul General Finance 0,813; Opus 4.6 lag dort bei 0,767 . Diese Werte sind hilfreich, sollten aber als interne Evaluation gelesen werden – nicht als unabhängige externe Prüfung.

Für lange Unternehmens-Workflows deuten die öffentlichen Angaben auf Verbesserungen bei lang laufenden Aufgaben, genauerem Befolgen von Anweisungen und dem Umgang mit Ambiguität hin, wie AWS mit Verweis auf Anthropic beschreibt . Gerade dort sind Benchmarks aber nur der Anfang. Entscheidend ist ein eigener Test mit den tatsächlichen Prompts, Tools, Daten und dem eigenen Evaluierungs-Harness.

Fazit

Der am stärksten herausstechende Benchmark-Wert von Claude Opus 4.7 ist 87,6 % in SWE-bench Verified – besonders relevant für agentisches Coding . Die seriöse Einordnung ist jedoch breiter: Zusätzlich werden 64,3 % in SWE-bench Pro, 69,4 % in Terminal-Bench 2.0 und 64,4 % in Finance Agent v1.1 genannt; Anthropic hebt außerdem interne Verbesserungen bei mehrstufiger Research-Arbeit und im Finanzmodul hervor .

Die bessere Frage lautet daher nicht: „Wie gut ist Claude Opus 4.7 in einem Benchmark?“ Sondern: „Welcher Benchmark ähnelt meinem echten Workflow – und wurde das Modell unter vergleichbaren Bedingungen getestet?“ Für Softwareentwicklung ist SWE-bench Verified der Startpunkt. Für Agenten, Terminal-Nutzung, Finanzanalyse oder Research können die ergänzenden Werte mindestens genauso wichtig sein.