GPT-5.5 vs. Claude Opus 4.7 vs. Kimi K2.6 vs. DeepSeek V4

Ein Gedankenstrich bedeutet: In den hier verfügbaren Quellen gibt es keinen zitierfähigen Wert. Das heißt nicht, dass ein Modell die Aufgabe nicht kann – nur, dass es für diesen Vergleich keine belastbare Zahl gibt.

Was die wichtigsten Benchmarks tatsächlich zeigen

SWE-Bench Pro: Claude Opus 4.7 liegt vor GPT-5.5

In OpenAIs GPT-5.5-Tabelle erreicht Claude Opus 4.7 bei SWE-Bench Pro 64,3 %, GPT-5.5 kommt auf 58,6 %. Das ist einer der saubersten direkten Vergleiche in diesem Datensatz, weil beide Werte aus derselben Tabelle stammen.

Kimi K2.6 wird im Kilo-AI-Artikel ebenfalls mit 58,6 % bei SWE-Bench Pro angegeben. Auf dem Papier wirkt das nah an GPT-5.5. Trotzdem sollte man diesen Wert nicht als streng gleichwertigen Vergleich behandeln, weil Kimi K2.6 in den hier vorliegenden Quellen nicht in derselben offiziellen Kreuztabelle mit GPT-5.5 und Claude Opus 4.7 auftaucht.

Terminal-Bench 2.0: GPT-5.5 führt deutlich vor Claude Opus 4.7

Bei Terminal-Bench 2.0 steht GPT-5.5 in OpenAIs Tabelle bei 82,7 %, Claude Opus 4.7 bei 69,4 %. Für Workflows, die stark an Terminal-Nutzung, Kommandozeilenoperationen oder Coding-Agenten in einer Shell-Umgebung erinnern, ist GPT-5.5 damit ein naheliegender Kandidat für eigene Tests.

Für Kimi K2.6 und DeepSeek V4 liegt in diesem Quellenpaket kein zitierbarer Terminal-Bench-2.0-Wert vor. Ein Vierer-Ranking wäre an dieser Stelle also nicht belastbar.

SWE-Bench Verified: Claude Opus 4.7 vor Kimi K2.6, aber nicht im gleichen Messrahmen

Claude Opus 4.7 wird in Drittquellen mit 87,6 % bei SWE-Bench Verified genannt; Verdent ordnet diesen Wert als Anthropic-conducted ein und erwähnt angewandte Memorisation-Screens. Kimi K2.6 wird im Kilo-AI-Artikel mit 80,2 % bei SWE-Bench Verified angegeben.

Beide Werte sind als Signal interessant. Sie sind aber weniger sauber direkt vergleichbar als die OpenAI-Tabelle zu SWE-Bench Pro und Terminal-Bench 2.0, weil sie nicht aus derselben gemeinsamen Benchmark-Tabelle stammen.

Expert-SWE: interessant, aber kein Fundament für eine Rangliste

GPT-5.5 erreicht bei Expert-SWE (Internal) 73,1 %. OpenAI kennzeichnet diese Evaluation jedoch als intern und vermerkt, dass andere Labore Hinweise auf Memorisation in dieser Eval gesehen haben. Der Wert kann also ein Hinweis auf OpenAIs interne Messung sein, sollte aber nicht als zentrale Grundlage für ein Ranking aller vier Modelle dienen.

Wie man die Tabelle für eine Produktauswahl nutzt

Für komplexe Software-Engineering-Aufgaben rund um GitHub-Issues spricht die sauberste Zahl zunächst für Claude Opus 4.7. In der direkt vergleichbaren SWE-Bench-Pro-Zeile liegt Claude Opus 4.7 mit 64,3 % vor GPT-5.5 mit 58,6 %. Vellum ordnet genau diese Differenz im Kontext realer GitHub-Issue-Lösung ein.

Für terminalnahe Coding-Agenten sollte GPT-5.5 sehr weit oben auf der Testliste stehen. Der Terminal-Bench-2.0-Wert von 82,7 % liegt klar über Claude Opus 4.7 mit 69,4 %. Das heißt nicht, dass GPT-5.5 jede Coding-Aufgabe besser löst – aber in diesem spezifischen Benchmark hat es einen deutlichen Vorsprung.

Wenn ein offenes Modell gefragt ist, ist Kimi K2.6 ein plausibler Kandidat für die Shortlist. Hugging Face beschreibt Kimi K2.6 als Open-Source, nativ multimodal und agentisch; Kilo AI nennt 58,6 % bei SWE-Bench Pro und 80,2 % bei SWE-Bench Verified. Wegen der schwächeren Kreuzvalidierung sollte Kimi K2.6 aber unbedingt mit den eigenen Repositories, Sprachen und Toolchains erneut getestet werden.

Bei DeepSeek V4 ist Zurückhaltung angebracht. In den hier verfügbaren Quellen fehlen belastbare, zitierfähige Benchmarkwerte. Wer DeepSeek V4 evaluieren möchte, sollte auf nachvollziehbare Benchmarks warten oder selbst reproduzierbare Tests aufsetzen.

Warum es hier keinen Gesamtsieger gibt

LLM-Benchmarking wird schnell irreführend, wenn Zahlen aus unterschiedlichen Quellen, Test-Harnesses und Aufgabenarten vermischt werden. Sinnvoller ist eine dreistufige Lesart:

1. Gemeinsame Benchmark-Tabelle: GPT-5.5 und Claude Opus 4.7 stehen bei SWE-Bench Pro und Terminal-Bench 2.0 in derselben OpenAI-Tabelle. Das ist die stärkste direkte Vergleichsbasis in diesem Artikel.
2. Drittquellen zu Vendor- oder Partner-Evals: Claude Opus 4.7s Werte bei SWE-Bench Verified und CursorBench sind relevant, aber in den hier vorliegenden Quellen vor allem über Drittzusammenfassungen zugänglich.
3. Begrenzte oder fehlende Kreuzprüfung: Kimi K2.6 hat interessante SWE-Bench-Werte, aber keine gleichwertige gemeinsame Vergleichstabelle mit GPT-5.5 und Claude Opus 4.7; DeepSeek V4 bleibt in diesem Quellenpaket ohne zitierfähige Benchmarkwerte.

Der belastbare Zwischenstand lautet daher: Claude Opus 4.7 führt in SWE-Bench Pro gegenüber GPT-5.5, GPT-5.5 führt in Terminal-Bench 2.0 gegenüber Claude Opus 4.7; Kimi K2.6 wirkt bei SWE-Bench konkurrenzfähig, ist aber schwächer abgesichert; DeepSeek V4 ist für diesen Vergleich derzeit Datenlücke statt Ranking-Kandidat.

Für die echte Modellauswahl sollte diese Tabelle nur der Startpunkt sein. Entscheidend sind eigene Tests mit den tatsächlichen Repositories, Programmiersprachen, CI-Umgebungen, Tool-Aufrufen, Latenz- und Kostenanforderungen sowie den gewünschten Fallback-Strategien. Das ist weniger griffig als eine Top-4-Liste – aber deutlich näher an der Realität im Produktivbetrieb.