OpenAI porzuca oba benchmarki kodowania: kulisy upadku SWE-bench

Wnioski OpenAI były jednoznaczne: „Poprawa wyników w SWE-bench Verified nie odzwierciedla już znaczącej poprawy rzeczywistych umiejętności tworzenia oprogramowania przez modele. W coraz większym stopniu odzwierciedla to, jak bardzo model był wystawiony na benchmark podczas treningu” .

OpenAI wyraźnie zarekomendowało SWE-bench Pro – większy benchmark zbudowany przez Scale AI z prywatnych repozytoriów i repozytoriów na licencji copyleft – jako zamiennik .

Faza 2: Wycofanie rekomendacji SWE-bench Pro (lipiec 2026)

8 lipca 2026 roku OpenAI opublikowało wyniki szczegółowego audytu SWE-bench Pro – tego samego benchmarku, który niedawno promowało jako bardziej solidny. Wyniki były druzgocące :

• Około 30% zadań jest zasadniczo wadliwych. OpenAI użyło zarówno zautomatyzowanego potoku, jak i klasyfikacji ludzkiej do audytu SWE-bench Pro. Zautomatyzowany potok oznaczył 27,4% zadań jako nieważne; recenzenci-ludzie wskazali 34,1%. OpenAI szacuje, że około 30% zadań SWE-bench Pro nie nadaje się jako elementy ewaluacyjne .
• Przyczyna. Raport zauważył, że zgłoszenia (issues) i pull requesty na GitHubie zostały zaprojektowane z myślą o współpracy międzyludzkiej, a nie jako czyste, niezależne zadania ewaluacyjne, które mogą wiarygodnie mierzyć możliwości AI w izolacji .

To zmusiło OpenAI do wycofania rekomendacji SWE-bench Pro, pozostawiając branżę bez zaufanego następcy benchmarku .

Szerszy kryzys pomiaru zdolności kodowania AI

Podwójne wycofanie się OpenAI nie jest odosobnionym incydentem. To część systemowego kryzysu w sposobie, w jaki dziedzina AI ocenia umiejętności kodowania:

• Luka w trafności ekologicznej. Naukowcy ze Stanford HAI, recenzji arXiv i niezależnych grup dokumentują fundamentalne rozbieżności: modele uzyskujące 70–80% lub więcej w SWE-bench Verified wykazują znacznie niższą rzeczywistą niezawodność, szczególnie w przypadku złożonych, wieloetapowych lub niejednoznacznych zadań . Jedna z analiz ujmuje to wprost: „Obecne benchmarki do oceny agentów kodowania AI cierpią na fundamentalny kryzys trafności ekologicznej. Podczas gdy modele osiągają imponujące wyniki w SWE-bench (70%+) i HumanEval (90%+), wskaźniki te nie przewidują rzeczywistej przydatności” .
• Wyciek danych treningowych jest endemiczny. Ponieważ SWE-bench opiera się na publicznych danych z GitHub, które mogą pojawiać się w korpusach treningowych, wyniki benchmarków w coraz większym stopniu odzwierciedlają zapamiętywanie, a nie rozumowanie . Stanford AI Index 2026 opisuje tempo poprawy w SWE-bench Verified jako sygnalizujące skażenie, a nie rzeczywisty wzrost możliwości .
• Szerszy kryzys pomiaru. Stanford AI Index 2026 ostrzega, że dziedzina AI „buduje szybciej, niż jest w stanie mierzyć”, a oceny modeli w różnych dziedzinach stają się zawodne w miarę nasycania się benchmarków i wycieków . Recenzja arXiv „Benchmarking AI Models in Software Engineering” wskazuje na rozdrobnioną wiedzę, brak standaryzacji i fundamentalne wady projektowe jako problemy ogólnobranżowe .

Co to oznacza

Podwójne wycofanie się OpenAI – najpierw z własnego benchmarku, potem z rekomendacji jego następcy – pozostawiło krajobraz ewaluacji kodowania AI bez zaufanego lidera. Społeczność coraz bardziej zdaje sobie sprawę, że wysokie wyniki benchmarków nie są już wiarygodnym wskaźnikiem tego, czy agent kodowania AI poradzi sobie z rzeczywistymi zadaniami inżynierii oprogramowania . Potrzebne są pilnie nowe metodologie ewaluacji – takie jak zadaniowe, kontradyktoryjne lub stale aktualizowane benchmarki – ale nie są one jeszcze dojrzałe .

Na razie każdy, kto próbuje ocenić agenta kodowania AI, nie ma ani jednego standardu, któremu mógłby zaufać. Upadek SWE-bench Verified i SWE-bench Pro to nie tylko historia o dwóch wadliwych testach. To historia o branży, która budowała szybciej, niż była w stanie mierzyć.