OpenAI opouští oba své kódovací benchmarky: Kolaps SWE-bench vysvětlen

Během pouhých sedmi měsíců OpenAI opustila oba kódovací benchmarky, které sama prosazovala. Nejprve v únoru 2026 přišel konec SWE-bench Verified – benchmarku, který OpenAI spoluvytvořila a který se stal průmyslovým standardem. Poté v červenci 2026 OpenAI stáhla své vlastní doporučení zamýšlené náhrady, SWE-bench Pro. Tento dvojitý ústup není jen logistickým problémem pro hodnotitele modelů – je to signál, že způsob, jakým AI průmysl měří kódovací schopnosti, je zásadně rozbitý.

Fáze 1: Opuštění SWE-bench Verified (únor 2026)

SWE-bench Verified byl spuštěn v srpnu 2024 jako lidsky ověřená podmnožina původního Princeton SWE-bench, obsahující 500 úloh v Pythonu z reálných GitHub problémů . Zhruba 18 měsíců sloužil jako hlavní měřítko toho, jak dobře AI agenti dokáží řešit reálné softwarové problémy .

23. února 2026 tým OpenAI Frontier Evals benchmark oficiálně vyřadil . Důvody byly neúprosné:

• Chybné testovací případy. Interní audit 138 nejtěžších problémů, které model o3 nezvládl (podmnožina 27,6 %), zjistil, že nejméně 59,4 % z nich mělo testy, které odmítaly funkčně správné opravy – modely tak byly označeny jako chybné, přestože problém vyřešily správně .
• Rozsáhlá kontaminace. Každý testovaný špičkový model – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – dokázal u některých úloh doslovně reprodukovat lidskou „zlatou opravu“, což je jasný znak, že sada 500 úloh unikla do trénovacích dat .
• Nasycení. Skóre vzrostla z přibližně 60 % lidské baseline v roce 2024 na téměř 100 % během jediného roku, čímž se benchmark stal nepoužitelným pro rozlišování špičkových modelů . Podle Stanford AI Index 2026 „výkon vzrostl z přibližně 60 % v roce 2024 na téměř 100 % v roce 2025“ .

Závěr OpenAI byl jednoznačný: „Zlepšení na SWE-bench Verified již neodrážejí smysluplné zlepšení schopností modelů v reálném vývoji softwaru. Stále více odrážejí, jak moc byl model benchmarku vystaven během tréninku“ .

OpenAI výslovně doporučila SWE-bench Pro – větší benchmark postavený společností Scale AI ze soukromých repozitářů a repozitářů s licencí copyleft – jako náhradu .

Fáze 2: Stažení doporučení SWE-bench Pro (červenec 2026)

8. července 2026 OpenAI zveřejnila výsledky podrobného auditu SWE-bench Pro – tedy samotného benchmarku, který předtím doporučila jako robustnější. Zjištění byla zničující :

• ~30 % úloh je zásadně rozbitých. OpenAI použila jak automatizovaný pipeline, tak lidskou klasifikaci k auditu SWE-bench Pro. Automatizovaný pipeline označil 27,4 % úloh jako neplatné; lidští hodnotitelé označili 34,1 %. OpenAI odhaduje, že zhruba 30 % úloh SWE-bench Pro není jako hodnotící položky životaschopných .
• Hlavní příčina. Zpráva uvádí, že GitHub issues a pull requests byly navrženy pro lidskou spolupráci, nikoli jako čisté, nezávislé hodnotící úlohy, které by mohly spolehlivě měřit schopnosti AI izolovaně .

To donutilo OpenAI stáhnout své doporučení SWE-bench Pro, čímž průmysl zůstal bez důvěryhodného nástupce .

Širší krize v měření AI kódování

Dvojitý ústup OpenAI není izolovaným neštěstím. Je součástí systémové krize v tom, jak oblast AI hodnotí kódovací schopnosti:

• Propast v ekologické validitě. Výzkumníci ze Stanford HAI, arXiv recenzí a nezávislých skupin dokumentují zásadní rozpor: modely skórující 70–80 % nebo výše na SWE-bench Verified vykazují mnohem nižší spolehlivost v reálném světě, zejména u komplexních, vícekrokových nebo nejednoznačných úloh . Jedna analýza to říká na rovinu: „Současné benchmarky pro hodnocení AI kódovacích agentů trpí zásadní krizí ekologické validity. Zatímco modely dosahují působivých skóre na SWE-bench (70 %+) a HumanEval (90 %+), tato metrika nedokáže předpovědět skutečnou užitečnost“ .
• Únik mezi trénovacími a testovacími daty je endemický. Protože SWE-bench čerpá z veřejných GitHub dat, která se mohou objevit v trénovacích korpusech, skóre benchmarku stále více odrážejí memorování, nikoli uvažování . Stanford AI Index 2026 popisuje tempo zlepšování na SWE-bench Verified jako signál kontaminace, nikoli skutečný růst schopností .
• Širší krize měření. Stanford AI Index 2026 varuje, že oblast AI „staví rychleji, než dokáže měřit“, přičemž hodnocení modelů napříč doménami se stávají nespolehlivými, jak benchmarky saturují a unikají . arXiv recenze „Benchmarking AI Models in Software Engineering“ poukazuje na roztříštěné znalosti, nedostatek standardizace a zásadní konstrukční chyby jako celoodvětvové problémy .

Co to znamená

Dvojitý ústup OpenAI – nejprve opuštění vlastního benchmarku, poté zřeknutí se náhrady – zanechal krajinu hodnocení AI kódování bez důvěryhodného lídra. Komunita stále více uznává, že vysoká skóre benchmarků již spolehlivě nepředpovídají, zda AI kódovací agent zvládne úlohy reálného softwarového inženýrství . Nové metodiky hodnocení – jako jsou úkolově specifické, adversariální nebo průběžně aktualizované benchmarky – jsou naléhavě potřeba, ale zatím nejsou zralé .

Prozatím každý, kdo se snaží vyhodnotit AI kódovacího agenta, nemá jediný standard, kterému by mohl věřit. Kolaps SWE-bench Verified a SWE-bench Pro není jen příběhem o dvou chybných testech. Je to příběh o průmyslu, který stavěl rychleji, než dokázal měřit.