OpenAI відмовився від обох власних бенчмарків коду: крах SWE-bench і криза вимірювання ШІ

Висновок OpenAI був однозначним: «Покращення на SWE-bench Verified більше не відображають значущого прогресу в реальних навичках розробки програмного забезпечення. Вони дедалі більше відображають те, наскільки модель була ознайомлена з бенчмарком під час навчання» .

OpenAI чітко рекомендував SWE-bench Pro — більший бенчмарк, створений компанією Scale AI на основі приватних репозиторіїв та репозиторіїв із вільними ліцензіями — як заміну .

Фаза 2: Відкликання рекомендації SWE-bench Pro (липень 2026 року)

8 липня 2026 року OpenAI оприлюднив результати детального аудиту SWE-bench Pro — того самого бенчмарку, який щойно був названий надійнішою альтернативою. Результати були нищівними :

• Близько 30% завдань є фундаментально зламаними. OpenAI використав як автоматизований конвеєр, так і класифікацію людьми для аудиту SWE-bench Pro. Автоматизована система визнала 27,4% завдань недійсними; людські рецензенти — 34,1%. OpenAI оцінює, що приблизно 30% завдань SWE-bench Pro непридатні для використання як оціночні елементи .
• Першопричина. У звіті зазначено, що issues та pull requests на GitHub були створені для людської співпраці, а не як чисті, незалежні оціночні завдання, здатні надійно вимірювати здатності ШІ ізольовано .

Це змусило OpenAI відкликати свою рекомендацію щодо використання SWE-bench Pro, залишивши галузь без надійного наступника .

Ширша криза вимірювання здатності ШІ до програмування

Подвійне відступання OpenAI — не ізольований випадок. Це частина системної кризи в тому, як сфера ШІ оцінює здатність до написання коду:

• Розрив екологічної валідності. Дослідники зі Стенфорду (HAI), автори arXiv-оглядів та незалежні групи документують фундаментальну невідповідність: моделі, що показують 70–80% або вище на SWE-bench Verified, демонструють значно нижчу надійність у реальному світі, особливо на складних, багатоетапних або неоднозначних завданнях . Один із аналізів висловлюється прямо: «Поточні бенчмарки для оцінки ШІ-агентів коду страждають від фундаментальної кризи екологічної валідності. Хоча моделі досягають вражаючих результатів на SWE-bench (70%+) і HumanEval (90%+), ці метрики не передбачають реальної корисності» .
• Витік між тренувальними та тестовими даними є ендемічним. Оскільки SWE-bench використовує дані з публічного GitHub, які можуть опинитися в корпусах для навчання, бали бенчмарку дедалі більше відображають запам'ятовування, а не міркування . Звіт Stanford AI Index 2026 описує темпи покращення на SWE-bench Verified як ознаку забруднення, а не справжнього зростання можливостей .
• Ширша криза вимірювань. Звіт Stanford AI Index 2026 попереджає, що сфера ШІ «будує швидше, ніж може виміряти», і що оцінки моделей у різних сферах стають ненадійними через насичення бенчмарків та витоки даних . Огляд arXiv «Benchmarking AI Models in Software Engineering» вказує на фрагментовані знання, відсутність стандартизації та фундаментальні вади дизайну як загальногалузеві проблеми .

Що це означає

Подвійне відступання OpenAI — спочатку відмова від власного бенчмарку, а потім дискредитація його заміни — залишило ландшафт оцінки коду ШІ без довіреного лідера. Спільнота дедалі більше визнає, що високі бали на бенчмарках більше не є надійним прогнозом того, чи може ШІ-агент впоратися з реальними завданнями розробки програмного забезпечення . Нові методології оцінки — такі як спеціалізовані, змагальні або постійно оновлювані бенчмарки — є нагально необхідними, але ще не дозріли .

Наразі кожен, хто намагається оцінити ШІ-агента коду, не має жодного єдиного стандарту, якому можна довіряти. Крах SWE-bench Verified та SWE-bench Pro — це не просто історія про два вадиві тести. Це історія про галузь, яка будувала швидше, ніж могла виміряти.