OpenAI відмовився від обох власних бенчмарків коду: крах SWE-bench і криза вимірювання ШІ

За сім місяців OpenAI залишив обидва бенчмарки коду, які сам просував. Спочатку, в лютому 2026 року, компанія відмовилася від SWE-bench Verified — бенчмарку, який вона ж і створила, і який став галузевим стандартом. Потім, у липні 2026 року, OpenAI відкликала власну рекомендацію щодо запланованої заміни — SWE-bench Pro. Це подвійне відступання — не просто логістична проблема для розробників систем оцінки. Це сигнал про те, що сам спосіб, яким індустрія ШІ вимірює здатність до програмування, є фундаментально зламаним.

Фаза 1: Відмова від SWE-bench Verified (лютий 2026 року)

SWE-bench Verified з'явився в серпні 2024 року як ретельно відібрана людськими експертами підмножина оригінального бенчмарку SWE-bench від Принстонського університету. Він містив 500 завдань на Python, взятих із реальних issues на GitHub . Протягом приблизно 18 місяців він слугував головним мірилом того, наскільки добре ШІ-агенти можуть вирішувати реальні програмні проблеми .

23 лютого 2026 року команда Frontier Evals з OpenAI офіційно припинила використання цього бенчмарку . Причини були нищівними:

• Дефектні тестові приклади. Внутрішній аудит 138 найскладніших завдань, з якими не впоралася модель o3 (це 27,6% від загальної кількості), показав, що щонайменше 59,4% з них мали тести, які відхиляли функціонально правильні виправлення . Тобто моделі отримували незадовільну оцінку за те, що вирішили задачу правильно.
• Широке забруднення даних. Кожна протестована модель переднього краю — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — могла дослівно відтворити «золоте» виправлення, написане людиною, для деяких завдань. Це була очевидна ознака того, що набір із 500 завдань «протік» у тренувальні дані .
• Насичення. Показники зросли приблизно з 60% від людського базового рівня у 2024 році до майже 100% всього за один рік, що зробило бенчмарк непридатним для розрізнення найкращих моделей . Згідно зі звітом Stanford AI Index 2026, «продуктивність зросла приблизно з 60% у 2024 році до майже 100% у 2025 році» .

Висновок OpenAI був однозначним: «Покращення на SWE-bench Verified більше не відображають значущого прогресу в реальних навичках розробки програмного забезпечення. Вони дедалі більше відображають те, наскільки модель була ознайомлена з бенчмарком під час навчання» .

OpenAI чітко рекомендував SWE-bench Pro — більший бенчмарк, створений компанією Scale AI на основі приватних репозиторіїв та репозиторіїв із вільними ліцензіями — як заміну .

Фаза 2: Відкликання рекомендації SWE-bench Pro (липень 2026 року)

8 липня 2026 року OpenAI оприлюднив результати детального аудиту SWE-bench Pro — того самого бенчмарку, який щойно був названий надійнішою альтернативою. Результати були нищівними :

• Близько 30% завдань є фундаментально зламаними. OpenAI використав як автоматизований конвеєр, так і класифікацію людьми для аудиту SWE-bench Pro. Автоматизована система визнала 27,4% завдань недійсними; людські рецензенти — 34,1%. OpenAI оцінює, що приблизно 30% завдань SWE-bench Pro непридатні для використання як оціночні елементи .
• Першопричина. У звіті зазначено, що issues та pull requests на GitHub були створені для людської співпраці, а не як чисті, незалежні оціночні завдання, здатні надійно вимірювати здатності ШІ ізольовано .

Це змусило OpenAI відкликати свою рекомендацію щодо використання SWE-bench Pro, залишивши галузь без надійного наступника .

Ширша криза вимірювання здатності ШІ до програмування

Подвійне відступання OpenAI — не ізольований випадок. Це частина системної кризи в тому, як сфера ШІ оцінює здатність до написання коду:

• Розрив екологічної валідності. Дослідники зі Стенфорду (HAI), автори arXiv-оглядів та незалежні групи документують фундаментальну невідповідність: моделі, що показують 70–80% або вище на SWE-bench Verified, демонструють значно нижчу надійність у реальному світі, особливо на складних, багатоетапних або неоднозначних завданнях . Один із аналізів висловлюється прямо: «Поточні бенчмарки для оцінки ШІ-агентів коду страждають від фундаментальної кризи екологічної валідності. Хоча моделі досягають вражаючих результатів на SWE-bench (70%+) і HumanEval (90%+), ці метрики не передбачають реальної корисності» .
• Витік між тренувальними та тестовими даними є ендемічним. Оскільки SWE-bench використовує дані з публічного GitHub, які можуть опинитися в корпусах для навчання, бали бенчмарку дедалі більше відображають запам'ятовування, а не міркування . Звіт Stanford AI Index 2026 описує темпи покращення на SWE-bench Verified як ознаку забруднення, а не справжнього зростання можливостей .
• Ширша криза вимірювань. Звіт Stanford AI Index 2026 попереджає, що сфера ШІ «будує швидше, ніж може виміряти», і що оцінки моделей у різних сферах стають ненадійними через насичення бенчмарків та витоки даних . Огляд arXiv «Benchmarking AI Models in Software Engineering» вказує на фрагментовані знання, відсутність стандартизації та фундаментальні вади дизайну як загальногалузеві проблеми .

Що це означає

Подвійне відступання OpenAI — спочатку відмова від власного бенчмарку, а потім дискредитація його заміни — залишило ландшафт оцінки коду ШІ без довіреного лідера. Спільнота дедалі більше визнає, що високі бали на бенчмарках більше не є надійним прогнозом того, чи може ШІ-агент впоратися з реальними завданнями розробки програмного забезпечення . Нові методології оцінки — такі як спеціалізовані, змагальні або постійно оновлювані бенчмарки — є нагально необхідними, але ще не дозріли .

Наразі кожен, хто намагається оцінити ШІ-агента коду, не має жодного єдиного стандарту, якому можна довіряти. Крах SWE-bench Verified та SWE-bench Pro — це не просто історія про два вадиві тести. Це історія про галузь, яка будувала швидше, ніж могла виміряти.