OpenAI отказался от обоих собственных бенчмарков по кодингу: крах SWE-bench и кризис измерений AI

Всего за семь месяцев OpenAI последовательно отказался от двух главных бенчмарков, которые сам же и продвигал. Сначала, в феврале 2026 года, компания объявила о «списании» SWE-bench Verified — эталона, который она сама создала и который на протяжении полутора лет считался золотым стандартом для оценки AI-агентов. Затем, в июле 2026 года, OpenAI отозвала собственную же рекомендацию использовать SWE-bench Pro в качестве замены. Этот двойной откат — не просто казус в мире бенчмарков, а сигнал о глубочайшем кризисе методологии измерения способностей AI к написанию кода.

Фаза 1: Похороны SWE-bench Verified (февраль 2026)

SWE-bench Verified запустили в августе 2024 года как тщательно проверенную подборку из 500 задач на Python, взятых из реальных issues на GitHub . Примерно 18 месяцев он служил главным мерилом того, насколько хорошо AI-агенты справляются с реальными проблемами разработки .

23 февраля 2026 года команда Frontier Evals в OpenAI официально отправила бенчмарк в отставку . Причины были безжалостны:

• Сломанные тесты. Внутренний аудит 138 самых сложных задач, которые модель o3 не смогла решить (подмножество в 27,6% от всех), показал: как минимум в 59,4% случаев тесты отвергали функционально корректные правки. Иными словами, модель получала «неуд» за верно решённую задачу .
• Массовое загрязнение данных (contamination). Каждая тестировавшаяся модель — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — могла дословно воспроизвести «золотой патч», написанный человеком для некоторых задач. Это прямое доказательство того, что набор из 500 задач «засветился» в тренировочных данных моделей .
• Насыщение (saturation). Результаты взлетели с примерно 60% от человеческого базового уровня в 2024 году до почти 100% всего за год. Бенчмарк перестал различать, какая модель лучше, и потерял всякую дифференцирующую способность . Согласно Stanford AI Index 2026, «производительность выросла примерно с 60% в 2024 году до почти 100% в 2025-м» .

Вывод OpenAI был однозначным: «Улучшения в SWE-bench Verified больше не отражают значимого прогресса в реальных способностях моделей к разработке ПО. Они всё больше отражают то, насколько часто модель видела этот бенчмарк во время обучения» .

В качестве замены OpenAI явно рекомендовал SWE-bench Pro — более масштабный бенчмарк, созданный компанией Scale AI на основе приватных и копилефтных репозиториев .

Фаза 2: Отзыв рекомендации SWE-bench Pro (июль 2026)

8 июля 2026 года OpenAI опубликовал результаты детального аудита SWE-bench Pro — того самого бенчмарка, который компания только что рекламировала как более надёжный. Результаты оказались сокрушительными :

• Примерно 30% задач содержат критические дефекты. OpenAI использовал как автоматический пайплайн, так и привлекал людей-классификаторов. Автоматика отбраковала 27,4% задач как некорректные; люди усомнились в 34,1%. Итоговая оценка OpenAI: «около 30% задач SWE-bench Pro непригодны для оценки» .
• Корень проблемы. В отчёте отмечается, что issues и пул-реквесты на GitHub изначально создавались для совместной работы людей-программистов, а не как чистые независимые задачи для измерения способностей AI .

Это вынудило OpenAI отозвать свою рекомендацию по SWE-bench Pro, оставив всю отрасль без доверенного преемника .

Более широкий кризис измерений в AI-программировании

Двойной откат OpenAI — не изолированный сбой. Это часть системного кризиса в том, как AI-сфера оценивает навыки кодирования:

• Разрыв между бенчмарком и реальностью (проблема экологической валидности). Исследователи из Stanford HAI, обзоры на arXiv и независимые группы документируют фундаментальный разрыв: модели, набирающие 70–80% и выше на SWE-bench Verified, на практике работают гораздо хуже, особенно на сложных, многошаговых или неоднозначных задачах . В одном из анализов говорится прямо: «Современные бенчмарки для оценки AI-агентов по кодингу страдают от фундаментального кризиса экологической валидности. Модели показывают впечатляющие результаты на SWE-bench (70%+) и HumanEval (90%+), но эти показатели не позволяют предсказать их реальную пользу» .
• Утечка тренировочных данных эндемична. Поскольку SWE-bench использует публичные данные с GitHub, которые могут оказаться в обучающих корпусах, результаты бенчмарков всё чаще отражают не способность рассуждать, а способность запоминать (memorization) . Stanford AI Index 2026 описывает темпы улучшений на SWE-bench Verified как признак загрязнения данных, а не настоящего роста способностей .
• Общий кризис метрик. Stanford AI Index 2026 предупреждает, что AI-индустрия «строит быстрее, чем может измерить»: оценки моделей в самых разных областях становятся ненадёжными из-за насыщения и утечки данных . Обзор arXiv «Benchmarking AI Models in Software Engineering» указывает на разрозненность знаний, отсутствие стандартизации и фундаментальные ошибки проектирования как на общеотраслевые проблемы .

Что это значит

Двойное отступление OpenAI — сначала отказ от собственного бенчмарка, а затем дискредитация собственной же замены — оставило ландшафт оценки AI-программистов без признанного лидера. Сообщество всё яснее осознаёт: высокие баллы на бенчмарках больше не являются надёжным индикатором того, способен ли AI-агент справиться с реальными задачами разработки ПО . Срочно требуются новые методы оценки — например, специализированные, состязательные или постоянно обновляемые бенчмарки, — но они пока не достигли зрелости .

Прямо сейчас любому, кто попытается оценить AI-агента по написанию кода, не на что положиться. Коллапс SWE-bench Verified и SWE-bench Pro — это не просто история о двух неудачных тестах. Это история об индустрии, которая строила быстрее, чем могла измерить.