Бенчмарки Claude Opus 4.7: 87,6% в SWE-bench Verified и как это читать

Ключевые результаты

Что на практике означает 87,6% в SWE-bench Verified

Для команд, которые выбирают модель как coding agent, SWE-bench Verified — самый понятный заголовочный показатель из доступных источников: AWS приводит для Claude Opus 4.7 результат 87,6% . Это хорошо согласуется с позиционированием Anthropic: модель рассчитана на сложное рассуждение и агентное программирование .

Но этот процент не означает, что модель будет одинаково успешно выполнять любые задачи — от анализа документов до работы с таблицами или финансовых расчетов. SWE-bench Verified измеряет конкретный класс способностей, связанных с программной инженерией. Для технического выбора его стоит смотреть вместе с SWE-bench Pro и Terminal-Bench 2.0, особенно если ваш сценарий предполагает не только написание кода, но и работу с окружением, командами и инструментами .

Проще говоря: 87,6% — сильный аргумент в пользу Opus 4.7 для coding agents, но не универсальная оценка интеллекта модели.

Почему в разных местах встречаются разные цифры

По Claude Opus 4.7 уже есть расхождения в публичных пересказах. Например, один вторичный обзор указывает 82,4% в SWE-bench Verified, тогда как AWS приводит 87,6% . Поэтому сравнение «по одному числу» легко вводит в заблуждение.

Более надежный подход — всегда фиксировать три вещи: название benchmark, точный score и источник. Если речь идет о внутреннем отчете, презентации для руководства или выборе модели для продакшена, стоит также указать, на какой тестовой обвязке и с какими промптами проводилась оценка. Это особенно важно потому, что AWS прямо предупреждает: Opus 4.7 может потребовать изменения prompting-подхода и настройки harness, чтобы показать лучший результат .

Какой benchmark смотреть под свой сценарий

Если основной сценарий — разработка ПО, начинайте с SWE-bench Verified, но не останавливайтесь на нем. SWE-bench Pro и Terminal-Bench 2.0 помогают понять, как модель смотрится в более широком наборе software-задач и в сценариях, где агенту нужно действовать через терминал или инструменты .

Если вам важны финансы или исследовательские агенты, ближе к теме внутренние данные Anthropic по research-agent: Opus 4.7 получил 0,715 общего score, а в модуле General Finance — 0,813 против 0,767 у Opus 4.6 . При этом такие результаты стоит читать именно как внутреннюю оценку Anthropic, а не как независимый публичный benchmark.

Если речь о длинных корпоративных workflow, публичные описания делают акцент на длительных задачах, более точном следовании инструкциям и работе в условиях неоднозначности . Но здесь benchmark — только отправная точка. Реальная проверка должна повторять ваш стек: репозитории, инструменты, ограничения, формат промптов и критерии приемки.

Вывод

Самая сильная и простая для цитирования цифра Claude Opus 4.7 — 87,6% в SWE-bench Verified, особенно если речь идет об агентном кодинге . Но ответственная интерпретация шире: у модели также указаны 64,3% в SWE-bench Pro, 69,4% в Terminal-Bench 2.0 и 64,4% в Finance Agent v1.1, а Anthropic отдельно выделяет внутренние улучшения в многошаговой research-работе и финансовом модуле .

Итоговый вопрос должен звучать не «какой у Claude Opus 4.7 benchmark?», а «какой benchmark ближе всего к моему реальному workflow?». Для программирования SWE-bench Verified — хороший старт. Для терминальных агентов, финансовых задач и research-сценариев дополнительные результаты могут оказаться не менее важными.