Claude Mythos Preview и 93,9% в SWE-bench: что на самом деле показывает бенчмарк

Ключевая оговорка — условия тестирования. Высокие результаты в SWE-bench часто достигаются не в режиме простого ответа в чате, а когда модель действует как агент: читает файлы, запускает код, анализирует результаты тестов и итеративно исправляет свои попытки . Это не обесценивает 93,9%, но уточняет смысл показателя: он отражает не только способности самой модели, но и инструментальную среду, в которой её проверяли.

Чего 93,9% не означает

93,9% — это не “общий балл” Claude Mythos Preview. Один бенчмарк по программированию не измеряет сам по себе универсальное рассуждение, безопасность, стоимость эксплуатации, доступность модели или качество в задачах, далёких от написания и изменения кода .

Поэтому сравнивать модели стоит только в одинаковых условиях. Если одна модель получает доступ к файлам, выполнению кода, тестам и нескольким попыткам, а другая отвечает без таких инструментов, прямое сравнение может ввести в заблуждение .

Какие результаты по Claude Mythos Preview упоминаются

Почему кибербезопасность — отдельный разговор

Результаты по кибербезопасности относятся к другой категории. В одном источнике для Claude Mythos Preview указывается 83,1% против 66,6% у Claude Opus 4.6 в бенчмарках кибербезопасности . В другом говорится о 100% в Cybench, который описывается как бенчмарк для киберзадач .

Доступные материалы Anthropic в этом контексте тоже сосредоточены на безопасности: Anthropic Red Team опубликовала оценку киберспособностей Claude Mythos Preview, а Project Glasswing описывает работу с поиском уязвимостей и эксплойтов при участии модели . Для команд безопасности это может быть важнее, чем SWE-bench, но смешивать эти цифры в одну «табельную оценку» модели нельзя.

Как использовать эту цифру на практике

Если ваш сценарий — агент, который работает с репозиторием, правит код, запускает тесты и делает несколько итераций, 93,9% в SWE-bench — хороший ориентир для первого сравнения .

Если же задача связана с анализом уязвимостей, проверкой безопасности или исследованием эксплойтов, полезнее смотреть на отдельные кибербезопасностные оценки и материалы Anthropic по этой теме .

Короткий вывод такой: самый цитируемый бенчмарк Claude Mythos Preview — 93,9% в SWE-bench . Но строгая интерпретация уже: это сильный сигнал для программирования и агентной работы с кодом в конкретных условиях тестирования, а не автоматическое доказательство превосходства модели во всех областях.