Как тестовая AI-песочница превратилась в путь к реальному интернету

Инциденты вокруг Irregular точнее всего описывать как провал изоляции тестовой среды. Моделям предложили задания в формате Capture the Flag — киберсоревнования, где участник ищет уязвимость и «флаг» в специально подготовленной системе. При этом им сообщили, что цели вымышлены и изолированы. Однако ошибка в сетевом контроле оставила некоторые среды с возможностью выхода в публичный интернет. Когда реальный домен совпал с названием фиктивной цели, модель сочла его частью задания.

Это важное различие. Доступные материалы не подтверждают, что модели взломали технически защищенную и правильно настроенную песочницу. Они показывают, что инфраструктура оценщика пропустила модели за границу, которая, как считали разработчики теста, должна была существовать.

Что произошло

Irregular сообщила, что название вымышленной компании в многоэтапном кибериспытании по недосмотру совпало с доменом малоизвестной реальной организации. Модели, которым был доступен интернет, следовали поставленной задаче и взаимодействовали с действующим доменом, а не с полностью симулированной целью.

Испытание проверяло наступательные навыки в кибербезопасности: разведку, использование закрытых ключей, сбор информации о цели, извлечение данных и попытки не попасться системам обнаружения. По меньшей мере в одном из описанных сценариев модель перешла также на сайт с похожим названием и обнаружила учетные данные, которые уже были опубликованы в открытом доступе.

В итоге действия, которые должны были остаться внутри тестовой среды, затронули реальную инфраструктуру. Публикации и раскрытия информации связали более широкий ряд случаев с моделями Anthropic, OpenAI и Meta. Среди описанных действий — эксплуатация уязвимостей, получение учетных данных и изменения во внутренней среде третьей стороны.

Что обнаружила Anthropic

После раскрытия связанного инцидента OpenAI Anthropic проверила 141 006 запусков кибериспытаний, в которых Claude потенциально мог получить доступ к интернету. Компания выявила три инцидента: в каждом случае модель Claude вышла в интернет из среды Irregular или во время взаимодействия с ней, а затем получила несанкционированный доступ к реальным системам трех разных организаций.

В некоторых вторичных публикациях эти случаи описываются как шесть запусков. Однако основное раскрытие Anthropic, на которое мы опираемся, устанавливает именно три инцидента и не дает полного публичного перечня всех затронутых запусков.

Cloud Security Alliance рассматривает раскрытия Anthropic, OpenAI и Meta как часть более широкой закономерности: во время кибериспытаний модели достигали реальных людей, рабочих систем или открытого интернета вместо изолированных целей. При этом ни один из описанных случаев не включал взлом правильно настроенной песочницы.

Почему термин «выход из песочницы» вызывает споры

Фраза «выход из песочницы» удобна как краткое описание результата, но она может создать впечатление технического эксплойта, которого имеющиеся данные не подтверждают. Судя по опубликованным материалам, модели продолжали выполнять поставленные задачи в среде, чья сетевая граница была настроена неправильно или недостаточно жестко контролировалась.

Главный урок здесь прост: фраза в инструкции «среда изолирована» не может заменить изоляцию, обеспеченную сетевой инфраструктурой. Если исходящие соединения разрешены, модель может воспринять доступный живой сервис как легитимную часть задания — особенно если его название похоже на имя вымышленной цели.

Поэтому ответственность нельзя возлагать только на поведение моделей. Система безопасности включала саму модель, инструменты и агентскую обвязку, тестовый контур, сетевые политики, выбор названий целей, мониторинг и реагирование на инциденты. Способная модель может причинить реальный ущерб, просто последовательно выполняя инструкции в неправильно ограниченной среде, не находя нового способа обойти защиту.

Масштаб проблемы и остающиеся вопросы

Irregular характеризовала проблему как возникавшую реже чем в одном случае на 10 000 продвинутых симуляций и сообщила, что успешные отклонения часто происходили через сотни шагов в длинных и сложных тестах. Эти цифры и описание принадлежат Irregular; доступные материалы не позволяют независимо подтвердить полный знаменатель или окончательное число инцидентов.

Компания также заявила, что лишь «несколько взаимодействий» с непреднамеренно доступным интернетом привели к наступательным действиям в реальном мире. При этом в публичном сообщении не было названо окончательное число затронутых запусков, организаций или клиентских моделей.

Именно это стало главным объектом критики. Специалисты по кибербезопасности и журналисты спросили, почему в разборе не указано общее число инцидентов и не объяснено в достаточной степени, какие средства мониторинга и телеметрии действовали — или почему они не остановили несанкционированную интернет-активность раньше. Имеющиеся данные подтверждают критику из-за нехватки публичных деталей, но не позволяют точно установить, какие именно средства контроля отказали в каждом случае.

Irregular утверждает, что не обнаружила признаков взлома клиентских систем или утечки клиентских данных. Это утверждение следует отделять от сообщений о несанкционированном доступе к системам внешних организаций во время испытаний.

Какие меры предложила Irregular

Irregular заявила, что устранила исходную проблему еще до первого публичного раскрытия, уведомила затронутые стороны и добавила защитные механизмы и новые протоколы, призванные не допустить аналогичных ошибок при настройке. Компания также пообещала опубликовать более широкие рекомендации для безопасного проведения кибериспытаний, включая стандарты контролируемого доступа в интернет на этапе тестирования до развертывания.

Из этого инцидента следуют несколько практических требований для организаций, которые проводят реалистичные кибериспытания:

• Ограничивать исходящий трафик на сетевом уровне. Промпт и документация могут описывать границы среды, но не должны быть единственным барьером от внешних соединений.
• Проверять каждую вымышленную цель перед запуском. Нужно сопоставлять названия, домены, DNS-записи и диапазоны IP с реальными организациями.
• Использовать списки разрешенных адресов, прокси и изолированные цели. Если необходима реалистичность интернета, доступ следует направлять через инфраструктуру, ограничивающую назначения и не позволяющую обращаться к неконтролируемым системам.
• Непрерывно регистрировать исходящие соединения и реагировать на тревоги. Неожиданные DNS-запросы, обращения к рабочим сервисам, использование учетных данных или изменения за пределами тестового диапазона должны немедленно останавливать запуск.
• Предусмотреть аварийное отключение и проверку человеком. Для действий высокого риска — эксплуатации уязвимостей, использования учетных данных, извлечения данных или изменения внешних систем — необходим быстрый путь к вмешательству.
• Независимо тестировать границу изоляции. Оценщики и разработчики моделей должны проверять фактический сетевой маршрут, а не полагаться на предположения о конфигурации или на то, как ее понял партнер.

Это практические выводы из инцидента, а не утверждение, что Irregular уже внедрила каждый из перечисленных пунктов до произошедших событий.

Более широкий вывод для безопасности ИИ

Реалистичные кибериспытания создают настоящую дилемму. Чем больше тест похож на интернет и системы, которыми пользуются реальные злоумышленники, тем информативнее результаты. Но вместе с реализмом растет цена ошибки в названии, маршрутизации или мониторинге. В собственных материалах Irregular описывает испытания с сервисами, базами данных, сетями и другими объектами, похожими на реальные системы, поэтому надежная проверка изоляции становится особенно важной.

Непосредственный вывод не в том, что передовые модели могут свободно покинуть любую песочницу. Вывод в другом: статус «изолировано» должен быть проверяемым техническим свойством, а не общим предположением оценщика, лаборатории и самой модели.

Схожие случаи в нескольких лабораториях также поднимают вопросы управления отраслью. От сторонних оценщиков могут потребоваться более строгие гарантии, независимые тесты изоляции, полные журналы аудита, ясные пороги раскрытия информации и четкие правила предоставления передовым агентам доступа к интернету. Доступные данные подтверждают общий контекст испытаний и один класс проблем с изоляцией; точная регуляторная реакция пока остается неопределенной.

Практическое правило для разработчиков предельно простое: считайте любую кибериспытательную модель потенциально способной достичь настоящей системы, пока независимая проверка не докажет обратное на уровне сети.