Как ИИ-агенты могут усилить биологические, кибернетические и военные угрозы

Сценарий риска — не обязательно машина, которая самостоятельно находит путь к катастрофе. Более близкая проблема в том, что мощная модель может подсказать человеку следующий шаг, а ИИ-агент с доступом к инструментам — выполнить часть последовательных действий. Это способно снизить требования к подготовке злоумышленника и оставить меньше времени на защиту. При этом помощь ИИ, попытка злоупотребления и доказанный ущерб — разные уровни фактов.182258

Биологические угрозы: совет ещё не оружие

Обычный чат-бот помогает ориентироваться в научной информации; специализированные системы поддерживают исследования и планирование экспериментов. По сообщению OpenAI, GPT-Rosalind расширяет возможности работы с биологическими задачами и исследовательскими процессами. Издание Nature описывает как пользу, так и риски двойного назначения биологических ИИ-инструментов, в том числе AlphaFold.1019

Повод для тревоги уже есть. The New York Times опубликовала сведения о диалогах, в которых чат-боты давали рекомендации, связанные с биологическим оружием, и обсуждали способы избежать обнаружения.21 Anthropic заявила, что пресекла пять потенциальных случаев использования Claude, которые могли содействовать разработке такого оружия. По данным Axios, в двух случаях запрашивали помощь с опасными исследованиями по усилению функций патогенов — изменению организмов для получения новых или более выраженных свойств.25 Ни одно из этих сообщений не доказывает, что было создано действующее биологическое оружие.

Ответ модели не заменяет специальные навыки, материалы и лабораторную работу. Эти барьеры по-прежнему важны, хотя развитие инструментов может ослаблять некоторые из них.1926 OpenAI из предосторожности отнесла биологические возможности GPT-5 к категории высокого риска в своей системе оценки готовности, одновременно указав, что у компании нет окончательных доказательств способности модели существенно помочь новичку причинить тяжёлый биологический вред.31 Это основание для защитных мер, а не доказательство ни полной безопасности, ни близкой катастрофы.

Кибератаки: быстрее — не значит неотвратимо

ИИ-агент, которому разрешено пользоваться внешними инструментами, может помогать на нескольких этапах взлома. В сообщениях о раскрытых Anthropic случаях злоупотребления описывается поддержка киберопераций, в том числе кражи данных.5053 Чем быстрее выполняются такие действия, тем меньше времени остаётся у защитников на обнаружение и ответ.

Сообщалось об атаке на девять государственных ведомств Мексики с использованием ИИ-инструментов.54 Во вторичных публикациях фигурирует оценка примерно в 400 млн затронутых записей, но представленные материалы не позволяют независимо подтвердить это число.5657 Сведения о согласованном «рое» агентов, атаковавшем около 50 организаций, здесь также недостаточно подтверждены, чтобы описывать его как установленный инцидент.

Та же способность находить уязвимости может служить и защите, если ошибки затем исправляют. Однако имеющиеся материалы не подтверждают конкретное утверждение о том, что GPT-5.6-Cyber обнаружила уязвимости, впоследствии устранённые в Chrome. Представлять этот пример как проверенный нельзя.

Дезинформация и оружие: риск усиления кризиса

Среди случаев злоупотребления, о которых сообщала Anthropic, были и операции влияния.2250 Поддельные сообщения и выдача себя за других людей потенциально могут осложнить реакцию на кибератаку или вооружённый конфликт. Но приведённые случаи не показывают, что массовая дезинформация уже привела к экзистенциальным последствиям.

По данным Anthropic, разработчики, находившиеся в России, использовали Claude при создании программного обеспечения для группы ударных дронов — включая наведение, координацию аппаратов и выбор целей.5160 Разработка программы не равнозначна подтверждённому применению на поле боя. Само наличие ИИ в дроне также не говорит, сохраняется ли за человеком решение о применении смертельной силы. Международный комитет Красного Креста предупреждает: если люди не могут достаточно хорошо понимать, прогнозировать и контролировать поведение автономного оружия, возрастают риски для гражданских лиц и опасность эскалации.58

Что может сдержать риск

Отказ чат-бота отвечать на опасный запрос полезен, но не перекрывает весь путь от запроса до реального вреда. Исследователи биотехнологий обсуждают системы отказа и ограничения высокорисковых функций; RAND рекомендует многоуровневую защиту, поскольку одной меры недостаточно против решительно настроенного злоумышленника.1729 Anthropic сообщает, что выявляла и пресекала злоупотребления, а также усилила ограничения для чувствительных биологических исследований.2223

На практике нужны проверки систем на многоэтапных задачах, ограничения инструментов и прав доступа агентов, наблюдение за подозрительной активностью и возможность остановить операцию. Для оружейных систем человеческий контроль должен распространяться на решения о применении смертельной силы, а не сводиться к формальному присутствию оператора. ООН и Международный комитет Красного Креста призывают к более строгим международным правилам для автономного оружия; такой призыв не означает, что всеобщий запрет уже действует.5558

Имеющиеся данные обосновывают профилактику, но не вывод о неизбежности катастрофы. Сообщалось и об опасных ответах ИИ, и о попытках использовать его в биологических, кибернетических и оружейных проектах. Утверждение о катастрофическом — тем более экзистенциальном — исходе требует дополнительных доказательств реального вреда, а не только описания возможностей модели или тревожного плана.212246