Почему исследователи безопасности передового ИИ выгорают и требуют замедлить гонку

Работа по безопасности передового ИИ создаёт особый вид давления. Люди, проверяющие наиболее мощные модели до их выхода, могут считать, что те способны причинить серьёзный вред, но при этом не иметь полномочий отложить релиз или потребовать исправлений.

По данным СМИ, несколько сотрудников британского AI Safety Institute — организации, оценивающей передовые модели ИИ, — брали медицинский отпуск или обращались за психологической помощью. Среди называемых причин — жёсткие сроки тестирования, низкий моральный настрой и тревога из-за быстрого внедрения технологий. Это не означает, что подобное состояние характерно для всех сотрудников института или компаний Anthropic, OpenAI и Google DeepMind. Но сообщения указывают на человеческую цену технологической гонки с высокими ставками. 2

Почему эта работа психологически тяжела

Исследователи безопасности проверяют не абстрактную технологию далёкого будущего, а системы, которые организации могут вскоре выпустить в широкий доступ. Отсюда возникает болезненное противоречие: обнаружить уязвимость — не то же самое, что иметь право остановить запуск.

В центре сообщений о ситуации в британском институте — сокращённые окна для оценки ещё не выпущенных систем и опасения, что коммерческое развёртывание и рост возможностей моделей идут слишком быстро. 2 Когда возможные последствия ошибки воспринимаются как очень серьёзные, темп работы высок, а независимые механизмы вмешательства неясны, выгорание может усиливаться чувством ответственности за риски, которые один специалист не способен устранить.

Это следует понимать прежде всего как институциональную проблему, а не как доказательство того, что отдельные сотрудники «реагируют неадекватно» или что катастрофа неизбежна.

Каких рисков опасаются исследователи

Речь идёт и о сравнительно близких сценариях злоупотребления, и о более спекулятивных долгосрочных сценариях утраты контроля.

Кибербезопасность и биологические угрозы

Мощная модель может снизить необходимый уровень навыков, время или стоимость вредоносных действий. Бывший исследователь Anthropic Джейкоб Коксон, ранее работавший в OpenAI, называл правдоподобными путями к тяжёлому ущербу биологические угрозы с использованием ИИ и кибероружие. 15

Это не утверждение, что какая-либо конкретная модель уже вызвала такой инцидент. Однако именно поэтому команды безопасности настаивают на проверках, ограничениях доступа и мониторинге до того, как системы с более сильными способностями к рассуждению или автономному выполнению задач станут широко доступны.

Системы, развивающиеся быстрее надзора

Вторая тревога связана с тем, что ИИ может автоматизировать всё большую часть исследований и инженерной работы, ускоряя сам цикл разработки. В докладе Центра безопасности и новых технологий Джорджтаунского университета (CSET) говорится: высокоавтоматизированные исследования и разработки в области ИИ способны ускорить рост возможностей систем и одновременно затруднить людям их понимание и контроль. Это описывается как возможный сценарий риска, а не как установленный факт. 48

Имеющиеся данные очерчивают важную границу. Одно недавнее исследование показало, что агенты могли самостоятельно выполнять значительный объём инженерной работы для исследований, но не добились существенного прогресса в решении проверявшихся открытых исследовательских вопросов. 49 Полное рекурсивное самосовершенствование ИИ, таким образом, пока не подтверждено. Опасение касается направления и скорости: даже частичная автоматизация может сократить время, доступное для оценки, регулирования и исправления ошибок.

Почему отставка Джейкоба Коксона стала заметной

Публичная отставка Коксона придала человеческое измерение тревогам, которые часто остаются внутри лабораторий. Он заявил, что после работы над исследованиями предобучения в OpenAI и Anthropic пришёл к выводу: компании соревнуются в создании самосовершенствующегося сверхинтеллекта, не действуя достаточно ответственно. В интервью BBC он также сказал, что люди, работающие над этой технологией, «искренне напуганы» скоростью её развития и возможными последствиями. 1

Увольнение одного человека не подтверждает все его прогнозы. Но оно делает видимой рабочую дилемму: оставаться ли внутри лаборатории, пытаясь улучшить защитные меры, или уйти и говорить публично, если внутренние каналы кажутся недостаточными.

Почему одной лаборатории трудно замедлить гонку

Ключевая проблема управления здесь — коллективное действие. Лаборатория, которая в одиночку замедлит развитие возможностей ИИ, может опасаться отстать от конкурентов. А её сотрудники при этом получат ещё меньше влияния на гонку, охватывающую всю отрасль.

Эксперты Stanford HAI пришли к выводу, что широкого замедления развития возможностей ИИ будет трудно добиться. При этом они подчеркнули необходимость независимых оценок со стороны государства или квалифицированных третьих сторон, а также более крупных вложений в безопасность, защиту и мониторинг. 18

Такой подход практичнее, чем возлагать основную ношу на отдельных исследователей. Он переносит вопрос из области личной совести в сферу общих правил: кто проводит испытания, что происходит при пересечении порога риска и кто способен проверить соблюдение требований.

Искренни ли призывы отрасли к замедлению

Дарио Амодеи из Anthropic, Сэм Альтман из OpenAI и Демис Хассабис из Google DeepMind в разной степени публично поддержали замедление или более осторожный темп развития передового ИИ. 32 Среди публично обсуждаемых предложений — предоставить независимым внешним оценщикам постоянный доступ к ведущим ИИ-лабораториям. 36

Но публичная декларация не равна обязательству, которое можно принудительно исполнить. Критики отмечают, что «заморозка ИИ», разработанная доминирующими компаниями, способна укрепить их позиции и поставить в невыгодное положение более мелых конкурентов. 34 Оба тезиса могут быть верны одновременно: руководители действительно могут видеть риски безопасности, а крупные игроки — получать выгоду от правил, которые новым участникам рынка трудно выполнить.

Поэтому полезнее оценивать не мотивы, а проверяемость обязательств. Серьёзность подхода к безопасности можно судить по следующим признакам:

• независимые оценки, не контролируемые исключительно разработчиком;
• ясные пороги риска и последствия их пересечения;
• прозрачная отчётность об инцидентах и практиках киберзащиты;
• содержательный внешний надзор;
• защита работников, сообщающих о проблемах безопасности.

Что эти сообщения показывают — и чего не показывают

Они не доказывают, что вымирание человечества неизбежно, что все сотрудники передовых ИИ-лабораторий испытывают сильный стресс или что нынешние системы могут без ограничений самостоятельно улучшать себя.

Но они помогают понять, почему некоторые люди, работающие ближе всего к технологии, воспринимают ситуацию как этически крайне тяжёлую: мощные системы проверяются в условиях дефицита времени; опасения охватывают и кибер- и биологические злоупотребления, и потерю контроля; а институты, которые должны регулировать релизы, могут пока не обладать достаточной независимостью и полномочиями. 2 15 18

Для исследователей безопасности ИИ это превращает техническую профессию в вопрос личной ответственности. Устойчивое решение состоит не в том, чтобы оставлять эту ответственность отдельным работникам, а в создании заслуживающих доверия и независимо проверяемых механизмов оценки и подотчётности, способных поспевать за технологией, которую им предстоит контролировать.