Почему специалисты по безопасности ИИ испытывают выгорание и уходят из ведущих лабораторий

Сообщения о больничных, обращениях к психологам и увольнениях среди специалистов по безопасности ИИ связаны не с одним конкретным инцидентом, а с сочетанием морального напряжения и давления внутри организаций. Люди, которые проверяют самые мощные модели, опасаются, что технологии и гонка за их быстрым внедрением могут опередить механизмы защиты, надзора и оценки рисков.

По данным, пересказанным со ссылкой на Financial Times, несколько сотрудников британского AI Safety Institute — государственной структуры, оценивающей передовые ИИ-модели, — брали медицинский отпуск или обращались за консультациями из-за психологического состояния. Среди причин назывались сжатые сроки тестирования, низкий моральный дух и выгорание. 15 Похожие тревоги звучали и от исследователей крупных лабораторий, включая Anthropic, OpenAI и Google DeepMind, хотя доступные публичные данные не позволяют судить, насколько это распространено в каждой из компаний.

Каких рисков они боятся

Опасения касаются как сравнительно близких, так и более радикальных сценариев. Передовые модели могут облегчить подготовку кибератак или опасное применение биологических знаний. Джейкоб Коксон, работавший над предобучением моделей в OpenAI и Anthropic, прямо называл ИИ-усиленные биологические угрозы и кибероружие возможными путями к катастрофе. 15

Есть и долгосрочная тревога: всё более автономные системы могут стать настолько сложными и быстрыми в действиях, что люди перестанут иметь над ними реальный контроль. Это не означает, что такой исход доказан или неизбежен. Но для части специалистов сама вероятность тяжёлого ущерба — при ощущении, что темп разработки растёт быстрее защитных мер, — становится психологически невыносимой.

Почему работа над безопасностью сама становится источником стресса

Сотрудники команд безопасности не наблюдают за рисками со стороны. Они тестируют модели, участвуют в их обучении или помогают принимать решения об их выпуске. Когда проверку нужно завершить быстро, а коммерческая конкуренция подталкивает к новым релизам, возникает болезненный разрыв между способностью заметить угрозу и возможностью реально остановить развёртывание системы.

Такое положение может порождать выгорание, чувство бессилия и моральную травму: человек считает риск серьёзным, но не уверен, что у него достаточно полномочий или времени, чтобы на него повлиять. 15

Увольнение Джейкоба Коксона сделало внутреннюю тревогу публичной

Коксон ушёл из Anthropic после работы в OpenAI и Anthropic и публично обвинил компании в безответственной гонке к самосовершенствующемуся сверхинтеллекту. 14 В интервью BBC он сказал, что сотрудники ведущих лабораторий «искренне напуганы» скоростью прогресса и его последствиями для человечества. 9

Его заявление не доказывает, что все сотрудники отрасли разделяют такую оценку. Однако оно сделало видимыми опасения, которые прежде могли оставаться внутри компаний, и поставило перед другими работниками практический вопрос: оставаться, пытаться возражать изнутри или уходить.

Почему проблему нельзя решить силами одной лаборатории

Дискуссия постепенно выходит за рамки личных переживаний сотрудников и становится вопросом трудовых условий и общественного управления технологией. Смысл позиции, обсуждавшейся в Стэнфорде, состоит в том, что отдельная компания или отдельный работник не могут в одиночку безопасно остановить конкурентную гонку. Нужны скоординированные действия, независимая оценка моделей и правила, обязательные для всех участников рынка.

Участники дискуссии Stanford HAI сочли широкое замедление развития возможностей ИИ труднодостижимым, но подчеркнули необходимость независимых проверок со стороны государства или квалифицированных третьих организаций. 3 При этом имеющихся источников недостаточно, чтобы приписывать Робу Райху конкретный детально разработанный план коллективных действий работников — речь идёт о более широкой рамке внешнего демократического контроля. 1

Почему призывы руководителей «сбавить темп» не сняли недоверия

Руководители Anthropic, OpenAI, Google DeepMind и другие лидеры индустрии в разной форме поддержали идею замедлить развитие передового ИИ. 2 Но критики указывают на очевидную проблему: если «паузу» или ограничения будут проектировать и контролировать сами крупнейшие компании, это может укрепить их рыночное доминирование и осложнить путь небольшим конкурентам. 11

Поэтому ключевой вопрос — не в заявлениях, а в проверяемых шагах: готовы ли компании откладывать релизы, допускать независимых аудиторов, соблюдать обязательные пороги риска, защищать информаторов и принимать внешние ограничения.

Автоматизация исследований делает будущее менее предсказуемым

Тревогу усиливает и перспектива автоматизации самой разработки ИИ. Полноценного рекурсивного самосовершенствования — когда ИИ самостоятельно и многократно улучшает собственные возможности — пока не достигнуто. 6 Однако системы уже способны автоматизировать отдельные задачи в исследованиях и инженерной работе.

В CSET предупреждают, что всё более автоматизированные исследования и разработки могут ускорить прогресс ИИ и затруднить людям понимание и контроль над ним. 4 Одновременно недавняя работа показала более сдержанную картину: агенты смогли самостоятельно выполнить значительный объём инженерной работы, но не добились существенного прогресса в открытых научных вопросах. 5

Иными словами, речь не о доказательстве скорого «конца света». Это свидетельство того, что часть людей, находящихся ближе всего к разработке передового ИИ, считает сочетание ускоряющихся возможностей, двойного назначения технологий, конкурентного давления и слабого внешнего контроля слишком тяжёлым — и психологически, и этически.