Почему «кнопки отключения» ИИ может оказаться недостаточно

Спор о «кнопке отключения» ИИ уже не сводится к простому вопросу: может ли лаборатория выключить свою модель. Куда важнее другое: сработает ли такой механизм, когда мощные системы будут развёрнуты в распределённой инфраструктуре и получат большую автономность.

Предупреждение Джейкоба Коксона: сегодня выключить можно — но не всегда

Бывший исследователь Anthropic и OpenAI Джейкоб Коксон в эфире Meet the Press на NBC заявил, что для многих нынешних ИИ-систем аварийное отключение, вероятно, сработало бы. Однако речь шла бы не об одной кнопке: пришлось бы останавливать множество компонентов, включая крупные дата-центры и развёрнутые сервисы. Это непросто, но, по его мнению, выполнимо, пока система ограничена одной физической площадкой. 8

Тревожит его следующий этап. Если ИИ превратится в распределённый автономный «рой», централизованная команда на отключение может технически потерять эффективность. Такой механизм работает лишь тогда, когда он способен достичь каждого активного экземпляра системы.

После ухода из Anthropic Коксон предупреждал, что ведущие лаборатории соревнуются в создании самосовершенствующихся ИИ-систем, хотя такие системы потенциально могут выйти из-под человеческого контроля. 150

Не обещание компании, а проверяемая защита

Сооснователь Anthropic Джек Кларк полагает, что способность отключить опасную ИИ-систему со временем может стать не добровольным обязательством разработчика, а требованием закона. В интервью BBC он сказал, что у большинства крупных лабораторий, включая Anthropic, уже есть способы остановить свои системы. Но он поставил другой вопрос: должна ли существовать возможность независимой проверки такой «кнопки отключения» третьей стороной? 33

Разница принципиальна. Одно дело — заявление компании о наличии процедуры аварийной остановки. Другое — возможность внешнего аудитора подтвердить, что процедура действительно существует, продумана и пригодна для применения в критической ситуации.

Подход Дарио Амодеи: «соразмерять темп развития передовых ИИ»

Генеральный директор Anthropic Дарио Амодеи предложил не прекращать исследования ИИ, а замедлить рост возможностей передовых моделей настолько, чтобы меры безопасности успевали за технологиями. Его план состоит из трёх частей:

1. Постоянные независимые оценщики внутри компаний. Разработчики передового ИИ должны предоставить внешним экспертам постоянный доступ, сопоставимый с доступом сотрудников, к relevant-системам и практикам безопасности. Это позволит проверять обязательства компаний и сообщать о проблемах.
2. Общие стандарты для демократических стран. Ведущие разработчики должны координировать единые нормы безопасности и ограничения на бесконтрольный рост возможностей моделей.
3. Международная координация. Правительствам необходимо сотрудничать через границы в вопросах рисков, которые не может надёжно сдержать ни одна отдельная компания или страна. 17

Это не призыв полностью остановить развитие ИИ. Смысл предложения в том, чтобы прогресс зависел от мер защиты, которые могут проверять не только сами создатели систем.

Кто поддержал идею

По данным Reuters, глава OpenAI Сэм Альтман и руководитель xAI Илон Маск публично поддержали общий курс Амодеи. Альтман заявил, что OpenAI внедрит подход с независимыми оценщиками, имеющими доступ уровня сотрудников; Маск написал: «Дарио прав». 17

Также сообщалось, что глава Google DeepMind Демис Хассабис положительно оценил направление предложения. 30 При этом предоставленные материалы не содержат конкретной, проверяемой реакции гендиректора Microsoft Сатьи Наделлы, поэтому приписывать ему поддержку или несогласие было бы преждевременно.

Что предлагает американский AI Kill Switch Act

Законопроект H.R. 9917, получивший название AI Kill Switch Act, предлагает внести изменения в Закон США о внутренней безопасности. Он обяжет определённые организации поддерживать техническую возможность остановить инференс — то есть работу модели при формировании ответов, — прекратить доступ пользователей и отключить подпадающую под действие закона ИИ-технологию. 49

Это пока лишь законодательная инициатива, а не доказанное решение всех проблем контроля над ИИ. Её практический смысл зависит от того, сможет ли разработчик в случае серьёзного инцидента всё ещё найти, охватить и отключить нужную систему. Именно это Коксон считает сомнительным для возможных распределённых систем будущего.

Оценки риска вымирания — не прогнозы

Исследователь Anthropic Эван Хьюбингер лично оценил вероятность вымирания человечества по вине ИИ в течение ближайших десяти лет более чем в 10%. Нобелевский лауреат и специалист по информатике Джеффри Хинтон сказал BBC, что вероятность на уровне 10% «не выглядит неразумной». 57

Это экспертные суждения о крайне неопределённом будущем, а не измеренные вероятности и не научный консенсус. Но они объясняют, почему спор об отключении ИИ вышел за рамки обычной безопасности цифровых продуктов: сторонники более жёстких мер считают, что даже небольшая вероятность необратимой катастрофы оправдывает серьёзные предосторожности.

Почему государства не спешат вводить обязательные отключения

Правительство Великобритании отвергло идею национальной «кнопки отключения», заявив, что страна «не может просто выключить ИИ». Его аргумент практический: блокировка доступа к моделям в Великобритании не помешает разрабатывать их или злоупотреблять ими в других странах. 51

В этом и состоит геополитическая проблема. Отдельное государство может регулировать компании и инфраструктуру в своей юрисдикции, но разработка ИИ носит международный характер. Власти, обеспокоенные конкурентоспособностью, могут опасаться, что односторонние ограничения перенесут инвестиции, технологические возможности и стратегическое преимущество к менее ограниченным соперникам.

Сторонники более сильного регулирования, напротив, считают это аргументом в пользу международно проверяемых правил: если риски пересекают границы, то и надзор с обязательствами по безопасности не должны оставаться исключительно национальными или добровольными.

Главный спор: скорость или управляемость

Разногласие не делит участников на сторонников и противников ИИ.

• Сторонники безопасности требуют проверяемых независимыми сторонами мер защиты, реальной возможности аварийного отключения и ограничений, не позволяющих возможностям ИИ опережать оценку рисков и механизмы контроля.
• Скептики жёстких ограничений указывают, что глобально обеспечить паузу крайне трудно: она может замедлить полезные инновации, но не остановить разработки в других странах.
• Сторонники условного развития, к которым относятся Коксон, Кларк и Амодеи, предлагают продолжать движение вперёд, но только при наличии защитных мер, которые можно испытать и проверить, а не просто обещать. 83317

Поэтому «кнопку отключения» разумнее рассматривать как один слой защиты, а не как её замену. Если продвинутые системы когда-нибудь станут настолько распределёнными, что единая команда не сможет охватить их все, контроль до развёртывания, независимая оценка и международная координация станут не менее, а более важными.