ИИ помогает создавать следующий ИИ — и это тревожит исследователей

Исследователей беспокоит не только то, насколько мощными станут будущие модели. Важен и темп: искусственный интеллект может помогать создавать следующий ИИ, а тот — ускорять дальнейшие исследования. Руководители и учёные из OpenAI, Anthropic, Meta и Microsoft призывают власти разобраться, насколько далеко зашла такая автоматизация, пока за развитием ещё можно эффективно наблюдать. 23

Возможный сценарий называют «интеллектуальным взрывом»: ИИ всё активнее участвует в создании более способных систем, и каждый новый цикл потенциально ускоряет следующий. Это предупреждение о риске, а не свидетельство того, что ИИ уже самостоятельно улучшает себя без человеческого контроля. Главный вопрос для регуляторов — как измерять и контролировать растущую роль ИИ в исследованиях самого ИИ. 114

Как автоматизация может ускорить разработку

ИИ способен выполнять часть задач, связанных с созданием будущих моделей. Если его помощь позволяет исследователям разрабатывать более мощные системы, а те, в свою очередь, берут на себя ещё больше работы, процесс может разгоняться от цикла к циклу. Эту идею называют рекурсивным самоулучшением: ИИ помогает совершенствовать процесс разработки ИИ. 15

Исследователей тревожит прежде всего возможное ускорение темпа. В одном из описанных в публикациях сценариев прогресс, на который раньше ушёл бы год, может уложиться в несколько недель. Это прогноз, а не зафиксированный результат: доступные источники не подтверждают, что разработки уже идут с такой скоростью. 314

В более раннем исследовании авторы опросили 25 учёных из ведущих ИИ-лабораторий и академической среды. Многие ожидали, что ИИ сможет автоматизировать исследования в этой области и запустить цикл ускоряющегося прогресса. Это объясняет, почему риск воспринимают всерьёз, но не доказывает, что «интеллектуальный взрыв» неизбежен. 1

Что исследователи предлагают проверить

Непосредственный призыв — повысить прозрачность и выяснить, насколько активно компании используют ИИ в исследованиях и разработке. Более 20 исследователей и руководителей отрасли попросили политиков внимательнее изучить этот прогресс и рассмотреть меры защиты. 2

Важно не путать такой призыв с утверждением, будто лаборатории уже передали ИИ полный контроль над исследованиями. Более точные сведения о том, где и как применяют ИИ, помогли бы оценить, достаточны ли нынешние меры надзора по мере того, как системы берут на себя всё больше этапов разработки. 23

Почему звучат призывы замедлить разработку

Согласованное замедление могло бы дать время на проверки безопасности, независимую оценку моделей и укрепление надзора — прежде чем возможности систем изменятся снова. Исследователи OpenAI и Anthropic публично выступали за более медленный темп, тогда как другие представители отрасли предпочитают подход, в большей степени ориентированный на рыночные механизмы. Единого мнения о том, насколько следует замедлиться и как именно это сделать, нет. 818

Есть и практические вопросы: какие системы и виды работ затронут ограничения, кто будет проверять их соблюдение и как договориться о замедлении конкурирующим компаниям? В публикациях отмечается, что неясно даже, что именно должно означать такое замедление и как его обеспечивать.

Может ли помочь аварийное отключение

Президент Microsoft Брэд Смит считает, что создатели моделей, поставщики облачной инфраструктуры и те, кто управляет ИИ-агентами, должны иметь возможность отключать системы. Такой механизм можно рассматривать как аварийный тормоз, но не как замену профилактике и постоянному надзору.

У «выключателя» есть технические ограничения. ИИ-системы могут работать на распределённой инфраструктуре, поэтому одна кнопка не гарантирует остановку всех компонентов. Эксперты указывают, что необходимы также мониторинг и вмешательство людей.

Кто устанавливает правила — и в чём противоречие

Если разработчики и облачные провайдеры получат роль в надзоре, возникает вопрос о возможном конфликте интересов: компании могут одновременно участвовать в управлении рисками и создавать или размещать системы. Microsoft, например, разрабатывает ИИ-модели и предоставляет облачные услуги. Это делает особенно важными независимые проверки и ясные правила, но само по себе не доказывает, что позиция компании по безопасности неискренняя. 2

Есть и более широкая проблема координации. Руководители отрасли расходятся во взглядах на темпы разработки, а разговоры о замедлении идут на фоне сильной конкуренции. Одной компании может быть трудно добровольно сдерживать разработку, если другие продолжают двигаться быстро. Источники подтверждают наличие разногласий и конкурентного давления, но не доказывают, что коммерческие интересы определяют позицию каждого исследователя. 1218

Для политиков отсюда следуют два связанных вопроса: как отслеживать роль ИИ в создании ИИ и как сделать меры безопасности проверяемыми, а не основанными только на заверениях самих компаний. Предупреждения дают повод заняться этим сейчас, но не устанавливают, насколько вероятен «интеллектуальный взрыв» и какой именно ответ властей окажется эффективным. 123