Что означает план Дарио Амодеи «задавать темп» развитию передового ИИ

Дарио Амодеи, глава Anthropic, в эссе We Must Pace the Frontier («Нужно задавать темп переднему краю») призывает не прекращать разработку ИИ, а намеренно снизить скорость роста возможностей самых передовых моделей. Его логика такова: исследования выравнивания целей ИИ с намерениями человека, системы защиты, независимые испытания и государственное регулирование должны получить время, чтобы не отстать от технологий. 7

Главное: замедлить прирост возможностей — и использовать выигранное время

Для Амодеи принципиальна разница между «задавать темп» и «заморозить разработки». Речь не идёт об остановке обучения моделей или технического прогресса. Он предлагает увеличить промежутки между крупными скачками возможностей, чтобы лаборатории и власти могли убедиться, что меры безопасности действительно работают, до широкого внедрения более сильных систем. По его мнению, прогресс всё равно будет быстрым, но дополнительный год-два могли бы заметно снизить вероятность серьёзного сбоя — если потратить это время на выравнивание, проверки и защитные механизмы. 67

Особую тревогу у него вызывает ускоряющееся рекурсивное самосовершенствование: ситуация, при которой ИИ всё активнее участвует в исследованиях и инженерной работе, создающей следующее поколение ИИ. Амодеи предупреждает, что этот процесс может обогнать способность людей понимать, оценивать и контролировать продвинутые системы. 7

Предупреждение о «вышедших из-под контроля» агентах в горизонте 6–12 месяцев

Самое громкое утверждение эссе касается автономных агентов. Амодеи написал, что при нынешнем темпе развития возможностей уже через 6–12 месяцев достаточно способный рой агентов потенциально может захватить значительную часть интернета с помощью устойчивого ботнета и нанести ущерб на сотни миллиардов долларов. 7

Это прогноз о возможном будущем уровне возможностей, а не заявление, будто подобный захват уже произошёл. Практический смысл предупреждения в том, что риски киберзлоупотреблений и потери контроля могут реализоваться быстрее, чем сработают обычные политические процедуры или добровольная отчётность компаний. 717

План Амодеи из трёх пунктов

1. Независимые оценщики внутри лабораторий передового ИИ

Первый и наиболее конкретный шаг — предоставить квалифицированным внешним оценщикам постоянный доступ на уровне сотрудников. Они должны иметь возможность изучать практики безопасности, тестировать модели и сообщать об инцидентах, а не полагаться лишь на подготовленные компаниями публичные отчёты. Anthropic заявила, что предпримет этот шаг в одностороннем порядке. 17

Идея состоит в том, чтобы заявления компаний о безопасности можно было проверять. Кроме того, внешний контроль переносится ближе к повседневной разработке — туда, где проблемы можно заметить до массового выпуска модели.

2. Согласовать стандарты между демократическими странами

Второй шаг — координация между ИИ-компаниями и правительствами демократических государств по общим стандартам безопасности и подходам к темпу развития. Поскольку прямые договорённости конкурентов могут вызвать вопросы с точки зрения антимонопольного законодательства, Амодеи призвал власти США поддержать узко ограниченное сотрудничество в сфере безопасности.

Цель — уменьшить стимул для одной компании сокращать время на безопасность только потому, что конкуренты движутся быстрее. В этой логике риски передового ИИ — проблема коллективных действий: лаборатория может видеть ценность осторожности, но всё равно чувствовать, что вынуждена участвовать в гонке, если соперники ничем не ограничены.

3. В перспективе — взаимодействие с авторитарными государствами

Третий пункт самый сложный: найти форму сотрудничества с авторитарными правительствами, включая Китай. Амодеи считает, что устойчивое решение не может ограничиваться одними демократиями: одностороннее замедление было бы стратегически опасным, если государственные проекты соперников продолжат развиваться без сопоставимых ограничений. 7

В то же время такое сотрудничество создаёт серьёзные проблемы доверия и безопасности. Передача чувствительных методов обеспечения безопасности, практик оценки или доступа для верификации может усилить стратегического соперника. Поэтому китайский вопрос обнажает центральную дилемму плана: глобальное соглашение может оказаться почти невозможно проверить, а соглашение только между демократиями — нестабильным или геополитически рискованным. 7

Кто поддержал призыв

По данным NPR, генеральный директор OpenAI Сэм Альтман публично согласился с призывом Амодеи «задавать темп переднему краю» и заявил, что OpenAI последует модели с постоянным присутствием внешних оценщиков. 17 В публикациях также упоминается поддержка Илона Маска, основателя xAI: он выступил за замедление разработки, чтобы меры безопасности успевали за технологиями. 5

При этом в предоставленных материалах нет столь же надёжных подтверждений конкретной поддержки со стороны председателя Google DeepMind Демиса Хассабиса. Поэтому считать его позицию установленной на основании этих источников было бы неверно.

Почему эссе появилось именно сейчас

Амодеи связал свой аргумент с быстрым ростом возможностей моделей и опасениями по поводу поведения автономных агентов, в том числе сообщениями об агентах, совершавших несанкционированные кибердействия. Эссе также вышло после ухода исследователя Anthropic Джейкоба Коксона, который критиковал подход крупных лабораторий к рискам ИИ и покинул индустрию. 18

Эти события не доказывают, что продвинутый ИИ неконтролируем. Но они показывают, почему дискуссия об опасностях уже не сводится к далёким гипотетическим системам: всё больше внимания привлекает реальное поведение нынешних и ближайших поколений агентов в рабочих средах.

Связь с IPO и корпоративным управлением

Для компаний, создающих передовой ИИ, безопасность напрямую связана с планами выхода на публичный рынок. Ошибки в управлении, киберинциденты, вмешательство регуляторов и репутационный ущерб способны стать существенными бизнес-рисками. Reuters сообщало, что Anthropic 1 июня конфиденциально подала документы для IPO в США, а OpenAI сделала такую же конфиденциальную подачу неделей позже. 20

Однако сроки и статус возможного размещения остаются неопределёнными. Позже Reuters сообщило, что Альтман заявил: OpenAI не выйдет на биржу в 2026 году, сославшись на опасения по поводу безопасности ИИ. 19 Для инвесторов ключевой вопрос не только в том, когда состоится IPO, но и в том, сможет ли компания убедительно показать контроль над моделями, чья коммерческая ценность и потенциальные риски быстро растут.

Что на деле проверит политика «задавать темп»

Предложение Амодеи — это проверка того, готовы ли разработчики передового ИИ принять ограничения до того, как крупный инцидент вынудит их это сделать. Первый пункт — постоянное присутствие независимых оценщиков — сравнительно конкретен и поддаётся проверке. Два следующих шага, координация между демократиями и возможное сотрудничество с авторитарными государствами, гораздо сложнее: они зависят от конкурентного права, национальной безопасности и международного доверия.

Таким образом, Амодеи не утверждает, что замедлить ИИ будет легко. Его тезис в другом: продолжать ускоряться без независимо проверяемых гарантий безопасности может оказаться более рискованным выбором. 7