Может ли ИИ привести к вымиранию человечества — и что нужно доказать до введения ограничений

Нынешний спор о том, может ли ИИ привести к вымиранию человечества, — это не просто противостояние «паникёров» и тех, кто считает технологию безопасной. Главный вопрос в другом: насколько быстро будут расти возможности моделей, что именно должно произойти для необратимого ущерба и сколько доказательств общество вправе требовать, прежде чем ограничивать разработчиков.

Особую остроту дискуссии придали заявления людей, работавших внутри ведущих ИИ-лабораторий. При этом даже многие критики риторики о конце света поддерживают тестирование и меры безопасности. Всё чаще спор сводится к практическому критерию: смогут ли разработчики доказать, что контролируют всё более мощные системы и способны безопасно их внедрять.

Предупреждения изнутри: гонка к системам, которые могут выйти из-под контроля

Бывший исследователь Anthropic Джейкоб Коксон, который, по его словам, также работал в OpenAI, в сентябре 2026 года ушёл из Anthropic. Он заявил, что обе компании ставят конкурентную гонку выше ответственной разработки и движутся к «самосовершенствующемуся сверхинтеллекту». 49

Его позицию публично поддержал руководитель исследований выравнивания ИИ (alignment) в Anthropic Эван Хубингер. Хубингер написал, что лично оценивает вероятность того, что ИИ убьёт всех людей в ближайшие десять лет, более чем в 10%. Он также признал: у Anthropic пока нет плана, как решить проблему выравнивания сверхинтеллекта — то есть как гарантировать соответствие его действий человеческим целям и ограничениям. 16 При этом его цифра — личный прогноз, а не научный консенсус и не эмпирически рассчитанная вероятность. 12

Бывший исследователь Google DeepMind Билал Чугтай высказал похожую тревогу: по его мнению, ИИ способен убить всех людей, а времени для предотвращения такого исхода может оставаться всё меньше. 2

Эти опасения обычно не означают, что сегодняшние чат-боты внезапно станут опасны сами по себе. Предполагаемый сценарий условный: будущие системы могут заметно ускорять исследования ИИ, действовать с большей автономией, обходить человеческий надзор или расширять доступ к кибернетическим, биологическим и институциональным возможностям быстрее, чем будут совершенствоваться методы безопасности. Насколько реалистична такая цепочка — и как скоро она может возникнуть, — в этом и состоит главный предмет разногласий.

Почему «10%» — не установленный прогноз

Цифра Хубингера привлекла внимание именно потому, что она звучит резко и исходит от старшего специалиста по безопасности ИИ. Но трактовать её следует корректно: это индивидуальная оценка в условиях глубокой неопределённости, а не вероятность, подтверждённая историческими данными или моделью, способной измерить риск вымирания. 12

Такой прогноз зависит сразу от нескольких неразрешённых допущений:

• ИИ-системы должны стать существенно способнее нынешних моделей.
• Эти способности должны превратиться в устойчивую стратегическую автономию или опасную власть в реальном мире.
• Технические ограничения, операторы, институты и защитные меры должны не справиться с контролем над системой или её злоупотреблением.
• Исследования безопасности и выравнивания должны отстать от роста возможностей ИИ.

Каждое звено этой цепочки можно обсуждать отдельно. Это не делает риск несущественным, но означает, что громкую процентную оценку нельзя принимать за доказанное предсказание.

Аргумент скептиков: цифровой интеллект — ещё не физическая власть

Скептики оспаривают переход от сильных результатов в программировании и работе с языком к способности вызвать физическую катастрофу планетарного масштаба. Часто в пример приводят биологию. Эрик Син отметил, что сгенерировать языковой моделью гипотетическую последовательность вирусного генома — принципиально не то же самое, что создать жизнеспособный вирус: нужны материалы, производство, лабораторная работа, биологическая жизнеспособность и испытания. 46

Это важное различие. Модель может предоставить информацию или проект, однако превращение этого знания в реальный вред требует специализированной инфраструктуры, неявных практических навыков, цепочек поставок, многократных экспериментов и доступа к контролируемым материалам. Такие барьеры не означают, что риски для биобезопасности равны нулю. Но они ставят под сомнение предположение, будто одной лишь цифровой компетентности достаточно для немедленной решающей власти в физическом мире.

Глава Nvidia Дженсен Хуанг стал одним из самых заметных критиков тезиса о вымирании, назвав идею о том, что ИИ уничтожит человечество, «полной бессмыслицей». 33 Марк Кьюбан, в свою очередь, заявил, что реакция людей на тревожные сообщения может быть опаснее, чем сами «рои» ИИ-агентов. 43

Скептическая позиция, таким образом, не обязательно сводится к отрицанию любых ограничений для передового ИИ. Её суть в том, что исключительные заявления о близком вымирании требуют более веских доказательств, чем экстраполяция нынешних результатов моделей и предположения о будущих сценариях.

Практический компромисс: замедлять рост возможностей и проверять безопасность

Более прикладной ответ предлагают руководители, которые не считают вымирание ни неизбежным, ни невозможным. Генеральный директор Anthropic Дарио Амодеи призвал замедлить темпы роста возможностей ИИ-моделей, чтобы выиграть время для работы над безопасностью. В его схему входят независимые оценщики с доступом уровня сотрудников и координация между разработчиками передового ИИ. 18

Reuters сообщало, что глава OpenAI Сэм Альтман входит в число руководителей, поддерживающих скоординированное замедление, хотя индустрия расходится во мнениях о том, насколько можно полагаться на рыночные механизмы безопасности. 19 По данным публикаций, Альтман также поддержал привлечение внешних оценщиков. 20

Такой подход переводит спор из области абстрактных предсказаний в плоскость проверяемых практик:

1. Независимая оценка. Квалифицированные внешние специалисты должны получать содержательный доступ для проверки заявлений о безопасности, а не полагаться только на слова компаний. 18
2. Пороги по уровню возможностей. Контроль следует усиливать или ограничивать развёртывание, когда модели заметно продвигаются в опасных областях — например, в кибероперациях или автономном поведении агентов.
3. Координация лабораторий. Она уменьшает стимул жертвовать запасом безопасности, чтобы не отстать от конкурентов. 18
4. Международное сотрудничество. Необходима координация стандартов между правительствами и крупными разработчиками ИИ, включая механизмы, снижающие давление конкуренции в пользу поспешного запуска. 27
5. Безопасность должна успевать за возможностями. Доказанный контроль, мониторинг и способность реагировать на инциденты должны развиваться параллельно с ростом мощности систем.

Не заслоняют ли далёкие угрозы уже существующий вред?

Есть и спор о приоритетах. Даже если катастрофические риски заслуживают исследований и планов на случай чрезвычайных ситуаций, концентрация исключительно на гипотетическом вымирании может отодвинуть на второй план ущерб, уже связанный с внедрением ИИ.

В ближайшей повестке — злоупотребления в киберсфере, мошенничество, слежка, дезинформация, дискриминационные автоматизированные решения, вытеснение работников и концентрация власти. Сам Амодеи, объясняя необходимость замедления, ссылался на риски злоупотреблений, включая разработку оружия, кибератаки и наблюдение за людьми. 29

Это не обязательно выбор между сегодняшними проблемами и долгосрочными катастрофами. Одни и те же меры могут работать в обоих направлениях: более строгий контроль доступа, качественные испытания, осторожные правила внедрения, независимый надзор, отчётность об инцидентах и понятная ответственность снижают текущие злоупотребления и одновременно повышают готовность к появлению более мощных систем.

Что реально меняет этот спор

Наиболее обоснованный вывод состоит не в том, что вымирание уже доказано, и не в том, что его можно игнорировать, пока не продемонстрирована полная цепочка катастрофического сценария. Из имеющихся аргументов следует более практический стандарт: заявления о безопасности всё более мощных систем должны быть проверяемыми, доступными независимой экспертизе и соразмерными потенциальному масштабу ущерба.

Коксон, Хубингер и Чугтай призывают к предосторожности в условиях неопределённости. Скептики, такие как Хуанг и Син, оспаривают достаточность нынешних данных для выводов о скором конце света. Амодеи и Альтман указывают на ответ, который не требует сначала разрешить все философские споры: сдерживать темп на переднем крае разработки, измерять опасные возможности, допускать заслуживающих доверия внешних проверяющих и координировать действия до того, как конкуренция сделает непроверенные заявления о безопасности нормой для запуска систем. 49 16 33 18 19