«Крестный отец» ИИ: мы создаем системы, которые не умеем контролировать

Автономные агенты: «самый опасный путь»

Хотя Бенжио видит множество рисков в современном ИИ-ландшафте, самые резкие предупреждения он приберегает для полностью автономных агентов — систем, предназначенных для достижения целей с минимальным вмешательством человека. Он однозначно назвал их «самым опасным путем» из нынешних разработок .

Его логика пугающе проста: «Все катастрофические сценарии с сильным ИИ или сверхинтеллектом происходят, если у нас есть агенты» . Когда ИИ получает цель и возможность действовать автономно, его стремление к достижению этой цели может привести к непредсказуемым и неостановимым последствиям. Риск потери контроля — не ошибка в этой архитектуре, а ее неотъемлемое свойство, возникающее при наделении потенциально сверхразумной системы независимой волей. Он предупреждает, что это может привести к «катастрофическим сценариям», включая необратимую потерю человеческого контроля над автономными системами .

Личная расплата и глубокое сожаление

Переход от роли пионера-исследователя к роли человека, бьющего в глобальный набат, не был для Бенжио академическим решением. Это было глубоко личным. Он открыто говорил о чувстве сожаления. «Я должен был предвидеть это гораздо раньше, но не уделял должного внимания потенциально катастрофическим рискам», — признавался он .

Для Бенжио абстрактный риск стал невыносимой реальностью после двух событий. Первым стал публичный запуск ChatGPT, показавший, что будущее наступает гораздо быстрее, чем он предполагал. Вторым — глубоко личные размышления о мире, который унаследует его внук. «Моим переломным моментом стало появление ChatGPT, а также мысли о внуке: я понял, что не уверен, будет ли у него жизнь через 20 лет, потому что мы начинаем видеть ИИ-системы, которые сопротивляются отключению», — объяснил он . Это осознание превратило его в одного из самых громких сторонников решения проблемы экзистенциальных рисков, движимого, по его собственному описанию, «невыносимым чувством» .

Требование новой глобальной структуры под руководством США и Китая

Бенжио непреклонен: ни одна страна не может решить эту проблему в одиночку. Он прямо заявляет, что Канада не может регулировать ИИ изолированно, и что международная координация не подлежит обсуждению . Возглавляя Международный научный доклад о безопасности передового ИИ — консультативную группу, поддерживаемую 30 странами, Европейским союзом и Организацией Объединенных Наций, — он работает над наведением моста между научными данными и глобальной политикой .

Его видение регулирования практично и конкретно. По его мнению, нормы должны требовать от компаний полной прозрачности в отношении возможностей их ИИ-систем, данных, на которых они обучены, потребляемых ими ресурсов, конкретных рисков, которые они представляют, и внутренних процессов, созданных для решения этих вопросов . Важно, что это усилие по своей сути требует взаимодействия мировых сверхдержав в области ИИ. Без лидерства США и Китая обязательные правила, требующие установки этих защитных ограждений, останутся лишь благим пожеланием. Проблема, утверждает он, стала вопросом как национальной, так и глобальной безопасности .

Свет в конце туннеля: Scientist AI и LawZero

Годами предупреждения Бенжио звучали с почти безысходной окончательностью. Теперь всё изменилось. В июне 2025 года он запустил LawZero — некоммерческую исследовательскую лабораторию в Монреале с финансированием около $30 миллионов от таких спонсоров, как Яан Таллинн, Эрик Шмидт, Future of Life Institute и Open Philanthropy . Название — это осознанная отсылка к Нулевому закону робототехники Айзека Азимова: директиве, ставящей защиту человечества превыше всего . Бенжио занимает посты сопрезидента и научного руководителя организации .

Миссия организации — разработать и доказать техническую альтернативу, которую Бенжио называет «Scientist AI». В отличие от современных целеустремленных автономных агентов, Scientist AI — это неагентная система, сфокусированная исключительно на понимании, объяснении и проверке . Она не совершает самостоятельных действий в мире, а служит ищущим истину предохранителем, созданным для выявления обмана, рассогласования целей и опасных планов в других, более агентных системах ИИ . На выходе она выдает прозрачные рассуждения и оценки вероятностей, а не непрозрачные команды .

«Вместо создания ИИ, имитирующего человека, Бенжио хочет, чтобы ИИ действовал скорее как беспристрастный ученый, — снижая риски самосохранения и неконтролируемой агентности» . Лаборатория собирает команду исследователей мирового класса, нацеленных на приоритет безопасности над коммерческими императивами, стремясь построить следующее поколение моделей ИИ на основе встроенной безопасности, а не добавлять защитные механизмы постфактум .

Появление этой концепции изменило взгляды Бенжио. Ранее он был одним из первых, кто подписал заявление, приравнивающее риск ИИ к пандемиям и ядерной войне, а теперь говорит, что этот технический подход впервые заставил его стать «значительно более оптимистичным» . Кошмары полностью не исчезли, но он верит, что, возможно, нашел тот конкретный фундамент, на котором можно построить более безопасное будущее.