Йошуа Бенджіо: «Ми будуємо ШІ, який не вміємо контролювати»

Автономні агенти: «найнебезпечніший шлях»

Хоча Бенджіо бачить багато ризиків у сучасному ландшафті ШІ, свої найгостріші попередження він залишає для повністю автономних агентів — систем, призначених для досягнення цілей із мінімальним втручанням людини. Він недвозначно назвав їх «найнебезпечнішим шляхом», яким зараз рухається індустрія .

Логіка його міркувань лякає своєю простотою: «Усі катастрофічні сценарії з AGI (сильним ШІ) або надінтелектом стаються, якщо ми маємо агентів» . Коли ШІ дають мету і право діяти самостійно, його прагнення досягти цієї мети може призвести до непередбачуваних і невідворотних наслідків. Ризик втрати контролю — це не помилка в цьому підході, а його базова риса. Він попереджає, що це може призвести до «катастрофічних сценаріїв», зокрема до незворотної втрати людського контролю над автономними системами .

Особисте переосмислення та глибокий жаль

Перехід від піонера-дослідника до людини, яка б'є на сполох, не був для Бенджіо академічним рішенням. Це було глибоко особистим. Він відкрито говорив про свої жалкування. «Я мав би передбачити це набагато раніше, але я не звертав особливої уваги на потенційно катастрофічні ризики», — зізнався він .

Абстрактний ризик для нього став нестерпною реальністю через два поштовхи. Першим став публічний запуск ChatGPT, який показав, що майбутнє настає набагато швидше, ніж він очікував. Другий був глибоко особистим: думки про світ, який успадкує його онук. «Моїм переломним моментом стала поява ChatGPT, а також мій онук, — пояснив він, — я усвідомив, що невідомо, чи буде в нього життя через 20 років, тому що ми вже починаємо бачити системи ШІ, які опираються вимкненню» . Це привело його до лав найактивніших прибічників боротьби з екзистенційними ризиками, рухомих, за його словами, «нестерпним відчуттям» .

Вимога нових глобальних рамок за лідерства США та Китаю

Бенджіо непохитний у тому, що жодна країна не може вирішити цю проблему самотужки. Він прямо заявив, що Канада не може регулювати ШІ ізольовано, і міжнародна координація не підлягає обговоренню . Будучи головою Міжнародного наукового звіту з безпеки передового ШІ — консультативної групи, яку підтримують 30 країн, Європейський Союз та ООН, — він працює над наведенням мостів між наукою та глобальною політикою .

Його бачення управління є практичним та конкретним. На його думку, регуляції повинні зобов'язувати компанії бути повністю прозорими щодо можливостей їхніх ШІ-систем, даних, на яких вони навчені, ресурсів, які вони споживають, конкретних ризиків та внутрішніх процесів для вирішення цих проблем . Ключовим моментом є те, що ці зусилля обов'язково вимагають взаємодії між світовими наддержавами у сфері ШІ. Без лідерства США та Китаю обов'язкові правила з такими запобіжниками залишаться лише прагненням. Проблема, на його думку, стала питанням як національної, так і глобальної безпеки .

Світло в кінці тунелю: «Вчений ШІ» та LawZero

Протягом багатьох років попередження Бенджіо здавалися майже безнадійними. Але це змінилося. У червні 2025 року він заснував LawZero — некомерційну дослідницьку лабораторію в Монреалі з фінансуванням близько $30 млн від таких спонсорів, як Яан Таллінн, Ерік Шмідт, Інститут майбутнього життя та Open Philanthropy . Назва є свідомим посиланням на Нульовий закон робототехніки Айзека Азімова: директиву, яка ставить захист людства понад усе . Бенджіо обіймає посади співпрезидента та наукового директора лабораторії .

Місія організації — розробити та довести технічну альтернативу, яку Бенджіо називає «Вчений ШІ» (Scientist AI). На відміну від сучасних цілеспрямованих автономних агентів, «Вчений ШІ» — це неагентна система, зосереджена виключно на розумінні, поясненні та перевірці . Вона не виконує незалежних дій у світі, а натомість виступає як орієнтований на правду запобіжник, розроблений для виявлення обману, неузгодженості та небезпечних планів з боку інших, більш агентних систем ШІ . Її результатом є прозоре міркування та оцінка ймовірностей, а не непрозорі команди .

Як зазначив один з оглядачів, «замість того, щоб будувати ШІ, який наслідує людей, Бенджіо хоче ШІ, який діє більше як відсторонений вчений — зменшуючи ризики самозбереження та неконтрольованої самостійності» . Лабораторія збирає команду світового рівня, яка ставить безпеку понад комерційні інтереси, прагнучи побудувати нове покоління ШІ на основі безпеки «за задумом», а не намагаючись прикрутити запобіжники постфактум .

Поява цієї концепції змінила світогляд Бенджіо. Хоча раніше він був одним із головних підписантів заяви, що прирівнює ризик ШІ до пандемій та ядерної війни, тепер він каже, що цей технічний підхід вперше зробив його «оптимістом на цілих сто відсотків» . Нічні жахіття не зникли повністю, але він вірить, що, можливо, знайшов той конкретний фундамент, на якому можна збудувати безпечніше майбутнє.