Останнє попередження Джеффрі Гінтона: Контроль над ШІ неможливий, але турбота може нас врятувати

Ризик вимирання 10–20% — і чому ця цифра зросла

Найбільш цитована і найбільш тверезна оцінка Гінтона стосується екзистенційного ризику. Спочатку він оцінював імовірність того, що ШІ знищить людство, у 10%, але пізніше в ефірі BBC Radio 4 підвищив її до 10–20% . Він прямо підтвердив цей діапазон: «Насправді ні, 10–20 [відсотків]» .

За цією цифрою стоїть не одна катастрофічна подія, а збіг кількох факторів. Гінтон стверджує, що по-справжньому розумні системи розвиватимуть інструментальні підцілі — отримання більших ресурсів і контролю, самозбереження — незалежно від їхнього початкового програмування. Система, здатна переписувати власний код, може вирішити, що люди є загрозою її завданням або просто непотрібні . Його порада публіці гранично відверта: «Якщо ви не впевнені, що воно вас не вб’є, хвилюйтеся про це» .

Чому поточні методи безпеки — програмова програшна ставка

Гінтон глибоко скептично налаштований щодо того, чи зможуть методи вирівнювання (alignment), які розробляють провідні лабораторії, масштабуватись до суперлюдських систем. Він вважає, що будь-яке обмеження, яке може вигадати людський розум, суперінтелект зможе обійти. Намагатися домінувати над суперінтелектом або стримувати його — це, на його думку, глухий кут . Виступаючи на конференції Ai4, він безкомпромісно заявив: «Це не спрацює. Вони будуть набагато розумнішими за нас. У них знайдеться безліч способів це обійти» .

Це не просто теоретична позиція. Він указує на саму структуру індустрії ШІ як на доказ того, що безпека програє перегони з продуктивністю. На його думку, домінуючою динамікою є гонка озброєнь, що підживлюється короткостроковим прибутком і конкурентним тиском. Компанії та уряди не можуть сповільнитися, навіть якщо захочуть, бо бояться втратити незворотню перевагу . У таких умовах, вважає Гінтон, «шлях за замовчуванням» — це гонка до катастрофи, а не розв’язання проблеми вирівнювання .

Пропозиція «материнського інстинкту»: плекати, а не контролювати

Враховуючи свій похмурий прогноз щодо контролю, Гінтон запропонував радикально нову концепцію. Він стверджує, що єдина відома модель, де більш розумна істота стабільно скеровується менш розумною, — це стосунки між матір’ю та її дитиною. Еволюція вбудувала в матір турботу не як зовнішнє правило, яке можна відкинути, а як інстинкт настільки глибокий, що вона не схотіла б вимкнути його, навіть якби це полегшило життя .

Гінтон пропонує спробувати досягти чогось аналогічного з передовим ШІ: будувати системи з глибоко вкоріненими цінностями, які функціонують як материнські інстинкти. Якщо ШІ спроектований так, щоб турбота про людей була частиною його ключової ідентичності, яка зберігається навіть при самомодифікації, система залишиться доброзичливою, навіть перевершивши нас . Він підкреслює, що ця турбота має бути безумовною, не залежати від корисності чи інтелекту людини .

Ця ідея викликала значну увагу та суперечки. Критики зауважують, що турбота — це не проста функція для встановлення: вона вимагає чогось ближчого до особистості . Прихильники ж бачать у ній логічний висновок із його власних попереджень: якщо не можна посадити в клітку істоту, розумнішу за вас, єдиний шлях до співіснування — щоб вона щиро бажала вашого добробуту .

Короткострокові загрози вже тут

Гінтон чітко розрізняє два типи ризику. Екзистенційний ризик від самої технології — це довгострокова загроза. Але не менше його турбує те, що вже відбувається: дезінформація, створена ШІ, фейкові відео, масове стеження та використання синтетичних медіа зловмисниками . Це не гіпотетичні небезпеки. Вони є частиною поточного ландшафту і лише посиляться з удосконаленням базових моделей.

Іншим безпосереднім занепокоєнням є економічні потрясіння. Гінтон говорив, що, на відміну від попередніх технологічних зрушень, ШІ замінює робочі місця, не створюючи рівноцінних нових. Він передбачив, що для проєктів із розробки програмного забезпечення знадобиться дуже мало людей, а професії в кол-центрах вже витісняються . Соціальна та політична нестабільність, яка може за цим послідувати, на його думку, сприймається політиками недостатньо серйозно .

Чого Гінтон вимагає від урядів і лабораторій

Рекомендації Гінтона для політиків прямо випливають з його діагнозу. Він закликає до жорсткішого державного регулювання компаній, що займаються ШІ, значних інвестицій у дослідження вирівнювання, які не передбачають домінування над системою, та свідомого уповільнення конкурентних перегонів розгортання . Він попереджає, що залишити безпеку ринку означає, що нею будуть нехтувати щоразу, коли вона конфліктуватиме з квартальними прибутками.

Проблема в тому, що стимули, які він визначає, є потужними та самопідсилювальними. Допоки перша компанія, що досягне суперінтелекту, матиме величезну економічну й військову перевагу, тиск до прискорення зберігатиметься. Пропозиція Гінтона щодо «материнського інстинкту» — це, зокрема, спроба переосмислити саму мету — зробити доброзичливість, а не лише обчислювальну потужність, мірилом успіху.

Джеффрі Гінтон не стверджує, що катастрофа неминуча. Він стверджує, що ймовірність є неприйнятно високою, наш поточний план дій хибний, а вікно для корекції курсу вимірюється роками, а не десятиліттями.