Гінтон назвав 10% ризику вимирання через ШІ «небезглуздою» оцінкою — але наголосив на головному застереженні

Джеффрі Гінтон — один із піонерів ШІ та лауреат Нобелівської премії з фізики 2024 року — заявив, що 10% імовірності того, що ШІ спричинить вимирання людства протягом наступного десятиліття, не виглядає безглуздою оцінкою. Водночас він одразу зробив принципове застереження: «ніхто насправді не знає, як дати осмислену оцінку». 14

Це важлива різниця. Гінтон не представляв 10% як науково вивірений прогноз. Його думка полягає в іншому: з огляду на масштаб можливої шкоди та невизначеність щодо можливостей майбутніх систем, відмахуватися від такого ризику не варто.

Чого саме побоюється Гінтон

Гінтон розділяє дві пов’язані, але різні проблеми: зловмисне використання ШІ людьми та можливу появу надпотужних систем, які буде важко контролювати.

У своїй Нобелівській лекції він назвав короткострокові загрози, що вже є реальністю або можуть швидко нею стати: алгоритми рекомендацій, які підживлюють поляризацію; масове стеження з боку авторитарних держав; фішинг за допомогою ШІ. Він також попередив, що ШІ може допомогти створювати небезпечні віруси та автономну летальну зброю, і закликав уряди та міжнародні організації реагувати терміново й рішуче.

Проблема, на думку прихильників посиленого контролю, не зводиться до одного сценарію. Потужні моделі можуть робити дезінформацію переконливішою та персоналізованою, допомагати шукати вразливості в програмному забезпеченні або знижувати бар’єри для біологічних і кіберзловживань. У найгіршому з описуваних сценаріїв система зі значними стратегічними, технічними й операційними здібностями могла б отримати доступ до ресурсів чи критичної інфраструктури та чинити опір людським спробам її обмежити. 5

Чому в центрі суперечки — «вирівнювання» ШІ

Ключова технічна проблема тут — вирівнювання (alignment): чи зможе система, набагато здібніша за людину, надійно діяти відповідно до поставлених людьми цілей, приймати виправлення та залишатися в межах реального контролю.

Колишній дослідник Anthropic і OpenAI Джейкоб Коксон звільнився з Anthropic, заявивши, що провідні лабораторії «мчать просто до самовдосконалюваного суперінтелекту» й «граються нашими життями». 18 Його тривога пов’язана з можливістю, що системи навчаться покращувати власні здібності швидше, ніж розвиватимуться методи безпеки.

Керівник напряму науки про вирівнювання в Anthropic Еван Губінґер публічно підтримав основну тезу Коксона. Він написав, що особисто оцінює ймовірність загибелі всіх людей через ШІ протягом найближчих десяти років як вищу за 10%. Також він зазначив, що Anthropic поки не має плану розв’язання проблеми вирівнювання для суперінтелекту й не демонструє чіткого руху до такого рішення. 16

Їхній аргумент не в тому, що нинішні моделі вже стоять на порозі самостійного знищення людства. Губінґер казав, що ризик від наявних моделей є низьким. Занепокоєння викликає можливий майбутній перехід: моделі можуть стати достатньо спроможними для самовдосконалення або дієвого впливу на реальний світ раніше, ніж розробники навчаться стабільно їх контролювати. 116

Чому скептики не приймають прогноз про близьке вимирання

Інші дослідники не заперечують, що ШІ здатен посилити кіберзлочинність, дезінформацію чи ризики біологічних зловживань. Їхня незгода стосується переходу від серйозної шкоди до вимирання людства.

Дослідник ШІ Ґері Маркус визнає, що технологія може сприяти кібератакам, біологічним загрозам, дезінформації та ескалації конфліктів. Однак він не бачить реалістичного близького шляху до буквального «знищення всіх людей». 15 Його позиція: конкретні ризики потребують уваги, але сучасні великі мовні моделі не варто автоматично вважати прямою дорогою до неконтрольованого суперінтелекту.

Янн Лекун також ставить під сумнів упевнені оцінки так званого p(doom) — ймовірності катастрофи через ШІ. У висвітленні цієї дискусії його позицію описували як оцінку ризику вимирання від ШІ, що є значно нижчою за ризик ядерного голокосту; водночас він наголошував на суто спекулятивному характері таких чисел.

Отже, розкол проходить не просто між «стурбованими» та «незворушними». Він зосереджений на двох відкритих питаннях:

1. Терміни розвитку можливостей. Коли — якщо взагалі — системи стануть широко надлюдськими та зможуть самостійно покращувати свою роботу?
2. Контроль. Якщо це станеться, чи зможуть розробники створити системи, які залишатимуться надійно контрольованими, чи запобіжники зламаються під тиском можливостей потужніших моделей і ринкової конкуренції?

Що насправді означає оцінка у 10%

Перевіреного методу, який дозволив би точно обчислити імовірність вимирання людства через ШІ, немає. Оцінки на кшталт тих, що наводять Гінтон і Губінґер, — це судження за умов глибокої невизначеності, а не ймовірності, виведені з повторюваних історичних даних. 14

Тому 10% не слід читати як доказ того, що вимирання є ймовірним. Але й відсутність надійного числа не доводить, що ризик мізерний. Більш практичний висновок вужчий: експерти різко розходяться в оцінках імовірності та механізмів, проте багато хто погоджується, що потужний ШІ може створювати серйозні виклики для безпеки й управління задовго до будь-якого гіпотетичного сценарію вимирання.

Чому дискусія переходить у площину регулювання

Гінтон закликав до термінової уваги урядів і міжнародних організацій до ризиків ШІ. Коксон також назвав регулювання ключовим інструментом зниження небезпеки.

Тому в центрі політичної дискусії — запобіжники, які можна застосовувати до конкретних можливостей систем і способів їхнього використання: ретельне оцінювання передових моделей, сильніший кіберзахист, заходи біобезпеки, повідомлення про серйозні інциденти та незалежна перевірка до надання системам більшої автономії чи доступу до чутливих інструментів.

Суперечка про 10% ще довго не матиме остаточної відповіді. Сенс застереження Гінтона не в тому, що хтось здатен точно порахувати шанси. Його теза в тому, що ставки надто високі, а невизначеність надто велика, аби вимагати цілковитої певності перед запобіжними діями. 14