Чи може ШІ знищити людство: чому попередження інсайдерів стикаються з вимогою доказів

Суперечка про «вимирання від ШІ» — це не просто протистояння між тими, хто вважає штучний інтелект безпечним, і тими, хто його боїться. У центрі спору — три питання: як швидко зростатимуть можливості моделей, яким шляхом цифрова система могла б отримати незворотну владу у фізичному світі та скільки доказів ризику потрібно перед запровадженням жорсткіших обмежень.

Заяви людей, які працювали у провідних AI-лабораторіях, надали цій темі нового звучання. Водночас навіть критики апокаліптичної риторики часто підтримують тестування та практики безпеки. Тому дедалі важливішим стає не абстрактне питання «чи небезпечний ШІ», а здатність розробників довести, що вони контролюють дедалі потужніші системи до їх широкого застосування.

Попередження зсередини: гонитва за системами, які можуть вийти з-під контролю

Джейкоб Коксон, колишній дослідник Anthropic, який також повідомляв про роботу в OpenAI, у вересні 2026 року залишив Anthropic. Він заявив, що обидві компанії ставлять конкуренцію вище за відповідальну розробку та рухаються до «самовдосконалюваного надінтелекту». 49

Цю оцінку публічно підтримав керівник напряму науки узгодження в Anthropic Еван Губінгер. За його особистою оцінкою, імовірність того, що ШІ може вбити всіх людей протягом найближчих десяти років, перевищує 10%. Він також сказав, що Anthropic поки не має плану розв’язання проблеми узгодження надінтелекту з людськими цілями. 16 Водночас його число — не науковий консенсус і не емпірично розрахована ймовірність вимирання, а особистий прогноз за умов глибокої невизначеності. 12

Подібне попередження висловив і колишній дослідник Google DeepMind Білал Чугтай: на його думку, ШІ має потенціал убити всіх людей, а часу, щоб уникнути такого сценарію, може залишатися дедалі менше. 2

Йдеться переважно не про те, що нинішні чатботи раптово стануть небезпечними самі по собі. Тривожний сценарій є умовним: майбутні системи можуть істотно прискорити дослідження у сфері ШІ, отримати більшу автономність, обходити людський нагляд або посилювати доступ до кіберможливостей, біологічних інструментів та інституційних ресурсів швидше, ніж розвиватимуться засоби безпеки. Саме правдоподібність і часові рамки такого ланцюга подій є головним предметом спору.

Чому «понад 10%» — не встановлений прогноз

Оцінка Губінгера привернула увагу через її масштаб і посаду автора. Але трактувати її слід обережно: це індивідуальне судження в умовах невизначеності, а не ймовірність, підтверджена історичними даними чи моделлю, здатною виміряти ризик вимирання. 12

Щоб такий сценарій справдився, мають одночасно реалізуватися кілька поки не доведених припущень:

• системи ШІ мають стати значно здібнішими за сучасні моделі;
• ці здібності мають перетворитися на стійку стратегічну автономію або небезпечну владу у реальному світі;
• технічні обмеження, оператори, державні та суспільні інституції й інші контрзаходи мають не впоратися зі стримуванням системи або її зловживанням;
• дослідження безпеки та узгодження мають відставати від зростання можливостей.

Кожну з цих ланок можна обговорювати окремо. Це не робить занепокоєння неважливим, але означає, що гучне число не варто сприймати як доведену передбачувальну оцінку.

Аргумент скептиків: цифровий інтелект — ще не фізична могутність

Скептики заперечують проти прямого переходу від сильних результатів у програмуванні та роботі з мовою до здатності спричинити фізичну шкоду масштабу вимирання. Показовий приклад — біологія. Ерік Сін наголошував: згенерувати мовною моделлю гіпотетичний геном вірусу і створити життєздатний вірус — принципово різні завдання. Між ними стоять отримання матеріалів, виробництво, лабораторна робота, перевірка біологічної життєздатності й тестування. 46

Ця різниця суттєва. Модель може надати інформацію або проєкт, але перетворення такого результату на реальну шкоду може потребувати спеціалізованих лабораторій, практичних навичок, ланцюгів постачання, багаторазових експериментів і доступу до контрольованих матеріалів. Такі бар’єри не означають нульового біобезпекового ризику. Проте вони ставлять під сумнів припущення, що цифрова спроможність сама по собі одразу дає вирішальну фізичну спроможність.

Генеральний директор Nvidia Дженсен Хуанг називав твердження, що ШІ покладе край людству, «повною нісенітницею». 33 Марк К’юбан зі свого боку заявляв, що небезпечнішою за самі «зграї» ШІ-агентів може бути реакція людей на тривожні заяви. 43

Отже, скептична позиція не обов’язково означає відмову від запобіжників для передового ШІ. Її суть інша: надзвичайні твердження про близьке вимирання потребують сильніших доказів, ніж екстраполяції від можливостей нинішніх моделей та припущення про майбутні ланцюги подій.

Практичний компроміс: стримувати темп і перевіряти безпеку

Більш прикладний підхід пропонують керівники, які не вважають вимирання ані неминучим, ані неможливим. Генеральний директор Anthropic Даріо Амодеї закликав уповільнити темп зростання можливостей AI-моделей, щоб виграти час для роботи над безпекою. Його рамка передбачає незалежних оцінювачів, інтегрованих у компанії з доступом, подібним до доступу працівників, а також координацію між лабораторіями, що створюють найпотужніші моделі. 18

За даними Reuters, генеральний директор OpenAI Сем Альтман належить до лідерів, які підтримують скоординоване уповільнення, хоча індустрія розходиться в поглядах на те, наскільки можна покладатися на ринкові механізми безпеки. 19 Повідомлялося також, що Альтман підтримав залучення зовнішніх оцінювачів у запропонованій моделі. 20

Такий підхід переводить дискусію від прогнозів до речей, які можна перевірити:

1. Незалежне оцінювання. Кваліфіковані зовнішні фахівці мають отримувати змістовний доступ для перевірки заяв компаній про безпеку, а не покладатися лише на їхні слова. 18
2. Пороги за можливостями. Контроль або обмеження розгортання мають посилюватися, коли моделі демонструють суттєвий прогрес у небезпечних сферах — наприклад, кіберопераціях чи автономній поведінці агентів.
3. Координація між лабораторіями. Вона має зменшити стимули жертвувати запасом безпеки лише через страх відстати від конкурентів. 18
4. Міжнародна співпраця. Держави та ключові розробники ШІ можуть узгоджувати стандарти й домовленості, що послаблюють тиск на швидке розгортання без належних запобіжників. 27
5. Безпека має рухатися не повільніше за можливості. Контроль, моніторинг і здатність реагувати на інциденти повинні бути підтвердженими вимогами, а не обіцянками на майбутнє.

Чи не відволікає страх перед далеким майбутнім від шкоди вже зараз?

Окрема критика стосується пріоритетів. Навіть якщо катастрофічний ризик заслуговує на дослідження та плани дій, зосередження лише на гіпотетичному вимиранні може затьмарити шкоду, яка вже пов’язана з використанням передових систем ШІ.

До нагальнішого порядку денного належать кіберзловживання, шахрайство, масове стеження, дезінформація, дискримінаційні автоматизовані рішення, витіснення працівників і концентрація влади. Амодеї, обґрунтовуючи потребу уповільнення, сам згадував ризики зловживань — зокрема розробку зброї, кібератаки та стеження. 29

Це не обов’язково вибір між сьогоднішніми проблемами й довгостроковими катастрофами. Багато запобіжників працюють в обох напрямах: кращий контроль доступу, ретельніші оцінювання, обережне розгортання, незалежний нагляд, повідомлення про інциденти та чітка відповідальність можуть зменшувати нинішні зловживання й водночас підвищувати готовність до потужніших систем.

Що насправді змінює ця дискусія

Найобґрунтованіший висновок не в тому, що вимирання через ШІ вже доведене, і не в тому, що його можна відкинути лише тому, що повний шлях до катастрофи ще не продемонстрований. Практичний стандарт інший: заяви про безпеку дедалі потужніших систем мають бути перевірюваними, незалежно оціненими й співмірними з потенційним масштабом шкоди.

Коксон, Губінгер і Чугтай обстоюють обережність за умов невизначеності. Скептики на кшталт Хуанга та Сіна ставлять під сумнів, чи виправдовують наявні докази висновки про близький кінець світу. Амодеї та Альтман вказують на відповідь, яка не потребує спочатку вирішити всі філософські суперечки: уповільнювати рух на передньому краї, вимірювати небезпечні можливості, допускати авторитетну зовнішню перевірку й координувати дії до того, як конкурентна гонка зробить неперевірені заяви про безпеку звичним виправданням для розгортання систем. 49 16 33 18 19