Ендрю Нг не стверджує, що штучний інтелект є безпечним за замовчуванням. Його головна теза інша: припущення про неминуче вимирання людства через ШІ є надто спекулятивними, щоб визначати всю політику у сфері технологій. В інтерв’ю Bloomberg TV 17 вересня співзасновник Google Brain назвав такі побоювання «набагато більше науковою фантастикою, ніж наукою» та запропонував ставитися до безпеки ШІ як до інженерної дисципліни: випробовувати системи, встановлювати запобіжники й постійно їх поліпшувати.
2
Що Нг сказав про ризик вимирання
За словами Нга, системи ШІ ніколи не будуть цілком передбачуваними. Проте сама непередбачуваність, на його думку, ще не є підставою зупиняти їхній розвиток. Тестування, захисні механізми та інженерна робота можуть поступово підвищувати безпеку таких систем. Він також застеріг, що широке уповільнення розробки ШІ здатне уповільнити й прогрес у безпеці.
2
Ця позиція суперечить аргументам про те, що дедалі потужніші моделі можуть незабаром вийти з-під людського контролю. Нг вважає, що корисна програма безпеки має починатися з помітних, перевірюваних збоїв, а не з гіпотетичних сценаріїв вимирання.
Чому він критикує апокаліптичну риторику
Нг заявив, що попередження про екзистенційний ризик ШІ можуть заважати суспільству повною мірою скористатися перевагами технології. Він також сказав, що технологічна індустрія раніше підігрівала страхи перед катастрофічною шкодою від ШІ — ймовірно, щоб привернути увагу та вплинути на регулювання.
1
Ідеться не лише про оцінку ризиків, а й про стимули учасників ринку: драматичні заяви привертають увагу, а правила регулювання визначають, хто нестиме витрати на їхнє дотримання. Нг не закликає відмовитися від роботи над безпекою. Він заперечує проти того, щоб вважати сценарії вимирання встановленим науковим фактом або приводом для всеосяжної паузи.
На які ризики Нг пропонує спрямувати зусилля
Альтернатива Нга — практичне зниження ризиків. У матеріалах про інтерв’ю серед пріоритетів названо кібербезпеку та інші конкретні запобіжники.
5
Його підхід передбачає:
- ретельне тестування до впровадження систем і під час їхньої роботи;
- захисні механізми та обмеження, що стримують уже відомі способи збоїв;
- ітеративне вдосконалення, коли надійність підвищують у міру виявлення нових проблем;
- увагу до передбачуваної шкоди, зокрема до кіберризиків, замість концентрації політики на сценаріях вимирання.
2
5
Такий підхід не обіцяє абсолютного контролю. Його суть у тому, що корисну технологію можна зробити достатньо надійною за допомогою безперервного циклу оцінювання, захисту та поліпшення — як це роблять в інших інженерних галузях.
Чим Нг відрізняється від прихильників уповільнення
Кілька впливових діячів у сфері ШІ погоджуються, що безпеці потрібна більша увага, але роблять значно жорсткіший висновок щодо темпів розвитку передових моделей.
Джейкоб Коксон: значно вища оцінка небезпеки
Колишній дослідник Anthropic і OpenAI Джейкоб Коксон звільнився з Anthropic та попередив, що швидкий рух до систем, здатних до самовдосконалення, може мати катастрофічні наслідки. Він заявив про необхідність уповільнення й пізніше схвально відгукнувся про пропозицію Anthropic змінити темп розвитку.
33
43
Даріо Амодей: сповільнити приріст можливостей, щоб виграти час
Генеральний директор Anthropic Даріо Амодей закликав компанії знизити темп, з яким вони нарощують можливості моделей ШІ. Його мета — отримати час для управління ризиками, зокрема в межах моделі, що передбачає участь незалежних оцінювачів.
18
Сем Альтман: підтримка обережнішого темпу на передньому краї
Генеральний директор OpenAI Сем Альтман підтримав основну ідею пропозиції Амодея. Він також зобов’язався запровадити один із запропонованих запобіжників: надати зовнішнім незалежним оцінювачам змістовний доступ для перевірки практик безпеки.
19
24
Джеффрі Гінтон: побоювання втрати контролю
Джеффрі Гінтон заявляв, що існує «значний ризик» виходу ШІ з-під людського контролю. Він підтримав уповільнення та такі заходи, як тестування перед випуском продукту, наголошуючи, що уряди рухаються надто повільно.
20
Отже, практична розбіжність стосується і ймовірності, і політики. Коксон, Амодей, Альтман і Гінтон вважають ризики втрати контролю достатньо реалістичними, щоб свідомо стримувати розвиток найпотужніших систем. Нг натомість вважає твердження про вимирання недостатньо обґрунтованими та хоче зосередити безпеку на конкретних проблемах, які можна виявляти й розв’язувати.
2
18
20
Де Нг перетинається з противниками уповільнення — і де ні
Заперечення Нга проти загального уповільнення не означає, що він поділяє всі аргументи політиків і керівників компаній, які також виступають проти нього.
- Дженсен Хуанг: генеральний директор Nvidia заявив, що індустрії не потрібні нові закони чи регуляторні норми.
53
- Марк Цукерберг: керівник Meta вважає загальногалузеве уповільнення непотрібним, оскільки конкуренція та ринкові стимули підштовхуватимуть компанії робити моделі безпечнішими.
55
- Президент Дональд Трамп: Трамп назвав побоювання щодо неконтрольованого ШІ «містифікацією» та заявив, що США вже мають інструменти для регулювання діяльності ШІ-компаній і притягнення їх до відповідальності.
49
50
- Китайські посадовці: речник Міністерства закордонних справ Китаю виступив проти закликів уповільнювати розвиток передового ШІ.
52
Усі ці позиції приводять до подібного висновку щодо широкої паузи, але їхні мотиви різні. Аргумент Нга насамперед технічний: вимірювати реальну шкоду та створювати кращі механізми контролю. Хуанг, Цукерберг, Трамп і китайські посадовці в різному ступені наголошують на неприйнятті нових обмежень, ринкових стимулах, конкуренції або національній стратегії.
2
50
52
53
55
Вузька спільна позиція щодо кіберризиків
Дискусія не ділиться просто на тих, хто дбає про безпеку, і тих, хто не дбає. Наприклад, генеральний директор Cohere Айдан Гомес заявив, що моделі ШІ стали потужною кіберзброєю, оскільки здатні виявляти та масштабно використовувати вразливості.
62 Це занепокоєння близьке до заклику Нга приділяти увагу конкретним ризикам кібербезпеки. Водночас наявні матеріали не дають достатніх підстав визначати повну позицію Гомеса щодо загальногалузевого уповільнення чи міжнародного управління ШІ.
Так само доступні джерела не містять достатньо відомостей, щоб надійно описати погляди інвестора Стіва Айсмана на уповільнення розробки, дослідження безпеки, регулювання та міжнародне управління ШІ.
Головний висновок
Втручання Нга змінює акцент у суперечці про безпеку ШІ. Питання не в тому, чи слід робити ШІ безпечнішим, а в тому, чи мають спекулятивні сценарії вимирання визначати порядок денний. Його відповідь — ні: пріоритетом мають бути тестування, запобіжники та інженерна робота проти нинішніх, ідентифікованих загроз; загальне ж уповільнення, на його думку, може завадити і розвитку технологій, і прогресу в безпеці.
1
2