Сінгапурська відповідь на тривожні прогнози щодо ШІ: незалежні перевірки та контроль агентів

Після нових попереджень про можливі катастрофічні наслідки штучного інтелекту представники ШІ-галузі в Сінгапурі пропонують не зводити вибір до двох крайнощів — розробляти без обмежень або зупинити всі роботи. Їхній акцент — незалежна перевірка, прозорість заходів безпеки та чіткі межі того, до чого впроваджена система має доступ і що їй дозволено робити. 732

Чому дискусія загострилася у вересні

Джейкоб Коксон звільнився з Anthropic після роботи в Anthropic та OpenAI. Він звинуватив обидві компанії в безвідповідальній гонитві за надпотужним ШІ, здатним удосконалювати самого себе. Дослідник Anthropic Еван Губінгер публічно підтримав його занепокоєння й оцінив імовірність того, що ШІ спричинить вимирання людства протягом наступного десятиліття, як вищу за 10%. Це особиста оцінка Губінгера, а не виміряна ймовірність чи доказ неминучості такого сценарію. 34

Генеральний директор Anthropic Даріо Амодеї 12 вересня закликав сповільнити розробку ШІ. Серед його пропозицій — надати незалежним оцінювачам доступ, щоб вони могли перевіряти дотримання заявлених практик безпеки, відповідну комунікацію та повідомляти про інциденти. Так постає практичне запитання: не лише наскільки серйозні побоювання, а й що можуть перевірити сторонні фахівці. 1332

Що дає незалежна перевірка — і чого вона не гарантує

Тестування допомагає виявляти обмеження систем, які вже існують. Запущений у Сінгапурі 2022 року інструментарій AI Verify дає змогу оцінювати, зокрема, справедливість, надійність і пояснюваність результатів ШІ. Програма акредитації тестувальників ШІ має розвивати спроможність проводити такі перевірки. Але жодна з цих ініціатив не доводить, що всі майбутні системи будуть безпечними. 1933

Незалежному оцінювачу замало запевнення розробника про успішну внутрішню перевірку: потрібен доступ, достатній для перевірки заявлених практик і виявлення інцидентів. Організаціям, які підключають моделі до своїх даних і робочих процесів, також потрібні прозорість і засоби контролю з боку постачальників. Сам лише доступ до параметрів моделі не розкриває всіх рішень щодо її навчання, відомих збоїв чи запобіжників. 3234

Це не означає, що жодну розробку не слід сповільнювати. Один із сінгапурських експертів, залучених до дискусії, вважає: якщо розробник не може належно стримувати ризики системи або пояснити, як керує серйозними загрозами, відповідну діяльність варто призупинити. Йдеться про умову, прив’язану до конкретного ризику, а не про загальну паузу для всіх застосувань ШІ. 32

Перш ніж дати ШІ-агенту повноваження, визначити їхні межі

Питання контролю особливо нагальне для автономних ШІ-агентів — систем, які можуть користуватися інструментами й виконувати дії в робочих процесах. У січні 2026 року сінгапурське Управління розвитку інфокомунікаційних медіа (IMDA) представило рамкові рекомендації з управління агентним ШІ. Вони радять оцінювати ризики заздалегідь і обмежувати автономність агентів та їхній доступ до інструментів і даних. Оновлена версія окремо закріплює принцип мінімально необхідних прав доступу. Це рекомендації, а не загальна законодавча заборона на впровадження агентів. 504852

Для організації це означає призначити людину, відповідальну за агента, звузити його дозволи, забезпечити можливість відстежувати дії та, де це можливо, скасовувати їх, а також постійно стежити за роботою системи. Такі кроки корисніші за загальне запевнення, що агент «безпечний». 34 Міністерка цифрового розвитку та інформації Сінгапуру Джозефін Тео порівнювала роль стандартів і запобіжників для довіри до ШІ з практиками безпеки в цивільній авіації. 17

Суть цього підходу — підзвітність в умовах невизначеності: перевіряти те, що можна перевірити, допускати незалежний нагляд і не надавати системам повноважень, ризиками яких поки неможливо належно керувати. Це не завершує дискусію про довгострокові загрози ШІ, але визначає конкретні обов’язки для розробників і тих, хто впроваджує технологію, вже зараз. 3248