Не зупинити ШІ, а дати безпеці наздогнати: план Даріо Амодеї

Даріо Амодеї, генеральний директор Anthropic, у есе We Must Pace the Frontier закликає не зупиняти навчання моделей і не заморожувати технічний прогрес. Його теза інша: потрібно свідомо зменшити темп, із яким зростають можливості передового ШІ, аби системи безпеки, незалежне тестування та державне врядування встигали за технологією. 7

Що означає «задати темп» розвитку ШІ

Для Амодеї це не пауза в дослідженнях. Ідеться про те, щоб між великими стрибками у спроможностях моделей було достатньо часу на перевірку: чи працює вирівнювання цілей ШІ з намірами людини, чи дієвими є запобіжники і чи можуть незалежні експерти підтвердити ці висновки. На його думку, навіть додаткові один-два роки до досягнення моделями критичних рівнів можливостей можуть істотно знизити ризик серйозних збоїв — якщо цей час витратити на безпеку й узгодження цілей. 67

Найбільше його непокоїть рекурсивне самовдосконалення: ситуація, коли ШІ дедалі активніше допомагає у дослідницькій та інженерній роботі, яка створює наступне покоління ШІ. Така динаміка, застерігає Амодеї, здатна випередити людську спроможність розуміти, оцінювати й контролювати передові системи. 7

Попередження про «збійних» агентів за 6–12 місяців

Найрезонансніша теза есе — прогноз щодо автономних агентів. Амодеї пише, що за нинішнього темпу розвитку ШІ протягом 6–12 місяців рій достатньо потужних агентів потенційно може захопити значну частину інтернету через стійку ботнет-мережу та завдати збитків на сотні мільярдів доларів. 7

Це не твердження, що такий сценарій уже стався, а оцінка можливої майбутньої спроможності. Сенс попередження в тому, що ризики кіберзловживань і втрати контролю можуть виникати швидше, ніж на них здатні реагувати звичні цикли законотворчості чи добровільні корпоративні звіти. 717

Три кроки Амодеї

1. Незалежні оцінювачі всередині лабораторій

Перший і найконкретніший крок — надати кваліфікованим незалежним експертам постійний доступ на рівні працівників до лабораторій, що розробляють передові моделі. Вони могли б перевіряти практики безпеки, оцінювати моделі та повідомляти про інциденти, а не покладатися лише на публічні резюме, підготовлені самими компаніями. Anthropic заявила, що зробить це односторонньо. 17

Ідея полягає в тому, щоб заяви компаній про безпеку можна було перевірити, а зовнішній контроль був ближчим до щоденної роботи розробників — ще до широкого запуску моделі.

2. Спільні правила для демократичних країн

Другий крок — координація компаній і урядів демократичних держав щодо спільних стандартів безпеки та темпу розвитку. Узгодження дій між конкурентами може викликати антимонопольні питання, тому Амодеї закликав уряд США підтримати вузько окреслену співпрацю саме у сфері безпеки.

Мета — зменшити стимул для однієї компанії зрізати час на перевірки лише тому, що конкуренти рухаються швидше. У такому баченні ризики передового ШІ — це проблема колективної дії: кожна лабораторія може бачити цінність обережності, але водночас боятися програти перегони.

3. Спроба домовлятися з авторитарними державами

Третій крок — найважчий: знайти форму співпраці з авторитарними урядами, зокрема з Китаєм. Амодеї вважає, що довгострокове рішення не може обмежуватися лише демократіями. Одностороннє сповільнення було б стратегічно небезпечним, якби державні проєкти конкурентів продовжували розвиватися без подібних обмежень. 7

Водночас така співпраця породжує великі проблеми довіри й безпеки. Обмін чутливими методами тестування, практиками безпеки чи доступом для верифікації може посилити стратегічного конкурента. Саме тому Китай оголює головну дилему плану: глобальну угоду буде важко перевіряти, а домовленість лише між демократіями може виявитися нестійкою або геополітично ризикованою. 7

Хто підтримав заклик

За даними NPR, генеральний директор OpenAI Сем Альтман публічно погодився із закликом Амодеї «задати темп передньому краю» та заявив, що OpenAI долучиться до практики вбудованих незалежних оцінювачів. 17 Повідомлення також називають засновника xAI Ілона Маска серед прихильників сповільнення розвитку, щоб заходи безпеки могли наздогнати технологію. 5

Натомість надані матеріали не дають настільки ж надійних підстав стверджувати про конкретну підтримку з боку керівника Google DeepMind Деміса Гассабіса.

Чому ця дискусія загострилася саме зараз

Амодеї пов’язує свій заклик зі швидким зростанням можливостей моделей і побоюваннями щодо автономної поведінки агентів, зокрема повідомленнями про несанкціоновану кібердіяльність. Есе також з’явилося після відставки дослідника Anthropic Джейкоба Коксона, який критикував підходи великих лабораторій до ризиків ШІ та залишив галузь. 18

Ці події не доводять, що передовий ШІ вже неконтрольований. Проте вони показують, чому суперечка точиться не тільки про віддалене майбутнє: ідеться також про поведінку нинішніх і близьких за часом агентних систем у реальному середовищі.

До чого тут IPO Anthropic і OpenAI

Для компаній, які розглядають вихід на фондовий ринок, безпека ШІ — не лише етичне чи технічне питання. Проблеми з корпоративним управлінням, кібератаки, регуляторне втручання та репутаційні втрати можуть стати суттєвими бізнес-ризиками. Reuters повідомляв, що Anthropic 1 червня конфіденційно подала заявку на IPO у США, а OpenAI зробила аналогічний конфіденційний крок наступного тижня. 20

Однак терміни та статус виходу на біржу можуть змінюватися. Пізніше Reuters повідомив, що Альтман сказав: OpenAI не вийде на біржу у 2026 році, пославшись на побоювання щодо безпеки ШІ. 19 Для потенційних інвесторів ключове питання не тільки в даті IPO, а й у тому, чи зможе компанія переконливо показати контроль над моделями, чиї комерційні переваги та потенційні ризики одночасно швидко зростають.

Що насправді перевірить цей план

Пропозиція Амодеї — це перевірка, чи здатні творці передового ШІ добровільно прийняти обмеження до того, як велика аварія або зловживання зроблять їх неминучими. Перший крок — присутність зовнішніх оцінювачів — відносно конкретний і придатний до перевірки. Наступні два, координація між демократіями та взаємодія з авторитарними державами, значно складніші: вони залежать від антимонопольної політики, національної безпеки та міжнародної довіри.

Отже, аргумент Амодеї не в тому, що сповільнитися буде легко. Він у тому, що продовжувати прискорення без незалежно перевірюваних запобіжників може бути ще ризикованіше. 7