Чому «аварійного вимикача» для ШІ може не вистачити

Дискусія про «аварійний вимикач» для штучного інтелекту вже не зводиться до простого питання: чи може компанія вимкнути свою модель. Важливіше інше: чи збережеться така можливість, коли потужний ШІ працюватиме через розподілену інфраструктуру, матиме більше автономії або існуватиме у великій кількості копій.

Вимкнути сьогодні — не означає мати контроль завтра

Колишній дослідник Anthropic і OpenAI Джейкоб Коксон сказав в ефірі NBC News Meet the Press, що для багатьох нинішніх ШІ-систем «аварійний вимикач» імовірно спрацював би. Водночас це не був би один рубильник: довелося б відключати багато складових, зокрема великі дата-центри та розгорнуті системи. На його думку, це складно, але поки що здійсненно, якщо система прив’язана до одного фізичного місця. 8

Тривога Коксона стосується наступного етапу. Якщо ШІ перетвориться на розподілений автономний «рій», централізована команда на вимкнення може втратити технічну дієвість. Будь-який механізм контролю працює лише тоді, коли може дістатися кожного активного екземпляра системи.

Після звільнення з Anthropic Коксон попереджав, що провідні лабораторії змагаються у створенні систем, здатних до самовдосконалення, хоча такі системи потенційно можуть вийти з-під людського контролю. 150

Недостатньо просто пообіцяти кнопку «вимкнути»

Співзасновник Anthropic Джек Кларк заявив BBC, що можливість деактивувати небезпечну систему ШІ з часом може стати не добровільною корпоративною практикою, а вимогою закону. За його словами, більшість великих лабораторій, зокрема Anthropic, уже мають способи зупиняти свої системи. Але він порушив принципове питання: чи має існування й працездатність такого механізму перевіряти незалежна третя сторона? 33

Різниця суттєва. Заява компанії про наявність процедури аварійного зупинення — не те саме, що підтвердження зовнішнього аудитора, що ця процедура справді існує, належно спроєктована та буде доступна під час надзвичайної ситуації.

Пропозиція Амодеї: розвивати передовий ШІ в темпі, який встигає безпека

Генеральний директор Anthropic Даріо Амодеї запропонував підхід, який він називає «узгодженням темпу з переднім краєм» (англ. pacing the frontier). Його мета — не допустити, щоб можливості найпотужніших моделей випереджали перевірки та запобіжники. План має три складові:

1. Постійно залучені незалежні оцінювачі. Компанії, що розробляють передовий ШІ, мають надати зовнішнім експертам тривалий доступ рівня працівників до релевантних систем і практик безпеки. Це дозволило б перевіряти виконання зобов’язань і повідомляти про проблеми.
2. Спільні стандарти між демократичними країнами. Провідні розробники мають координувати правила безпеки та обмеження неконтрольованого нарощування можливостей моделей.
3. Міжнародна координація. Уряди повинні співпрацювати через кордони щодо ризиків, які жодна країна чи компанія не здатна надійно стримати самотужки. 17

Це не заклик повністю припинити дослідження ШІ. Йдеться про те, щоб подальший прогрес залежав від запобіжників, які можуть перевіряти не лише самі розробники.

Хто підтримав цей підхід

За даними Reuters, генеральний директор OpenAI Сем Альтман і керівник xAI Ілон Маск публічно підтримали загальний напрям пропозиції Амодеї. Альтман заявив, що OpenAI візьме на себе зобов’язання щодо незалежних оцінювачів із доступом рівня працівників. Маск написав: «Даріо має рацію». 17

В інших повідомленнях генерального директора Google DeepMind Деміса Гассабіса також описували як прихильника цього напряму. 30 Водночас надані матеріали не містять конкретної, належно підтвердженої реакції генерального директора Microsoft Сатьї Наделли — тому приписувати йому підтримку або незгоду було б передчасно.

Що передбачає американський AI Kill Switch Act

Законопроєкт H.R. 9917 — AI Kill Switch Act — пропонує внести зміни до Закону США про внутрішню безпеку. Він вимагав би від певних суб’єктів підтримувати технічну здатність зупиняти інференс — тобто роботу моделі, коли вона генерує відповіді, — припиняти доступ користувачів і повністю вимикати визначені ШІ-технології. 49

Це лише законодавча пропозиція, а не готове вирішення всіх проблем контролю. Її практична цінність залежатиме від того, чи зможе розробник у критичний момент ідентифікувати, знайти та відключити потрібну систему. Саме тут і лежить проблема, на яку вказує Коксон у сценарії майбутніх розподілених систем.

Оцінки ризику вимирання — не прогноз

Дослідник Anthropic Еван Губінгер особисто оцінив ризик вимирання людства через ШІ протягом наступного десятиліття більш ніж у 10%. Лауреат Нобелівської премії та інформатик Джеффрі Гінтон сказав BBC, що ймовірність у 10% є «не необґрунтованою». 57

Це експертні судження про невизначене майбутнє, а не виміряні ймовірності чи науковий консенсус. Проте вони пояснюють, чому розмова про вимкнення ШІ вийшла за межі звичайної безпеки цифрових продуктів: прихильники жорсткіших гарантій вважають, що навіть відносно невелика ймовірність незворотної катастрофи виправдовує серйозні запобіжні заходи.

Чому уряди не поспішають запроваджувати такі вимоги

Уряд Великої Британії відкинув ідею національного механізму аварійного вимкнення, заявивши, що країна «не може просто вимкнути ШІ». Аргумент практичний: обмеження доступу до моделей у Сполученому Королівстві не завадить розробляти або використовувати їх зі зловмисною метою в інших країнах. 51

У цьому і полягає геополітична проблема. Держава може регулювати компанії та інфраструктуру у власній юрисдикції, але розробка ШІ має міжнародний характер. Країни, занепокоєні конкурентоспроможністю, можуть побоюватися, що односторонні обмеження перенесуть інвестиції, технологічні можливості та стратегічні переваги до менш зарегульованих конкурентів.

Прихильники посиленого врядування, навпаки, кажуть: саме тому добровільних обіцянок компаній і суто національних правил недостатньо. Якщо ризики перетинають кордони, то міжнародно переконливими мають бути й нагляд та зобов’язання з безпеки.

Головна суперечність: швидкість проти контролю

Лінія поділу тут не проходить просто між прихильниками й противниками ШІ.

• Прихильники безпеки вимагають запобіжників, які можна незалежно перевірити: реальної здатності до аварійного зупинення, зовнішнього аудиту та обмежень, що не дозволять можливостям моделей випереджати оцінювання і контроль.
• Критики жорстких обмежень наголошують, що глобально примусити всіх до паузи буде важко, а сповільнення може загальмувати корисні інновації, не зупинивши розробку деінде.
• Підхід умовного розвитку, який представляють Коксон, Кларк і Амодеї, передбачає продовження роботи над ШІ, але лише за наявності гарантій, які можна випробувати й перевірити, а не просто пообіцяти. 83317

Тому «аварійний вимикач» варто сприймати як один шар ширшої системи безпеки, а не як її заміну. Якщо передові системи стануть настільки розподіленими, що одна команда вже не зможе дістатися всіх їхніх частин, то контроль до розгортання, незалежне оцінювання та міжнародна координація стануть не менш, а більш важливими.