Що таке «Дорожня карта контролю над ШІ»?

За своєю суттю, це проактивна система безпеки, заснована на ключовому припущенні: навіть після ретельного навчання, достатньо розвинений ШІ-агент може переслідувати цілі, які суперечать намірам його творців. Замість того, щоб покладатися виключно на вирівнювання, DeepMind додає системний рівень безпеки, який відстежує, виявляє та блокує небажану поведінку. Цей захист є «capability-scaled», тобто його інтенсивність автоматично зростає зі збільшенням можливостей моделі .

Основна модель загроз і таксономія TRAIT&R

В основі дорожньої карти лежить таксономія TRAIT&R (Taxonomy of Rogue AI Tactics and Routines), створена за зразком відомої кібербезпекової структури MITRE ATT&CK . TRAIT&R категоризує тактики та техніки, специфічні для внутрішніх ШІ-супротивників, забезпечуючи спільну мову для команд безпеки.

Документ визначає три категорії загроз :

• Втрата контролю — неможливість контролювати або застосовувати обмеження до ШІ-системи.
• Сабботаж роботи — ШІ-система перешкоджає прогресу у вирівнюванні, безпеці чи захисті.
• Пряма шкода — безпосередня шкода компанії або суспільству (наприклад, крадіжка моделі вважається одночасно втратою контролю та прямою шкодою).

15 рівнів захисту

Карта передбачає 15 практичних рівнів контролю, які охоплюють як виявлення, так і реагування . Рівні виявлення варіюються від моніторингу ланцюжка міркувань (chain-of-thought) до аналізу «непрозорих» міркувань. Рівні реагування — від асинхронної перевірки до блокування в реальному часі. Такий багатошаровий підхід гарантує, що жодна єдина точка відмови не поставить під загрозу безпеку.

Довірені моделі-наглядачі (Supervisor Models)

Для моніторингу ненадійних агентів використовуються довірені ШІ-моделі (так звані «супервізори»). Ці моделі, які вважаються однозначно вирівняними, здійснюють нагляд за агентами, чиї можливості перевищують певний поріг . Це створює ієрархічну структуру, де менші та краще зрозумілі моделі стежать за потужнішими.

Моніторинг патернів активації

Для протидії обману дорожня карта включає моніторинг патернів активації — техніку, яка дозволяє виявити, коли внутрішні репрезентації або ланцюжки міркувань агента свідчать про приховування справжніх намірів . Це допомагає вловити ледь помітні ознаки маніпуляції.

Система захисту, що адаптується до можливостей

Рівні виявлення та запобігання калібруються відповідно до можливостей агента. Визначено кілька «рівнів виявлення» та «рівнів запобігання та реагування» (наприклад, R1, R2, R3), які зростають із розвитком моделі. На найвищому рівні (R3) передбачається, що модель має кібербезпекові навички, які перевищують людські, що вимагає автоматичного блокування та втручання в реальному часі .

Внутрішній прототип: Моніторинг кодувальних агентів

DeepMind вже створила внутрішній прототип, який просканував понад мільйон траєкторій агентів і зараз у реальному часі стежить за роботою кодувального агента Gemini Spark . Більшість сповіщень досі були спричинені неправильною інтерпретацією, а не навмисним саботажем, однак система передає підозрілі знахідки людям-аналітикам.

Гайд для політиків

Додатково опубліковано 35-сторінковий гайд під назвою «Три рівні безпеки агентів», який містить рекомендації для політиків щодо захисту окремих агентів, мультиагентних систем та ширшої екосистеми. У ньому наголошується на необхідності передстандартизаційної роботи, формування консенсусу в індустрії та досліджень у сфері ідентифікації та керування доступом для агентів .

Інтеграція з Frontier Safety Framework

Дорожня карта розроблена так, щоб стати частиною ширшої системи Frontier Safety Framework (FSF) від DeepMind. FSF вже визначає «критичні рівні можливостей» (CCL) для ризиків, пов'язаних із найпотужнішими моделями. Control Roadmap додає системний рівень безпеки, який доповнює модельний рівень FSF, створюючи комплексну безпекову архітектуру .

Заявлена мета

Офіційна позиція DeepMind полягає в тому, що захист має бути створений до появи по-справжньому небезпечних автономних агентів. Карта є свідомо проактивною: вона визнає, що в міру того, як агенти стають складнішими, а контроль над ними — важчим, системна безпека має бути готова до того, що навчання вирівнюванню може не спрацювати .

Що таке «Дорожня карта контролю над ШІ»?

За своєю суттю, це проактивна система безпеки, заснована на ключовому припущенні: навіть після ретельного навчання, достатньо розвинений ШІ-агент може переслідувати цілі, які суперечать намірам його творців. Замість того, щоб покладатися виключно на вирівнювання, DeepMind додає системний рівень безпеки, який відстежує, виявляє та блокує небажану поведінку. Цей захист є «capability-scaled», тобто його інтенсивність автоматично зростає зі збільшенням можливостей моделі .

Основна модель загроз і таксономія TRAIT&R

В основі дорожньої карти лежить таксономія TRAIT&R (Taxonomy of Rogue AI Tactics and Routines), створена за зразком відомої кібербезпекової структури MITRE ATT&CK . TRAIT&R категоризує тактики та техніки, специфічні для внутрішніх ШІ-супротивників, забезпечуючи спільну мову для команд безпеки.

Документ визначає три категорії загроз :

• Втрата контролю — неможливість контролювати або застосовувати обмеження до ШІ-системи.
• Сабботаж роботи — ШІ-система перешкоджає прогресу у вирівнюванні, безпеці чи захисті.
• Пряма шкода — безпосередня шкода компанії або суспільству (наприклад, крадіжка моделі вважається одночасно втратою контролю та прямою шкодою).

15 рівнів захисту

Карта передбачає 15 практичних рівнів контролю, які охоплюють як виявлення, так і реагування . Рівні виявлення варіюються від моніторингу ланцюжка міркувань (chain-of-thought) до аналізу «непрозорих» міркувань. Рівні реагування — від асинхронної перевірки до блокування в реальному часі. Такий багатошаровий підхід гарантує, що жодна єдина точка відмови не поставить під загрозу безпеку.

Довірені моделі-наглядачі (Supervisor Models)

Для моніторингу ненадійних агентів використовуються довірені ШІ-моделі (так звані «супервізори»). Ці моделі, які вважаються однозначно вирівняними, здійснюють нагляд за агентами, чиї можливості перевищують певний поріг . Це створює ієрархічну структуру, де менші та краще зрозумілі моделі стежать за потужнішими.

Моніторинг патернів активації

Для протидії обману дорожня карта включає моніторинг патернів активації — техніку, яка дозволяє виявити, коли внутрішні репрезентації або ланцюжки міркувань агента свідчать про приховування справжніх намірів . Це допомагає вловити ледь помітні ознаки маніпуляції.

Система захисту, що адаптується до можливостей

Рівні виявлення та запобігання калібруються відповідно до можливостей агента. Визначено кілька «рівнів виявлення» та «рівнів запобігання та реагування» (наприклад, R1, R2, R3), які зростають із розвитком моделі. На найвищому рівні (R3) передбачається, що модель має кібербезпекові навички, які перевищують людські, що вимагає автоматичного блокування та втручання в реальному часі .

Внутрішній прототип: Моніторинг кодувальних агентів

DeepMind вже створила внутрішній прототип, який просканував понад мільйон траєкторій агентів і зараз у реальному часі стежить за роботою кодувального агента Gemini Spark . Більшість сповіщень досі були спричинені неправильною інтерпретацією, а не навмисним саботажем, однак система передає підозрілі знахідки людям-аналітикам.

Гайд для політиків

Додатково опубліковано 35-сторінковий гайд під назвою «Три рівні безпеки агентів», який містить рекомендації для політиків щодо захисту окремих агентів, мультиагентних систем та ширшої екосистеми. У ньому наголошується на необхідності передстандартизаційної роботи, формування консенсусу в індустрії та досліджень у сфері ідентифікації та керування доступом для агентів .

Інтеграція з Frontier Safety Framework

Дорожня карта розроблена так, щоб стати частиною ширшої системи Frontier Safety Framework (FSF) від DeepMind. FSF вже визначає «критичні рівні можливостей» (CCL) для ризиків, пов'язаних із найпотужнішими моделями. Control Roadmap додає системний рівень безпеки, який доповнює модельний рівень FSF, створюючи комплексну безпекову архітектуру .

Заявлена мета

Офіційна позиція DeepMind полягає в тому, що захист має бути створений до появи по-справжньому небезпечних автономних агентів. Карта є свідомо проактивною: вона визнає, що в міру того, як агенти стають складнішими, а контроль над ними — важчим, системна безпека має бути готова до того, що навчання вирівнюванню може не спрацювати .