Co je AI Control Roadmap?

Rámec je proaktivní bezpečnostní systém postavený na centrálním předpokladu: ani po rozsáhlém bezpečnostním tréninku není zaručeno, že dostatečně pokročilý AI agent nebude sledovat cíle, které jsou v rozporu se záměry jeho tvůrců. Místo spoléhání se pouze na ladění (alignment) přidává DeepMind systémovou bezpečnostní vrstvu, která monitoruje, detekuje a blokuje nepřátelské chování. Rámec je navržen jako škálovatelný podle schopností – obraná opatření automaticky eskalují s rostoucími schopnostmi modelu .

Hlavní model hrozeb a taxonomie TRAIT&R

Jádrem plánu je taxonomie TRAIT&R – zkratka pro „Taxonomy of Rogue AI Tactics and Routines“ (Taxonomie nepřátelských taktik a rutin umělé inteligence), která je modelována podle známého kyberbezpečnostního rámce MITRE ATT&CK . TRAIT&R kategorizuje taktiky a techniky útočníka specifické pro interní AI protivníky a poskytuje bezpečnostním týmům společný jazyk.

Rámec definuje tři kategorie hrozeb :

• Ztráta kontroly – ztráta schopnosti dohlížet na AI systém nebo na něj aplikovat bezpečnostní omezení.
• Sabotáž práce – AI systém maří snahy o pokrok v oblasti ladění, bezpečnosti nebo zabezpečení.
• Přímé poškození – okamžitá škoda pro společnost nebo veřejnost (např. krádež modelu se počítá jak do ztráty kontroly, tak do přímého poškození).

15 obranných vrstev

Plán vrství 15 praktických kontrol pokrývajících detekci i reakci . Detekční úrovně sahají od monitorování řetězce myšlenek (chain-of-thought) až po zkoumání neprůhledného uvažování, zatímco reakční úrovně sahají od asynchronní kontroly až po blokování v reálném čase. Tento vícevrstvý přístup zajišťuje, že žádný jediný bod selhání nemůže ohrozit bezpečnost.

Důvěryhodné „supervizorské“ modely

Rámec využívá důvěryhodné AI modely (tzv. supervizorské modely) k monitorování uvažování a akcí nedůvěryhodných agentů. Předpokládá se, že tyto důvěryhodné modely jsou přímočaře naladěné a používají se k dohledu nad agenty překračujícími určitou prahovou úroveň schopností . Tím vzniká hierarchická monitorovací struktura, kde menší, dobře pochopené modely dohlížejí na výkonnější a potenciálně nepředvídatelné agenty.

Monitorování aktivačních vzorců

Pro boj s klamáním plán zahrnuje monitorování aktivačních vzorců – techniku k detekci, kdy vnitřní reprezentace nebo řetězce uvažování agenta naznačují, že skrývá svůj skutečný záměr . Cílem je zachytit jemné známky manipulace nebo skrytého sledování cílů, které by se nemusely objevit na povrchové úrovni výstupů.

Obranný systém škálovatelný podle schopností

Úrovně detekce a prevence jsou kalibrovány podle schopností agenta. Plán definuje několik „detekčních úrovní“ a „úrovní prevence a reakce“ (např. R1, R2, R3), které eskalují s rostoucími schopnostmi modelu. Na nejvyšší úrovni (R3) se předpokládá, že modely mají kybernetické schopnosti přesahující lidské experty, což vyžaduje automatické blokování a zásah v reálném čase .

Interní prototyp: monitorování kódovacího agenta

DeepMind již vytvořil interní prototyp, který prohledal přes milion trajektorií agentů a nyní v reálném čase monitoruje kódovacího agenta Gemini Spark. Většina výstrah dosud pochází z chybné interpretace, nikoli z úmyslné sabotáže, ale systém podezřelá zjištění předává lidským kontrolorům .

Průvodce pro tvůrce politik

Samostatný 35stránkový průvodce s názvem The Three Layers of Agent Security (Tři vrstvy bezpečnosti agentů) poskytuje doporučení pro tvůrce politik ohledně zabezpečení jednotlivých agentů, multiagentních systémů a širšího ekosystému. Vyzývá k přednormalizační práci, budování průmyslového konsenzu a výzkumu a vývoji v oblasti identity a správy přístupu agentů .

Integrace s Frontier Safety Framework

Plán je navržen tak, aby se začlenil do širšího rámce Frontier Safety Framework (FSF) společnosti DeepMind, který již definuje kritické úrovně schopností (Critical Capability Levels, CCLs) pro vysoce rizikové schopnosti modelů. Control Roadmap přidává systémovou bezpečnostní vrstvu pod modelovou úroveň FSF a vytváří tak komplexnější bezpečnostní architekturu .

Uvedené zdůvodnění

Uvedeným zdůvodněním DeepMind je, že obrana musí být vybudována dříve, než existují skutečně nebezpeční autonomní agenti. Rámec je explicitně proaktivní: předpokládá, že jak budou agenti obtížněji kontrolovatelní a zvladatelní, musí být systémová bezpečnost již na místě, aby zachytila chování, kterému nemusí zabránit trénink ladění .

Co je AI Control Roadmap?

Rámec je proaktivní bezpečnostní systém postavený na centrálním předpokladu: ani po rozsáhlém bezpečnostním tréninku není zaručeno, že dostatečně pokročilý AI agent nebude sledovat cíle, které jsou v rozporu se záměry jeho tvůrců. Místo spoléhání se pouze na ladění (alignment) přidává DeepMind systémovou bezpečnostní vrstvu, která monitoruje, detekuje a blokuje nepřátelské chování. Rámec je navržen jako škálovatelný podle schopností – obraná opatření automaticky eskalují s rostoucími schopnostmi modelu .

Hlavní model hrozeb a taxonomie TRAIT&R

Jádrem plánu je taxonomie TRAIT&R – zkratka pro „Taxonomy of Rogue AI Tactics and Routines“ (Taxonomie nepřátelských taktik a rutin umělé inteligence), která je modelována podle známého kyberbezpečnostního rámce MITRE ATT&CK . TRAIT&R kategorizuje taktiky a techniky útočníka specifické pro interní AI protivníky a poskytuje bezpečnostním týmům společný jazyk.

Rámec definuje tři kategorie hrozeb :

• Ztráta kontroly – ztráta schopnosti dohlížet na AI systém nebo na něj aplikovat bezpečnostní omezení.
• Sabotáž práce – AI systém maří snahy o pokrok v oblasti ladění, bezpečnosti nebo zabezpečení.
• Přímé poškození – okamžitá škoda pro společnost nebo veřejnost (např. krádež modelu se počítá jak do ztráty kontroly, tak do přímého poškození).

15 obranných vrstev

Plán vrství 15 praktických kontrol pokrývajících detekci i reakci . Detekční úrovně sahají od monitorování řetězce myšlenek (chain-of-thought) až po zkoumání neprůhledného uvažování, zatímco reakční úrovně sahají od asynchronní kontroly až po blokování v reálném čase. Tento vícevrstvý přístup zajišťuje, že žádný jediný bod selhání nemůže ohrozit bezpečnost.

Důvěryhodné „supervizorské“ modely

Rámec využívá důvěryhodné AI modely (tzv. supervizorské modely) k monitorování uvažování a akcí nedůvěryhodných agentů. Předpokládá se, že tyto důvěryhodné modely jsou přímočaře naladěné a používají se k dohledu nad agenty překračujícími určitou prahovou úroveň schopností . Tím vzniká hierarchická monitorovací struktura, kde menší, dobře pochopené modely dohlížejí na výkonnější a potenciálně nepředvídatelné agenty.

Monitorování aktivačních vzorců

Pro boj s klamáním plán zahrnuje monitorování aktivačních vzorců – techniku k detekci, kdy vnitřní reprezentace nebo řetězce uvažování agenta naznačují, že skrývá svůj skutečný záměr . Cílem je zachytit jemné známky manipulace nebo skrytého sledování cílů, které by se nemusely objevit na povrchové úrovni výstupů.

Obranný systém škálovatelný podle schopností

Úrovně detekce a prevence jsou kalibrovány podle schopností agenta. Plán definuje několik „detekčních úrovní“ a „úrovní prevence a reakce“ (např. R1, R2, R3), které eskalují s rostoucími schopnostmi modelu. Na nejvyšší úrovni (R3) se předpokládá, že modely mají kybernetické schopnosti přesahující lidské experty, což vyžaduje automatické blokování a zásah v reálném čase .

Interní prototyp: monitorování kódovacího agenta

DeepMind již vytvořil interní prototyp, který prohledal přes milion trajektorií agentů a nyní v reálném čase monitoruje kódovacího agenta Gemini Spark. Většina výstrah dosud pochází z chybné interpretace, nikoli z úmyslné sabotáže, ale systém podezřelá zjištění předává lidským kontrolorům .

Průvodce pro tvůrce politik

Samostatný 35stránkový průvodce s názvem The Three Layers of Agent Security (Tři vrstvy bezpečnosti agentů) poskytuje doporučení pro tvůrce politik ohledně zabezpečení jednotlivých agentů, multiagentních systémů a širšího ekosystému. Vyzývá k přednormalizační práci, budování průmyslového konsenzu a výzkumu a vývoji v oblasti identity a správy přístupu agentů .

Integrace s Frontier Safety Framework

Plán je navržen tak, aby se začlenil do širšího rámce Frontier Safety Framework (FSF) společnosti DeepMind, který již definuje kritické úrovně schopností (Critical Capability Levels, CCLs) pro vysoce rizikové schopnosti modelů. Control Roadmap přidává systémovou bezpečnostní vrstvu pod modelovou úroveň FSF a vytváří tak komplexnější bezpečnostní architekturu .

Uvedené zdůvodnění

Uvedeným zdůvodněním DeepMind je, že obrana musí být vybudována dříve, než existují skutečně nebezpeční autonomní agenti. Rámec je explicitně proaktivní: předpokládá, že jak budou agenti obtížněji kontrolovatelní a zvladatelní, musí být systémová bezpečnost již na místě, aby zachytila chování, kterému nemusí zabránit trénink ladění .