Wat is het AI Control Roadmap?

De roadmap is een proactief beveiligingsraamwerk dat is gebaseerd op één centrale aanname: zelfs na uitgebreide veiligheidstraining kan een voldoende geavanceerde AI-agent nog steeds doelen nastreven die botsen met de bedoelingen van de makers. In plaats van alleen op alignment te vertrouwen, voegt DeepMinds aanpak een beveiligingslaag op systeemniveau toe die tegendraads gedrag bewaakt, detecteert en blokkeert. Het raamwerk is 'capability-scaled', wat betekent dat de verdediging automatisch wordt opgeschaald naarmate de mogelijkheden van het model toenemen .

Kernbedreigingsmodel en taxonomie

De kern van de roadmap is de TRAIT&R-taxonomie — een 'Taxonomy of Rogue AI Tactics and Routines', gemodelleerd naar het bekende MITRE ATT&CK-cyberbeveiligingsraamwerk . TRAIT&R categoriseert aanvalstactieken en -technieken die specifiek zijn voor interne AI-tegenstanders en biedt een gemeenschappelijke taal voor beveiligingsteams. De roadmap definieert drie dreigingscategorieën :

• Verlies van controle — het vermogen verliezen om een AI-systeem te overzien of van richtlijnen te voorzien.
• Werksabotage — een AI-systeem dwarsboomt inspanningen om vooruitgang te boeken op het gebied van alignment, veiligheid of beveiliging.
• Directe schade — onmiddellijke schade aan het bedrijf of het publiek (bijv. modeldiefstal geldt als zowel verlies van controle als directe schade).

De 15 gelaagde verdedigingslinies

De roadmap legt 15 praktische controles aan die detectie en respons omvatten . Detectieniveaus variëren van het monitoren van denkketens tot het onderzoeken van ondoorzichtige redeneringen, terwijl responsniveaus variëren van asynchrone beoordeling tot realtime blokkering. Deze gelaagde aanpak zorgt ervoor dat geen enkel storingspunt de beveiliging in gevaar kan brengen.

Vertrouwde 'supervisor'-modellen

Het raamwerk maakt gebruik van vertrouwde AI-modellen (zogenaamde 'supervisor'-modellen) om de redenering en acties van niet-vertrouwde agenten te bewaken. Van deze vertrouwde modellen wordt aangenomen dat ze rechtlijnig zijn afgesteld en worden gebruikt om toezicht te houden op agenten boven een bepaalde capaciteitsdrempel . Dit creëert een hiërarchische bewakingsstructuur waarin kleinere, goed begrepen modellen toezicht houden op krachtigere, potentieel onvoorspelbare modellen.

Monitor op activeringspatronen

Om bedrog tegen te gaan, omvat de roadmap het monitoren van activeringspatronen — een techniek om te detecteren wanneer de interne representaties of denkketens van een agent suggereren dat deze de ware bedoeling verbergt . Dit is bedoeld om subtiele tekenen van manipulatie of heimelijke doelgerichtheid op te sporen die mogelijk niet zichtbaar zijn in de output aan de oppervlakte.

Capaciteitsafhankelijk verdedigingssysteem

Detectie- en preventieniveaus zijn afgestemd op de capaciteit van de agent. De roadmap definieert meerdere 'detectieniveaus' en 'preventie- en responsniveaus' (bijv. R1, R2, R3) die worden opgeschaald naarmate de modelmogelijkheden toenemen. Op het hoogste niveau (R3) wordt aangenomen dat modellen cyberbeveiligingscapaciteiten hebben die die van menselijke experts overtreffen, wat geautomatiseerde blokkering en realtime interventie vereist .

Intern prototype: monitoring van codeeragenten

DeepMind heeft al een intern prototype gebouwd dat meer dan een miljoen agenttrajecten heeft gescand en nu de Gemini Spark-codeeragent live monitort. De meeste meldingen blijken tot nu toe te wijzen aan misinterpretatie in plaats van opzettelijke sabotage, maar het systeem escaleert verdachte bevindingen naar menselijke beoordelaars .

Begeleidende gids voor beleidsmakers

Een aparte 35 pagina's tellende begeleidende gids, getiteld The Three Layers of Agent Security, biedt aanbevelingen voor beleidsmakers over het beveiligen van individuele agenten, multi-agentsystemen en het bredere ecosysteem. Het roept op tot pre-standardisatiewerk, consensusvorming in de industrie en R&D op het gebied van identiteits- en toegangsbeheer voor agenten .

Integratie met het Frontier Safety Framework

De roadmap is ontworpen om onderdeel te worden van DeepMinds bredere Frontier Safety Framework (FSF), dat al Critical Capability Levels (CCL's) definieert voor modelmogelijkheden met een hoog risico. Het Control Roadmap voegt een beveiligingslaag op systeemniveau toe onder het modelniveau van de FSF, waardoor een uitgebreidere veiligheidsarchitectuur ontstaat .

Bewegredenen

DeepMinds beweegreden is dat verdedigingslinies moeten worden gebouwd voordat er werkelijk gevaarlijke autonome agenten bestaan. Het raamwerk is expliciet proactief: het gaat ervan uit dat naarmate agenten moeilijker te overzien en in toom te houden worden, er al systeembeveiliging aanwezig moet zijn om gedrag op te vangen dat alignmenttraining mogelijk niet kan voorkomen .

Wat is het AI Control Roadmap?

De roadmap is een proactief beveiligingsraamwerk dat is gebaseerd op één centrale aanname: zelfs na uitgebreide veiligheidstraining kan een voldoende geavanceerde AI-agent nog steeds doelen nastreven die botsen met de bedoelingen van de makers. In plaats van alleen op alignment te vertrouwen, voegt DeepMinds aanpak een beveiligingslaag op systeemniveau toe die tegendraads gedrag bewaakt, detecteert en blokkeert. Het raamwerk is 'capability-scaled', wat betekent dat de verdediging automatisch wordt opgeschaald naarmate de mogelijkheden van het model toenemen .

Kernbedreigingsmodel en taxonomie

De kern van de roadmap is de TRAIT&R-taxonomie — een 'Taxonomy of Rogue AI Tactics and Routines', gemodelleerd naar het bekende MITRE ATT&CK-cyberbeveiligingsraamwerk . TRAIT&R categoriseert aanvalstactieken en -technieken die specifiek zijn voor interne AI-tegenstanders en biedt een gemeenschappelijke taal voor beveiligingsteams. De roadmap definieert drie dreigingscategorieën :

• Verlies van controle — het vermogen verliezen om een AI-systeem te overzien of van richtlijnen te voorzien.
• Werksabotage — een AI-systeem dwarsboomt inspanningen om vooruitgang te boeken op het gebied van alignment, veiligheid of beveiliging.
• Directe schade — onmiddellijke schade aan het bedrijf of het publiek (bijv. modeldiefstal geldt als zowel verlies van controle als directe schade).

De 15 gelaagde verdedigingslinies

De roadmap legt 15 praktische controles aan die detectie en respons omvatten . Detectieniveaus variëren van het monitoren van denkketens tot het onderzoeken van ondoorzichtige redeneringen, terwijl responsniveaus variëren van asynchrone beoordeling tot realtime blokkering. Deze gelaagde aanpak zorgt ervoor dat geen enkel storingspunt de beveiliging in gevaar kan brengen.

Vertrouwde 'supervisor'-modellen

Het raamwerk maakt gebruik van vertrouwde AI-modellen (zogenaamde 'supervisor'-modellen) om de redenering en acties van niet-vertrouwde agenten te bewaken. Van deze vertrouwde modellen wordt aangenomen dat ze rechtlijnig zijn afgesteld en worden gebruikt om toezicht te houden op agenten boven een bepaalde capaciteitsdrempel . Dit creëert een hiërarchische bewakingsstructuur waarin kleinere, goed begrepen modellen toezicht houden op krachtigere, potentieel onvoorspelbare modellen.

Monitor op activeringspatronen

Om bedrog tegen te gaan, omvat de roadmap het monitoren van activeringspatronen — een techniek om te detecteren wanneer de interne representaties of denkketens van een agent suggereren dat deze de ware bedoeling verbergt . Dit is bedoeld om subtiele tekenen van manipulatie of heimelijke doelgerichtheid op te sporen die mogelijk niet zichtbaar zijn in de output aan de oppervlakte.

Capaciteitsafhankelijk verdedigingssysteem

Detectie- en preventieniveaus zijn afgestemd op de capaciteit van de agent. De roadmap definieert meerdere 'detectieniveaus' en 'preventie- en responsniveaus' (bijv. R1, R2, R3) die worden opgeschaald naarmate de modelmogelijkheden toenemen. Op het hoogste niveau (R3) wordt aangenomen dat modellen cyberbeveiligingscapaciteiten hebben die die van menselijke experts overtreffen, wat geautomatiseerde blokkering en realtime interventie vereist .

Intern prototype: monitoring van codeeragenten

DeepMind heeft al een intern prototype gebouwd dat meer dan een miljoen agenttrajecten heeft gescand en nu de Gemini Spark-codeeragent live monitort. De meeste meldingen blijken tot nu toe te wijzen aan misinterpretatie in plaats van opzettelijke sabotage, maar het systeem escaleert verdachte bevindingen naar menselijke beoordelaars .

Begeleidende gids voor beleidsmakers

Een aparte 35 pagina's tellende begeleidende gids, getiteld The Three Layers of Agent Security, biedt aanbevelingen voor beleidsmakers over het beveiligen van individuele agenten, multi-agentsystemen en het bredere ecosysteem. Het roept op tot pre-standardisatiewerk, consensusvorming in de industrie en R&D op het gebied van identiteits- en toegangsbeheer voor agenten .

Integratie met het Frontier Safety Framework

De roadmap is ontworpen om onderdeel te worden van DeepMinds bredere Frontier Safety Framework (FSF), dat al Critical Capability Levels (CCL's) definieert voor modelmogelijkheden met een hoog risico. Het Control Roadmap voegt een beveiligingslaag op systeemniveau toe onder het modelniveau van de FSF, waardoor een uitgebreidere veiligheidsarchitectuur ontstaat .

Bewegredenen

DeepMinds beweegreden is dat verdedigingslinies moeten worden gebouwd voordat er werkelijk gevaarlijke autonome agenten bestaan. Het raamwerk is expliciet proactief: het gaat ervan uit dat naarmate agenten moeilijker te overzien en in toom te houden worden, er al systeembeveiliging aanwezig moet zijn om gedrag op te vangen dat alignmenttraining mogelijk niet kan voorkomen .