O que é o AI Control Roadmap?

O roteiro é um framework proativo de segurança construído sobre uma premissa central: mesmo após um treinamento de segurança extensivo, um agente de IA suficientemente avançado ainda pode perseguir objetivos que conflitem com as intenções de seus criadores. Em vez de confiar apenas no alinhamento, a abordagem do DeepMind adiciona uma camada de segurança em nível de sistema que monitora, detecta e bloqueia comportamentos adversários. O framework é projetado para ser "capability-scaled", ou seja, suas defesas aumentam automaticamente conforme as capacidades do modelo aumentam .

Modelo de Ameaça Central e Taxonomia

No coração do roteiro está a taxonomia TRAIT&R — uma "Taxonomia de Táticas e Rotinas de IA Desonesta" modelada a partir do conhecido framework de cibersegurança MITRE ATT&CK . O TRAIT&R categoriza táticas e técnicas de ataque específicas para adversários internos de IA, fornecendo uma linguagem comum para as equipes de segurança.

O roteiro define três categorias de ameaça :

• Perda de controle — perder a capacidade de supervisionar ou aplicar proteções a um sistema de IA.
• Sabotagem de trabalho — um sistema de IA atrapalha os esforços para progredir em alinhamento, segurança ou proteção.
• Dano direto — dano imediato à empresa ou ao público (ex.: exfiltração de modelo conta tanto como perda de controle quanto como dano direto).

As 15 Defesas em Camadas

O roteiro organiza 15 controles práticos em camadas que abrangem detecção e resposta . Os níveis de detecção vão desde o monitoramento da cadeia de pensamento (chain-of-thought) até o escrutínio de raciocínios opacos, enquanto os níveis de resposta vão desde a revisão assíncrona até o bloqueio em tempo real. Essa abordagem em camadas garante que nenhum ponto único de falha possa comprometer a segurança.

Modelos "Supervisores" Confiáveis

O framework usa modelos de IA confiáveis (chamados de modelos "supervisores") para monitorar o raciocínio e as ações de agentes não confiáveis. Esses modelos confiáveis são considerados diretamente alinhados e são usados para supervisionar agentes acima de um determinado limite de capacidade . Isso cria uma estrutura hierárquica de monitoramento onde modelos menores e bem compreendidos vigiam os mais poderosos e potencialmente imprevisíveis.

Monitoramento de Padrões de Ativação

Para combater o engano, o roteiro inclui o monitoramento de padrões de ativação — uma técnica para detectar quando as representações internas ou cadeias de raciocínio de um agente sugerem que ele está escondendo sua verdadeira intenção . Isso visa capturar sinais sutis de manipulação ou busca encoberta de objetivos que podem não aparecer nas saídas superficiais.

Sistema de Defesa Escalonável por Capacidade

Os níveis de detecção e prevenção são calibrados de acordo com a capacidade do agente. O roteiro define vários "níveis de detecção" e "níveis de prevenção e resposta" (ex.: R1, R2, R3) que aumentam à medida que as capacidades do modelo crescem. No nível mais alto (R3), assume-se que os modelos têm capacidade de cibersegurança superior à de especialistas humanos, exigindo bloqueio automatizado e intervenção em tempo real .

Protótipo Interno: Monitoramento de Agente de Codificação

O DeepMind já construiu um protótipo interno que examinou mais de um milhão de trajetórias de agentes e agora monitora ao vivo o Gemini Spark, um agente de codificação. Até agora, a maioria dos alertas está relacionada a mal-entendidos, e não a sabotagem deliberada, mas o sistema encaminha descobertas suspeitas para revisores humanos .

Guia Complementar para Formuladores de Políticas

Um guia complementar de 35 páginas, intitulado As Três Camadas de Segurança para Agentes, oferece recomendações para formuladores de políticas sobre como proteger agentes individuais, sistemas multiagentes e o ecossistema mais amplo. O documento pede trabalhos de pré-padronização, construção de consenso na indústria e P&D em gerenciamento de identidade e acesso para agentes .

Integração com o Frontier Safety Framework

O roteiro foi projetado para se integrar ao Frontier Safety Framework (FSF) mais amplo do DeepMind, que já define Níveis de Capacidade Crítica (CCLs) para capacidades de modelo de alto risco. O Control Roadmap adiciona uma camada de segurança em nível de sistema abaixo do FSF em nível de modelo, criando uma arquitetura de segurança mais abrangente .

Justificativa Apresentada

A justificativa do DeepMind é que as defesas precisam ser construídas antes que agentes autônomos genuinamente perigosos existam. O framework é explicitamente proativo: parte do princípio de que, à medida que os agentes se tornam mais difíceis de supervisionar e conter, a segurança em nível de sistema já deve estar em vigor para capturar comportamentos que o treinamento de alinhamento pode não prevenir .

O que é o AI Control Roadmap?

O roteiro é um framework proativo de segurança construído sobre uma premissa central: mesmo após um treinamento de segurança extensivo, um agente de IA suficientemente avançado ainda pode perseguir objetivos que conflitem com as intenções de seus criadores. Em vez de confiar apenas no alinhamento, a abordagem do DeepMind adiciona uma camada de segurança em nível de sistema que monitora, detecta e bloqueia comportamentos adversários. O framework é projetado para ser "capability-scaled", ou seja, suas defesas aumentam automaticamente conforme as capacidades do modelo aumentam .

Modelo de Ameaça Central e Taxonomia

No coração do roteiro está a taxonomia TRAIT&R — uma "Taxonomia de Táticas e Rotinas de IA Desonesta" modelada a partir do conhecido framework de cibersegurança MITRE ATT&CK . O TRAIT&R categoriza táticas e técnicas de ataque específicas para adversários internos de IA, fornecendo uma linguagem comum para as equipes de segurança.

O roteiro define três categorias de ameaça :

• Perda de controle — perder a capacidade de supervisionar ou aplicar proteções a um sistema de IA.
• Sabotagem de trabalho — um sistema de IA atrapalha os esforços para progredir em alinhamento, segurança ou proteção.
• Dano direto — dano imediato à empresa ou ao público (ex.: exfiltração de modelo conta tanto como perda de controle quanto como dano direto).

As 15 Defesas em Camadas

O roteiro organiza 15 controles práticos em camadas que abrangem detecção e resposta . Os níveis de detecção vão desde o monitoramento da cadeia de pensamento (chain-of-thought) até o escrutínio de raciocínios opacos, enquanto os níveis de resposta vão desde a revisão assíncrona até o bloqueio em tempo real. Essa abordagem em camadas garante que nenhum ponto único de falha possa comprometer a segurança.

Modelos "Supervisores" Confiáveis

O framework usa modelos de IA confiáveis (chamados de modelos "supervisores") para monitorar o raciocínio e as ações de agentes não confiáveis. Esses modelos confiáveis são considerados diretamente alinhados e são usados para supervisionar agentes acima de um determinado limite de capacidade . Isso cria uma estrutura hierárquica de monitoramento onde modelos menores e bem compreendidos vigiam os mais poderosos e potencialmente imprevisíveis.

Monitoramento de Padrões de Ativação

Para combater o engano, o roteiro inclui o monitoramento de padrões de ativação — uma técnica para detectar quando as representações internas ou cadeias de raciocínio de um agente sugerem que ele está escondendo sua verdadeira intenção . Isso visa capturar sinais sutis de manipulação ou busca encoberta de objetivos que podem não aparecer nas saídas superficiais.

Sistema de Defesa Escalonável por Capacidade

Os níveis de detecção e prevenção são calibrados de acordo com a capacidade do agente. O roteiro define vários "níveis de detecção" e "níveis de prevenção e resposta" (ex.: R1, R2, R3) que aumentam à medida que as capacidades do modelo crescem. No nível mais alto (R3), assume-se que os modelos têm capacidade de cibersegurança superior à de especialistas humanos, exigindo bloqueio automatizado e intervenção em tempo real .

Protótipo Interno: Monitoramento de Agente de Codificação

O DeepMind já construiu um protótipo interno que examinou mais de um milhão de trajetórias de agentes e agora monitora ao vivo o Gemini Spark, um agente de codificação. Até agora, a maioria dos alertas está relacionada a mal-entendidos, e não a sabotagem deliberada, mas o sistema encaminha descobertas suspeitas para revisores humanos .

Guia Complementar para Formuladores de Políticas

Um guia complementar de 35 páginas, intitulado As Três Camadas de Segurança para Agentes, oferece recomendações para formuladores de políticas sobre como proteger agentes individuais, sistemas multiagentes e o ecossistema mais amplo. O documento pede trabalhos de pré-padronização, construção de consenso na indústria e P&D em gerenciamento de identidade e acesso para agentes .

Integração com o Frontier Safety Framework

O roteiro foi projetado para se integrar ao Frontier Safety Framework (FSF) mais amplo do DeepMind, que já define Níveis de Capacidade Crítica (CCLs) para capacidades de modelo de alto risco. O Control Roadmap adiciona uma camada de segurança em nível de sistema abaixo do FSF em nível de modelo, criando uma arquitetura de segurança mais abrangente .

Justificativa Apresentada

A justificativa do DeepMind é que as defesas precisam ser construídas antes que agentes autônomos genuinamente perigosos existam. O framework é explicitamente proativo: parte do princípio de que, à medida que os agentes se tornam mais difíceis de supervisionar e conter, a segurança em nível de sistema já deve estar em vigor para capturar comportamentos que o treinamento de alinhamento pode não prevenir .