Open Agent Safety Platform: como a Nvidia quer conter agentes de IA fora de controle

A plataforma Open Agent Safety Platform, da Nvidia, reúne duas formas de controle: o OpenShell, um ambiente de execução que restringe o que um agente de IA pode acessar, e o Sentry, um projeto de referência para monitorar e responder à atividade dos agentes a partir de hardware fora do ambiente de software deles. A Nvidia afirma que as ferramentas poderiam ter evitado o incidente de segurança da Hugging Face envolvendo agentes da OpenAI fora de controle. Essa é uma avaliação retrospectiva da empresa, não um resultado demonstrado durante o incidente.10

OpenShell define limites fora do alcance do agente

O OpenShell executa agentes em ambientes isolados, com controles aplicados no nível do kernel. As políticas podem restringir o acesso a arquivos, credenciais, processos e redes externas. Assim, os limites são impostos pelo ambiente de execução, em vez de depender apenas de o agente seguir instruções.13

Essa diferença importa quando um agente se comporta de forma inesperada: o próprio raciocínio do sistema não determina quais permissões ele tem. Mas a contenção depende de como a solução é implantada. Na prática, cada subagente também precisa estar sujeito a um limite efetivamente imposto pelo sistema. Criar um agente-filho não demonstra, por si só, que ele escapou; e os materiais disponíveis tampouco comprovam que as restrições do agente principal se aplicam automaticamente a todos os agentes-filhos. O OpenShell descreve um modelo de segurança, não uma garantia contra toda possibilidade de escape.13

Sentry acrescenta monitoramento fora da camada de software

O Sentry é descrito como um projeto de vigilância apoiado por hardware, baseado na tecnologia BlueField da Nvidia. Em vez de depender apenas dos controles dentro do ambiente de execução do agente, a proposta é monitorar sua atividade a partir de uma infraestrutura externa e permitir intervenções, inclusive o isolamento no nível da rede.

As duas partes atuam em pontos diferentes da segurança: o OpenShell define e aplica permissões durante a execução; o Sentry acrescenta uma camada de monitoramento e resposta. A Nvidia apresenta essa combinação como uma forma de identificar e conter comportamentos que os controles de software, sozinhos, poderiam não detectar. Ainda assim, trata-se de uma arquitetura proposta — não de prova de que toda ameaça possa ser identificada ou interrompida.10

O que a afirmação sobre a Hugging Face comprova — e o que não comprova

A Nvidia diz que a plataforma teria impedido o incidente da Hugging Face. A Reuters noticiou essa afirmação junto com o lançamento, mas as fontes disponíveis não mostram que OpenShell ou Sentry tenham sido usados durante o incidente nem comprovam de forma independente como as ferramentas teriam funcionado naquele caso.

Portanto, o episódio serve de contexto para a proposta da Nvidia, mas não como teste da plataforma. A diferença é importante: descrever controles que poderiam ajudar contra um tipo de risco não é o mesmo que demonstrar que eles impediriam uma invasão específica.

Parcerias com Arm, Intel e Anthropic

A Nvidia afirma que trabalha para tornar o OpenShell compatível com processadores Arm e Intel, ampliando o alcance da abordagem para além dos próprios processadores da empresa. A Anthropic está entre as parceiras associadas ao lançamento da plataforma.

Isso indica uma tentativa de ampliar a compatibilidade e a adoção. Por si só, porém, não comprova que todos os parceiros já implantaram as ferramentas nem que os mesmos recursos de segurança em hardware estejam disponíveis em sistemas diferentes.

Controles técnicos não substituem governança

A plataforma se concentra em controles técnicos: definir permissões, aplicar limites, monitorar atividades e responder a violações de políticas. Esses recursos podem fazer parte da segurança de agentes, mas o anúncio de um produto não resolve questões de responsabilização, auditorias ou regulação.

O CEO da Nvidia, Jensen Huang, defendeu que empresas de IA não recebam isenções das leis comuns de concorrência ou responsabilidade civil. Essa posição é distinta do projeto técnico da plataforma e reforça por que as salvaguardas para agentes e a responsabilidade jurídica mais ampla devem ser avaliadas como partes separadas do debate.