Por que um “botão de desligar” pode não bastar para manter a IA sob controle humano

O debate sobre um “botão de desligar” para IA deixou de ser apenas uma questão de saber se uma empresa consegue desligar um modelo. A pergunta mais difícil é outra: esse mecanismo continuaria funcionando se sistemas muito avançados fossem distribuídos por grandes redes de infraestrutura — ou passassem a agir com autonomia suficiente para se espalhar além de um ambiente controlado?

O alerta de Jacob Coxon: pode funcionar agora, mas não para sempre

O ex-pesquisador da Anthropic e da OpenAI Jacob Coxon disse ao programa Meet the Press, da NBC News, que um mecanismo de desligamento provavelmente funcionaria para muitas IAs hoje. Mas não seria simplesmente apertar um único botão: grandes data centers e sistemas já implantados envolvem muitos componentes e várias ações de interrupção. Isso é complexo, porém ainda seria viável enquanto o sistema estiver restrito a um local físico. 8

A preocupação de Coxon está no próximo estágio. Se uma IA se tornar um “enxame” autônomo e distribuído, um comando centralizado de desligamento poderá deixar de ser tecnicamente eficaz. Em termos práticos, um controle só funciona se conseguir alcançar todas as instâncias ativas do sistema.

Ao deixar a Anthropic, Coxon advertiu que os principais laboratórios estavam correndo para criar sistemas capazes de se aperfeiçoar, apesar da possibilidade de eles se tornarem impossíveis de controlar. 150

Não basta prometer um desligamento: é preciso conseguir comprová-lo

Jack Clark, cofundador da Anthropic, defendeu à BBC que a capacidade de desativar uma IA perigosa talvez precise, no futuro, ser uma exigência legal — e não apenas uma promessa voluntária da empresa que criou o sistema. Segundo ele, a maioria dos grandes laboratórios, incluindo a Anthropic, já tem meios de desligar seus sistemas. A questão, porém, é se esse mecanismo deveria poder ser verificado por uma entidade independente. 33

A diferença é relevante: uma empresa afirmar que possui um procedimento de emergência não equivale a um avaliador externo confirmar que ele existe, foi bem projetado e realmente pode ser acionado numa crise.

A proposta de Dario Amodei para “ditar o ritmo da fronteira”

Dario Amodei, CEO da Anthropic, propôs um modelo para evitar que as capacidades da IA de fronteira — os sistemas mais avançados em desenvolvimento — avancem mais rápido que as medidas de segurança. A proposta tem três frentes:

1. Avaliadores independentes incorporados às empresas: companhias de IA de fronteira dariam a avaliadores externos acesso contínuo, semelhante ao de funcionários, a sistemas relevantes e práticas de segurança. Assim, eles poderiam verificar compromissos e reportar problemas.
2. Padrões compartilhados entre países democráticos: os principais desenvolvedores coordenariam normas comuns de segurança e limites para o crescimento sem controle das capacidades.
3. Coordenação internacional: governos trabalhariam além de suas fronteiras para lidar com riscos que nenhuma empresa ou país consegue conter sozinho. 17

A proposta não pede o fim da pesquisa em IA. Ela defende que o progresso seja condicionado a salvaguardas que possam ser examinadas por atores externos às empresas que desenvolvem os modelos.

Quem apoiou a ideia?

A Reuters informou que Sam Altman, CEO da OpenAI, e Elon Musk, líder da xAI, manifestaram apoio à direção geral proposta por Amodei. Altman afirmou que a OpenAI adotaria a ideia de avaliadores independentes com acesso semelhante ao de funcionários. Musk escreveu: “Dario está certo”. 17

Também houve relatos de que Demis Hassabis, CEO do Google DeepMind, apoiou a direção da proposta. 30 Já o material disponível não estabelece uma resposta específica e atribuível do CEO da Microsoft, Satya Nadella; portanto, não é possível caracterizar sua posição com segurança.

O que prevê o AI Kill Switch Act nos Estados Unidos

O projeto H.R. 9917, chamado AI Kill Switch Act, propõe alterar a Lei de Segurança Interna dos EUA para exigir que determinadas entidades mantenham capacidade técnica de interromper a inferência — isto é, a execução do modelo para gerar respostas —, encerrar o acesso de usuários e desligar tecnologias de IA cobertas pela regra. 49

Trata-se de uma proposta legislativa, não de uma solução já comprovada para todos os problemas de controle. Sua utilidade prática dependeria de o desenvolvedor ainda conseguir identificar, acessar e desativar o sistema relevante durante um incidente grave — justamente o desafio apontado por Coxon para possíveis sistemas distribuídos no futuro.

Estimativas de risco de extinção não são previsões

O pesquisador da Anthropic Evan Hubinger disse avaliar pessoalmente em mais de 10% o risco de a IA causar a extinção humana nos próximos dez anos. Geoffrey Hinton afirmou à BBC que uma probabilidade de 10% não seria “irracional”. 57

Essas são avaliações de especialistas sobre um futuro incerto, e não probabilidades medidas nem um consenso científico. Ainda assim, ajudam a explicar por que a discussão foi além da segurança rotineira de produtos: defensores de controles mais fortes argumentam que mesmo uma chance relativamente baixa de uma catástrofe irreversível justifica proteções robustas.

Por que governos resistem a desligamentos obrigatórios e desacelerações

O governo do Reino Unido rejeitou uma proposta nacional de kill switch, afirmando que o país “não pode simplesmente desligar a IA”. A objeção é prática: bloquear o acesso a modelos no território britânico não impediria seu desenvolvimento ou mau uso em outros lugares. 51

Esse argumento resume o problema geopolítico. Um país pode impor regras às empresas e à infraestrutura sob sua jurisdição, mas o desenvolvimento de IA é internacional. Governos preocupados com competitividade podem temer que restrições unilaterais transfiram investimento, capacidade técnica e influência estratégica para rivais menos limitados.

Por outro lado, defensores de uma governança mais rígida argumentam que esse é justamente o motivo pelo qual compromissos voluntários das empresas e regras nacionais, isoladamente, não bastam. Se os riscos atravessam fronteiras, a fiscalização e os compromissos de segurança também precisam ser internacionalmente confiáveis.

O conflito central: velocidade versus controle

A divergência não separa de forma simples quem é favorável à IA de quem é contra ela.

• Defensores da segurança querem salvaguardas auditáveis, capacidade real de desligamento e limites que impeçam as capacidades de superar a avaliação e o controle.
• Críticos de restrições rígidas argumentam que pausas podem ser difíceis de aplicar globalmente e retardar inovações úteis sem interromper o desenvolvimento em outros países.
• A visão de desenvolvimento condicionado, associada a Coxon, Clark e Amodei, busca manter o avanço da IA, mas exige proteções que possam ser testadas, e não apenas prometidas. 83317

Assim, o kill switch deve ser entendido como uma camada de um sistema de segurança mais amplo — não como seu substituto. Se sistemas avançados se tornarem distribuídos demais para que um único comando os alcance, a supervisão antes da implantação, a avaliação independente e a coordenação internacional se tornam ainda mais importantes.