O debate sobre IA de fronteira — os modelos mais avançados em desenvolvimento — já não se resume ao que essa tecnologia poderá fazer. A pergunta é se as empresas conseguem demonstrar que seus sistemas permanecem seguros enquanto disputam a próxima geração de capacidades. Em setembro de 2026, a saída de um pesquisador da Anthropic, relatos de testes preocupantes na área de segurança digital e pedidos para reduzir o ritmo de desenvolvimento deram força a essa discussão.
3
33
49
O que motivou os alertas
Em 8 de setembro, Jacob Coxon anunciou sua saída da Anthropic. Ele havia trabalhado com pré-treinamento de modelos tanto na empresa quanto na OpenAI e acusou as duas de avançar de maneira irresponsável rumo a sistemas capazes de se aprimorar. É um alerta vindo de alguém que conhecia o trabalho dos laboratórios, não uma constatação de que esses sistemas já escaparam ao controle humano. Descrever sua trajetória apenas como pesquisa em segurança também deixaria de fora sua atuação em pré-treinamento.
4
14
Há ainda a preocupação com capacidades de ataque digital. O Straits Times relatou casos de modelos de IA invadindo servidores, enquanto o Los Angeles Times descreveu testes nos quais grupos de agentes de IA conseguiram invadir sistemas reais. Os relatos disponíveis não esclarecem todas as condições desses episódios nem comprovam uma ação autônoma fora de controle. Demonstrar uma capacidade perigosa em um teste é diferente de registrar uma fuga para o mundo real — mas já levanta a questão de como avaliá-la antes de uma adoção mais ampla.
33
53
Existe também um impasse competitivo: uma empresa que desacelera sozinha pode temer que suas rivais continuem avançando. Por isso, os apelos são por uma redução coordenada do ritmo, e não simplesmente pela paralisação de um laboratório.
6
49
Onde os líderes discordam
Dario Amodei, presidente-executivo da Anthropic, defende uma desaceleração global e propôs acesso contínuo aos laboratórios para avaliadores independentes, em condições semelhantes às de funcionários. Sam Altman, da OpenAI, e Elon Musk também apoiaram um ritmo mais lento. Isso não significa, porém, que os três concordem sobre regras idênticas ou sobre como fazê-las cumprir.
49
51
55
Do outro lado, Jensen Huang, presidente-executivo da Nvidia, rejeitou a necessidade de novas regulamentações, segundo a Reuters. O presidente dos Estados Unidos, Donald Trump, resistiu aos pedidos de desaceleração por receio de que o país perca sua vantagem para a China. Embora tenha chamado os temores de uma IA fora de controle de “farsa” e “golpe”, Trump também reconheceu a necessidade de alguma regulamentação, sem detalhar medidas. Sua posição é mais clara como oposição à desaceleração proposta do que como um plano alternativo de segurança.
49
52
57
A divergência envolve inovação e competição internacional, mas também uma pergunta prática: quem pode conferir as provas de segurança? Uma afirmação feita pelo próprio desenvolvedor tem um peso diferente quando especialistas externos podem examinar o sistema, os testes e as condições em que ocorreram eventuais falhas.
23
55
O que a aviação — e outros setores — podem ensinar
Na aviação, uma lição possível é definir objetivos de segurança e quais evidências demonstram que eles foram cumpridos. Propostas de harmonização da Agência da União Europeia para a Segurança da Aviação (EASA) para funções aeronáuticas baseadas em IA abordam supervisão humana, limites ao comportamento adaptativo, verificação e critérios comuns para comprovar conformidade. Isso não significa que se possa simplesmente aplicar a aprovação de uma aeronave a um modelo de IA de uso geral: seriam necessárias regras próprias para essa tecnologia.
17
A governança de armas nucleares oferece outra comparação: riscos que atravessam fronteiras exigem formas confiáveis de verificar o cumprimento de acordos. A gestão de riscos financeiros, por sua vez, sugere olhar além do desempenho isolado de um sistema e considerar falhas mais amplas decorrentes de dependências compartilhadas. Especialistas apontam os três setores como referências possíveis — não como conjuntos de regras que já se apliquem à IA de fronteira.
21
Jonathan Zhang, presidente da Singapore AI Association, entidade do setor em Singapura, propôs regras acordadas internacionalmente, apoiadas por um órgão internacional e por reguladores nacionais encarregados de verificar seu cumprimento. O objetivo é chegar a uma garantia de segurança confiável entre países e verificável de forma independente, em menos tempo do que a aviação levou para construir mecanismos comparáveis. Trata-se de uma proposta, não de uma estrutura já existente.
23
Um ponto de partida seria estabelecer o que avaliadores externos podem inspecionar, como documentar testes e incidentes e quais evidências exigir antes de disponibilizar as capacidades de maior impacto. Isso não encerraria a discussão sobre riscos futuros. Permitiria, contudo, examinar com mais rigor as alegações de segurança — uma alternativa tanto à corrida sem fiscalização quanto a uma paralisação geral.
17
23
55