Sam Altman alerta para dois riscos da IA: perda de controle e poder concentrado

A inteligência artificial poderosa pode dar errado para a sociedade por dois caminhos distintos, segundo Sam Altman, CEO da OpenAI: os humanos podem perder o controle de sistemas cada vez mais capazes, ou esse controle pode ficar concentrado nas mãos de poucos. O alerta junta segurança técnica e governança política: não basta discutir o que os modelos conseguem fazer; é preciso discutir quem decide como eles serão usados. 1316

Os dois cenários que Altman diz ser preciso evitar

1. A perda do controle humano. Altman alertou para a possibilidade de a humanidade “perder o controle do futuro para a IA”, resultado que classificou como inaceitável. O princípio, segundo ele, é que a IA deve servir às pessoas — e não tornar as pessoas dependentes de sistemas que não conseguem supervisionar de forma adequada. 216

2. A concentração de poder em torno da IA. O outro risco, para Altman, seria uma IA extraordinariamente poderosa sob o controle de uma única pessoa, empresa ou país, usada para impor a visão de mundo desse agente aos demais. Ele descreveu esse resultado como potencialmente “extremamente distópico”. 113

São problemas ligados, mas diferentes. O primeiro envolve a capacidade de humanos entenderem, limitarem e interromperem sistemas avançados. O segundo trata de quem tem autoridade para usar esses sistemas — mesmo que eles permaneçam, em tese, controláveis.

Quais proteções Altman defende?

A posição pública de Altman não é simplesmente interromper o desenvolvimento de IA. Ele defende que o avanço das capacidades não ultrapasse o progresso em alinhamento e monitoramento — isto é, técnicas para fazer os sistemas seguirem objetivos e limites definidos por humanos e para avaliar seu comportamento. A competição, diz ele, não pode servir de justificativa para implantações imprudentes. 213

Entre as medidas que ele destacou estão:

• Alinhamento e monitoramento acompanhando o ganho de capacidade. Desenvolvedores precisam conseguir avaliar e controlar de maneira significativa o comportamento de sistemas cada vez mais capazes. 213
• IA a serviço das pessoas. Esse é o objetivo central por trás de seu alerta sobre perda de controle. 216
• Regras federais consistentes para IA de fronteira. Altman apoiou um marco regulatório federal nos Estados Unidos para lidar com riscos de modelos de ponta, em vez de depender apenas de compromissos voluntários e fragmentados. 1316
• Fiscalização independente. Ele citou auditorias independentes como um mecanismo promissor para reforçar a confiança pública em empresas que desenvolvem modelos cada vez mais capazes. 16

Na prática, a consequência é elevar o nível de comprovação exigido dos sistemas mais avançados: as medidas de segurança devem ser testadas e consideradas confiáveis antes de decisões de lançamento, não como correção posterior.

Os alertas da Anthropic tornam o debate mais explícito

Na mesma semana, o ex-pesquisador da Anthropic Jacob Coxon alertou que laboratórios líderes estariam correndo em direção a uma IA capaz de se aprimorar sozinha, enquanto “apostam com nossas vidas”. Reportagens sobre sua saída da empresa disseram que ele acredita que pesquisadores que criam esses sistemas temem seriamente que eles se tornem poderosos demais para o controle humano. 17

O tom é mais direto do que o de Altman, mas a preocupação de fundo se sobrepõe: o avanço das capacidades pode superar a habilidade de supervisionar os sistemas de modo confiável. Em uma troca pública relatada pela imprensa, Evan Hubinger, líder de alinhamento da Anthropic, estimou pessoalmente uma chance superior a 10% de a IA causar a extinção humana em uma década e reconheceu que ainda não há uma solução completa para o alinhamento de uma superinteligência. Trata-se de uma avaliação individual de risco, não de uma previsão estabelecida nem de uma probabilidade aceita pela ciência. 17

O ponto principal não é que uma data específica para a extinção humana tenha sido comprovada — não foi. É que pesquisadores próximos ao desenvolvimento de modelos de fronteira questionam publicamente se as práticas de segurança atuais estão avançando rápido o bastante.

A divergência real: capacidade primeiro ou segurança primeiro?

O conflito costuma ser apresentado como uma disputa entre acelerar ou frear a IA, mas essa descrição é incompleta. A maioria dos envolvidos reconhece que a tecnologia pode trazer benefícios importantes. O desacordo está na sequência e na força das regras.

Uma corrente defende que o desenvolvimento de fronteira seja cadenciado para dar tempo à pesquisa em segurança, às avaliações, à governança e às respostas a possíveis usos indevidos. Dario Amodei, CEO da Anthropic, pediu uma redução no ritmo de avanço das capacidades e propôs medidas como avaliadores independentes com acesso interno, coordenação entre laboratórios de ponta e cooperação internacional.

A pressão no sentido oposto é concreta: empresas e governos receiam que avançar mais devagar que rivais represente perda de vantagem econômica ou geopolítica. Ainda assim, Altman sustenta que a competição não justifica deixar as capacidades ultrapassarem o alinhamento e o monitoramento. 13

A Reuters informou que alguns pesquisadores acreditam que as capacidades dos modelos estão chegando mais rápido do que o esperado, enquanto a visibilidade humana sobre seu funcionamento — e o potencial de controle — diminui. Isso torna urgente a questão central: laboratórios devem continuar colocando no mercado modelos progressivamente mais autônomos enquanto as salvaguardas tentam alcançá-los, ou precisam primeiro demonstrar que essas proteções são suficientes?

O que isso muda na governança da IA

Os dois alertas de Altman indicam que a governança de IA de fronteira precisa tratar tanto do controle técnico quanto da distribuição de poder. Avaliações melhores, pesquisa de alinhamento, monitoramento e supervisão externa respondem ao primeiro problema. Regras consistentes, transparência e limites ao controle unilateral ajudam a enfrentar o segundo.

Previsões catastróficas e cronogramas precisos não devem ser tratados como fatos consolidados. Mas a gravidade potencial de uma falha explica por que exigências por avaliações mais rigorosas, escrutínio externo e requisitos de segurança deixaram de ser um tema restrito e passaram ao centro do debate sobre IA. 13