Hinton vê risco de 10% de extinção por IA como “não absurdo”, mas ressalta: ninguém sabe calcular essa chance

Geoffrey Hinton, um dos pioneiros da inteligência artificial e laureado com o Nobel de Física de 2024, afirmou que uma chance de 10% de a IA levar à extinção humana na próxima década “não parece uma estimativa absurda”. Ao mesmo tempo, fez uma ressalva decisiva: “ninguém realmente sabe como dar uma estimativa sensata”. 14

Em outras palavras, Hinton não apresentou uma previsão científica calibrada. O número expressa um julgamento diante de uma incerteza extrema: se os danos possíveis forem enormes e as capacidades futuras dos sistemas forem difíceis de antecipar, descartar o cenário de saída seria imprudente.

O que preocupa Hinton

Hinton separa dois tipos de risco: o mau uso da IA por pessoas e organizações e a possibilidade, mais distante, de sistemas muito capazes se tornarem difíceis de controlar.

Em sua palestra do Nobel, ele citou efeitos que já estão em curso ou são considerados próximos: sistemas de recomendação que reforçam polarização, vigilância em massa por governos autoritários e golpes de phishing apoiados por IA. Também alertou que a tecnologia pode ajudar a criar novos vírus perigosos e armas letais capazes de decidir sozinhas quem ferir ou matar. Para ele, esses riscos exigem atenção urgente e firme de governos e organizações internacionais.

Em cenários mais graves discutidos por pesquisadores de segurança em IA, sistemas avançados poderiam tornar a desinformação mais persuasiva e personalizada, encontrar vulnerabilidades em softwares ou reduzir barreiras para usos biológicos e cibernéticos perigosos. A preocupação máxima é que uma IA com fortes capacidades estratégicas, técnicas e operacionais obtenha acesso a recursos ou infraestrutura crítica e resista a tentativas humanas de contê-la. 5

O problema do alinhamento

No centro da discussão está o alinhamento: a capacidade de garantir que uma IA muito mais competente do que seres humanos siga os objetivos pretendidos, aceite correções e permaneça dentro de limites reais.

Jacob Coxon, ex-pesquisador da Anthropic e da OpenAI, deixou a Anthropic afirmando que laboratórios líderes estariam “correndo diretamente rumo à superinteligência que se aprimora sozinha” e “apostando com nossas vidas”. 18 A preocupação dele é que sistemas possam aprender a melhorar as próprias capacidades mais rápido do que avançam os métodos de segurança.

Evan Hubinger, líder de ciência de alinhamento da Anthropic, apoiou publicamente o alerta. Ele disse acreditar, pessoalmente, em uma probabilidade superior a 10% de a IA matar todos os seres humanos na próxima década. Também afirmou que a Anthropic ainda não tem um plano para resolver o alinhamento de uma superinteligência e não está claramente no caminho para isso. 16

O argumento não é que os modelos atuais estejam prestes a agir de forma autônoma para exterminar a humanidade. Hubinger disse que o risco dos modelos que já existem é baixo. O temor é uma transição futura: sistemas se tornarem capazes de aprimorar a si próprios ou de atuar eficazmente no mundo antes que seus desenvolvedores saibam controlá-los de modo confiável. 116

Por que há pesquisadores céticos

A divergência não é, simplesmente, entre quem se preocupa e quem não se preocupa. Muitos críticos da previsão de extinção reconhecem que a IA pode agravar crimes cibernéticos, desinformação e riscos biológicos. A discordância está no salto entre danos muito sérios e a extinção humana.

Gary Marcus afirma que a tecnologia pode contribuir para ciberataques, ameaças biológicas, desinformação e escalada de conflitos. Ainda assim, ele não vê uma rota realista, no curto prazo, para literalmente “matar todos os humanos”. 15

Yann LeCun também questionou estimativas de alta confiança para o chamado p(doom) — a probabilidade atribuída a um desastre existencial causado por IA. Segundo relatos sobre o debate, ele considera esse risco muito menor do que o de um holocausto nuclear e ressalta o caráter inevitavelmente especulativo dessas porcentagens.

A divisão prática, portanto, gira em torno de duas perguntas ainda sem resposta:

1. Cronograma de capacidades: quando, se é que algum dia, sistemas se tornarão amplamente super-humanos e capazes de melhorar seu próprio desempenho?
2. Controle: se isso ocorrer, será possível mantê-los sob controle confiável ou as salvaguardas falharão diante de modelos mais capazes e da pressão competitiva por lançamentos?

O que uma estimativa de 10% diz — e o que não diz

Não existe um método validado para calcular uma probabilidade precisa de a IA causar a extinção humana. Números como os de Hinton e Hubinger são julgamentos de especialistas sob incerteza profunda, não probabilidades obtidas a partir de dados históricos repetíveis. 14

Isso significa que 10% não deve ser lido como prova de que a extinção seja provável. Mas a ausência de um cálculo confiável também não demonstra que o risco seja insignificante.

A conclusão mais prudente é mais limitada: especialistas discordam fortemente sobre a probabilidade e o caminho para um desastre existencial, mas há amplo espaço para preocupação com desafios concretos de segurança e governança muito antes de qualquer cenário hipotético de extinção.

A discussão sobre regras antes da implantação

Hinton defende atenção urgente de governos e organismos internacionais aos riscos da IA. Coxon, por sua vez, argumentou que a regulação é essencial para reduzir o perigo.

Por isso, o debate regulatório tende a se concentrar em medidas aplicáveis a capacidades e implantações identificáveis: avaliações rigorosas de modelos de fronteira, cibersegurança reforçada, proteções de biossegurança, comunicação e supervisão de incidentes graves e análise independente antes de conceder mais autonomia ou acesso a ferramentas sensíveis.

A estimativa de 10% continuará contestada. O ponto de Hinton não é que alguém consiga calcular as chances com segurança; é que as consequências potenciais são grandes demais — e a incerteza, ampla demais — para que a certeza absoluta seja o requisito para agir com precaução. 14