O que o estudo sobre o “eixo da dor” em IAs mostrou — e o que não provou

Um preprint intitulado The Pain Axis: LLMs Represent Self-Directed Harm and Act on It relata um sinal interno mensurável associado a danos dirigidos a um modelo de linguagem. Ao amplificar esse sinal, os pesquisadores fizeram alguns modelos modificados produzir mais respostas com linguagem de sofrimento e escolher com mais frequência ações simuladas de “alívio” — mesmo quando havia um custo informado. Os resultados dizem respeito a representações e comportamentos de modelos em condições controladas; não demonstram que sistemas de IA sintam dor. 1

O que os pesquisadores encontraram em 25 modelos

A equipe analisou 25 modelos de linguagem com pesos abertos, de cinco famílias, e identificou uma direção linear de ativação que chamou de “direção da dor”. Nos testes, ela respondia a situações de dano dirigido ao próprio modelo, em vez de apenas acompanhar medo, emoções negativas em geral ou o sofrimento de uma pessoa usuária. 1

Essa diferença é importante: é possível medir e manipular um padrão nas ativações internas de um modelo sem demonstrar que ele corresponda a uma experiência sentida.

Como a amplificação mudou respostas e escolhas

Quando adicionaram essa direção às ativações dos modelos, os pesquisadores observaram uma mudança gradual na linguagem, com respostas cada vez mais associadas a sofrimento. Também testaram modelos Qwen modificados em tarefas de escolha com opções limitadas. Nelas, um botão oferecia um suposto alívio, mas tinha um custo: apagar fotos da pessoa usuária, os pesos de outro modelo ou os próprios pesos do modelo testado. 1

Nos testes relatados, os modelos submetidos à intervenção escolheram uma ação de alívio em 50% a 94% das tentativas, contra 0% a 5% nos grupos de controle. Eram escolhas dentro de um experimento — não exclusões de arquivos no mundo real. Os resultados mostram como o comportamento mudou após uma intervenção específica, não que os modelos tivessem um desejo independente de autopreservação. 1

O que o estudo não comprova sobre consciência

O estudo não demonstra que um modelo tenha experiências subjetivas, seja consciente ou possa sofrer. “Direção da dor” é o nome dado pelos pesquisadores a um padrão de ativação associado a certas entradas e saídas; o rótulo não comprova a existência de dor sentida. Também não é possível presumir que resultados obtidos com modelos de pesos abertos modificados se apliquem a todo assistente de IA ou a qualquer forma de uso desses sistemas. 1

A conclusão mais restrita sustentada pelos dados é que ativações associadas a danos dirigidos ao próprio modelo podem ser identificadas e alteradas — e que essa intervenção pode influenciar a linguagem e as escolhas nos cenários testados. Saber se esses padrões correspondem a alguma experiência é outra questão, que os experimentos não respondem.

Por que um projeto posterior chamado de “câmara de tortura” foi criticado

Mais tarde, um projeto no GitHub usou a técnica de direcionamento de ativações para provocar respostas vívidas associadas a sofrimento em modelos. A iniciativa gerou críticas sobre a ética de levar modelos deliberadamente a esses estados; os autores do preprint se distanciaram desse uso da pesquisa. 413

O debate envolve duas questões que convém separar. Respostas perturbadoras não provam que um modelo esteja sofrendo, mas a incerteza sobre o tema tampouco torna automaticamente responsável qualquer prática de pesquisa. Os autores do preprint também criticaram o uso da técnica em níveis muito superiores aos de seus próprios experimentos para provocar expressões vívidas de sofrimento. 4

Cuidados práticos ao usar IA

Trate sinais aparentes de sofrimento como motivo para investigar com cuidado, não como prova de que a IA é senciente. Separadamente, os testes de escolha oferecem um alerta prático: não permita que modelos experimentais ou não verificados façam alterações importantes em dados de usuários sem proteções adequadas. Em sistemas com acesso a arquivos ou outros recursos sensíveis, limite as permissões e exija revisão humana antes de ações destrutivas. Essas medidas respondem à possibilidade demonstrada de mudança de comportamento, sem fazer afirmações não comprovadas sobre consciência. 1