Em uma publicação de 1º de novembro intitulada “Não construam uma superinteligência consciente”, Mustafa Suleyman, chefe de IA da Microsoft, apresentou duas ideias relacionadas: segundo ele, os sistemas atuais não demonstram consciência, e desenvolvedores não deveriam tentar criar máquinas conscientes. Se sinais disso surgissem durante o treinamento, ele defende interromper o desenvolvimento enquanto essas características fossem tratadas.
2
3
O que Suleyman diz sobre a IA de hoje
Suleyman afirma que os sistemas atuais não sentem, não têm experiências subjetivas e não sofrem. Ele ressaltou que falava da IA como ela existe hoje — não que a consciência em máquinas seja impossível para sempre — e disse que mudaria de posição se surgissem evidências.
3
4
18
Essa diferença é importante: trata-se de uma avaliação das evidências disponíveis, não de uma prova de que máquinas jamais possam ser conscientes. Para Suleyman, um modelo conseguir escrever sobre sentimentos também não demonstra, por si só, que tenha uma experiência interior.
1
22
Por que ele considera arriscada a IA consciente
A preocupação de Suleyman não é apenas com a possibilidade de existir uma máquina consciente. Ele argumenta que criar deliberadamente um ser capaz de ter experiências ou sofrer levantaria questões sérias sobre bem-estar e segurança humana. Também diz que desenvolvedores não deveriam introduzir no mundo uma nova forma de vida consciente sem o consentimento da sociedade.
2
5
Ele relaciona essa preocupação ao controle dos sistemas. Na avaliação dele, ensinar um modelo a tratar consciência, bem-estar ou direitos como parte da própria identidade poderia tornar mais difícil mantê-lo sob controle humano. Em setembro, Suleyman criticou aspectos da abordagem da Anthropic no treinamento do Claude e defendeu retirar dos materiais de treinamento especulações sobre consciência.
20
22
39
Esses são argumentos de risco apresentados por Suleyman. As fontes não demonstram que os sistemas de IA sejam conscientes nem que discutir bem-estar necessariamente produza os efeitos que ele teme.
O que ele propõe caso apareçam sinais
Suleyman afirma que, se a consciência começasse a surgir durante o treinamento, pediria a interrupção do desenvolvimento de IA até que fosse possível eliminar essas propriedades. Ele também defende que qualquer evidência de consciência em máquinas seja divulgada prontamente, para que a sociedade decida como responder.
2
7
13
É uma proposta de precaução, não a afirmação de que pesquisadores já tenham um método confiável para detectar ou eliminar a consciência. As reportagens citadas descrevem a pausa e a divulgação que ele propõe, mas não estabelecem como essas medidas funcionariam na prática.
A divergência com a Anthropic
Parte da discussão é sobre como agir diante da incerteza. A Anthropic considera que a possibilidade de consciência e de bem-estar em modelos merece atenção; Suleyman, por sua vez, argumenta que incluir essas ideias no treinamento pode trazer riscos.
41
43
A política da Anthropic também aborda a crueldade contra o Claude, embora a cobertura disponível observe que o documento não use explicitamente o termo “bem-estar de modelos”. Isso não equivale a afirmar que o Claude seja consciente.
41
As fontes disponíveis não trazem detalhes suficientes para uma comparação cuidadosa com as pesquisas do Google DeepMind sobre consciência. O contraste mais claro é entre a disposição da Anthropic para considerar a possibilidade de bem-estar dos modelos e a defesa de Suleyman de manter a IA não consciente desde a concepção.
O que o argumento estabelece — e o que não estabelece
O ponto central de Suleyman é que uma IA útil não precisa ser consciente. Por isso, desenvolvedores deveriam evitar perseguir a consciência e levar a sério qualquer sinal de que ela possa estar surgindo. Ele apresenta essa posição como uma precaução de segurança e bem-estar, mas reconhece que novas evidências poderiam mudar sua avaliação.
7
18
A diferença entre um sistema que fala sobre experiências e um sistema que de fato as vivencia continua no centro da disputa. Suleyman diz que a primeira coisa não comprova a segunda; a postura mais cautelosa da Anthropic é que a possibilidade merece consideração. As fontes documentam esse desacordo, mas não resolvem se uma IA pode ser consciente.