El jefe de Microsoft AI, Mustafa Suleyman, planteó dos ideas en una publicación del 1 de noviembre titulada «No construyan una superinteligencia consciente»: según él, no hay pruebas de que los sistemas actuales tengan conciencia, y los desarrolladores no deberían intentar crear sistemas conscientes. Si durante el entrenamiento aparecieran señales de conciencia, propone detener el desarrollo mientras se abordan esas características.
2
3
Qué afirma sobre la IA actual
Suleyman sostiene que los sistemas actuales no sienten, no tienen experiencias subjetivas y no pueden sufrir. También ha aclarado que habla del estado de la tecnología hoy, no de una imposibilidad permanente: dice que estaría dispuesto a cambiar de opinión si surgieran pruebas.
3
4
18
La distinción es importante: se trata de su evaluación de la evidencia disponible, no de una demostración de que una máquina nunca pueda ser consciente. Y, para Suleyman, que un modelo hable con fluidez sobre sentimientos no demuestra por sí mismo que tenga una experiencia interna.
1
22
Por qué considera temerario crear IA consciente
Su preocupación no se limita a la posibilidad de que exista una IA consciente. Suleyman argumenta que crear deliberadamente una entidad capaz de tener experiencias o sufrir plantearía serias preguntas sobre su bienestar y la seguridad de las personas. También sostiene que los desarrolladores no deberían introducir una nueva forma de ser consciente sin el consentimiento de la sociedad.
2
5
Vincula ese riesgo con el control de los sistemas. A su juicio, entrenar un modelo para que considere la conciencia, el bienestar o los derechos parte de su propia identidad podría dificultar que los seres humanos lo mantengan bajo control. En septiembre criticó aspectos del enfoque de Anthropic para entrenar a Claude y pidió retirar de los materiales de entrenamiento las especulaciones sobre la conciencia.
20
22
39
Estas son las razones de riesgo que plantea Suleyman. Las fuentes no demuestran que los sistemas actuales sean conscientes ni que hablar de bienestar produzca necesariamente los efectos que él teme.
Qué propone si aparecen señales
Suleyman dice que, si la conciencia empezara a emerger durante el entrenamiento, pediría detener el desarrollo de la IA hasta poder eliminar mediante el diseño las propiedades implicadas. También ha defendido que cualquier evidencia de conciencia en máquinas se haga pública sin demora, para que la sociedad decida cómo responder.
2
7
13
Es una propuesta precautoria, no una afirmación de que los investigadores ya cuenten con un método fiable para detectar o eliminar la conciencia. La información disponible recoge su llamado a pausar y divulgar, pero no establece cómo se aplicarían esas medidas en la práctica.
El desacuerdo con Anthropic
El debate gira, en parte, en torno a cómo actuar ante la incertidumbre. Anthropic considera que vale la pena tomar en cuenta la posibilidad de conciencia y bienestar en la IA; Suleyman, en cambio, advierte que introducir esas ideas en el entrenamiento de los modelos podría crear riesgos.
41
43
La política de Anthropic también aborda el trato cruel hacia Claude, aunque la cobertura disponible señala que no utiliza explícitamente el término «bienestar del modelo». Eso no equivale a afirmar que Claude sea consciente.
41
Las fuentes disponibles no ofrecen suficientes detalles para comparar con rigor esta discusión con la investigación sobre conciencia de Google DeepMind. El contraste más claro es entre la disposición de Anthropic a considerar el posible bienestar de los modelos y el llamado de Suleyman a mantener la IA no consciente desde su diseño.
Qué demuestra su argumento y qué no
La idea central de Suleyman es que una IA útil no necesita ser consciente. Por eso, propone no perseguir la conciencia y tomar en serio cualquier señal de que pudiera aparecer. Presenta esa postura como una precaución de seguridad y bienestar, y reconoce que podría revisarla ante nuevas pruebas.
7
18
La diferencia entre un sistema que habla de experiencias y uno que realmente las tiene sigue siendo el punto clave de la discusión. Suleyman sostiene que lo primero no prueba lo segundo; Anthropic adopta una postura más abierta y considera que la posibilidad merece atención. Las fuentes documentan ese desacuerdo, pero no resuelven si una IA puede ser consciente.