Un «botón de apagado» para la IA podría no bastar para mantener el control humano

Un «botón de apagado» para la inteligencia artificial parece una medida intuitiva: si un sistema se vuelve peligroso, se desconecta. Pero el debate ya no gira solo en torno a si una empresa puede apagar un modelo desde sus propios servidores. La cuestión decisiva es si ese mecanismo seguiría funcionando cuando los sistemas más avanzados estén repartidos entre infraestructuras, servicios y agentes autónomos.

El aviso de Jacob Coxon: hoy podría funcionar, mañana quizá no

Jacob Coxon, exinvestigador de Anthropic y OpenAI, afirmó en Meet the Press de NBC News que un mecanismo de apagado probablemente funcionaría para muchas IA actuales. Sin embargo, advirtió de que no equivaldría a pulsar un único botón: habría que detener numerosos componentes desplegados y grandes centros de datos. Es una operación compleja, aunque factible mientras el sistema siga limitado a una ubicación física. 8

Su preocupación está en la siguiente fase. Si una IA llega a actuar como una «colmena» autónoma y distribuida, una orden centralizada de apagado podría dejar de ser técnicamente eficaz. Un control de este tipo solo sirve si puede alcanzar todas las instancias activas del sistema.

Tras abandonar Anthropic, Coxon alertó de que los principales laboratorios compiten por desarrollar sistemas capaces de mejorarse a sí mismos pese al riesgo de que terminen siendo imposibles de controlar. 150

No basta con que la empresa prometa que puede apagarla

Jack Clark, cofundador de Anthropic, ha planteado que la capacidad de desactivar una IA peligrosa podría acabar siendo una exigencia legal, y no solo un compromiso voluntario de la compañía que la creó. En declaraciones a la BBC, señaló que la mayoría de los grandes laboratorios —incluido Anthropic— ya cuentan con métodos para desconectar sus sistemas, pero se preguntó si un tercero independiente debería poder verificar ese mecanismo. 33

La diferencia no es menor: que una empresa asegure disponer de un protocolo de emergencia no equivale a que un evaluador externo pueda confirmar que existe, que está bien diseñado y que funcionaría en una situación crítica.

La propuesta de Dario Amodei: avanzar al ritmo que permita la seguridad

El director ejecutivo de Anthropic, Dario Amodei, propuso un marco para evitar que las capacidades de la IA de frontera —los modelos más avanzados— progresen más rápido que las salvaguardas. Su plan se articula en tres puntos:

1. Evaluadores independientes integrados: las empresas de IA de frontera darían a expertos externos acceso continuo, comparable al de un empleado, a sistemas y prácticas de seguridad relevantes. Su tarea sería comprobar compromisos y comunicar problemas.
2. Estándares compartidos entre países democráticos: los desarrolladores líderes coordinarían normas comunes de seguridad y límites al crecimiento de capacidades sin supervisión.
3. Coordinación internacional: los gobiernos cooperarían más allá de sus fronteras ante riesgos que ninguna empresa ni país puede contener de forma fiable por sí solo. 17

No se trata de detener toda investigación en IA. El planteamiento es que el progreso dependa de controles que puedan ser examinados por actores ajenos a las empresas que desarrollan los modelos.

Quiénes respaldaron la idea

Reuters informó de que Sam Altman, consejero delegado de OpenAI, y Elon Musk, responsable de xAI, apoyaron públicamente la dirección general de la propuesta de Amodei. Altman dijo que OpenAI adoptaría la idea de evaluadores independientes con acceso similar al de empleados; Musk afirmó: «Dario tiene razón». 17

También se ha informado de que Demis Hassabis, consejero delegado de Google DeepMind, consideró acertada la dirección de la propuesta. 30 En cambio, las fuentes disponibles no establecen una respuesta concreta y atribuible de Satya Nadella, consejero delegado de Microsoft, por lo que no corresponde caracterizar su posición.

Qué plantea el AI Kill Switch Act de Estados Unidos

La iniciativa H.R. 9917, denominada AI Kill Switch Act, modificaría la Ley de Seguridad Nacional de 2002 para exigir a determinadas entidades que mantengan capacidades técnicas para detener la inferencia —la ejecución operativa de un modelo—, cancelar el acceso de usuarios y apagar tecnología de IA cubierta por la norma. 49

Es una propuesta legislativa, no una solución ya demostrada para todos los problemas de control de la IA. Su utilidad práctica dependería de que el desarrollador todavía pueda identificar, localizar y desactivar el sistema afectado durante un incidente grave: precisamente el desafío que Coxon plantea para sistemas futuros más distribuidos.

Las estimaciones de riesgo de extinción no son pronósticos

Evan Hubinger, investigador de Anthropic, dijo que su valoración personal situaba por encima del 10 % el riesgo de extinción humana causada por IA durante la próxima década. Geoffrey Hinton declaró a la BBC que una probabilidad del 10 % «no es irrazonable». 57

No son probabilidades medidas ni representan un consenso científico; son juicios de expertos sobre un futuro muy incierto. Aun así, ayudan a explicar por qué el debate ha dejado de limitarse a la seguridad ordinaria de productos. Quienes reclaman controles más fuertes sostienen que incluso una posibilidad reducida de una catástrofe irreversible justifica salvaguardas sustanciales.

Por qué algunos gobiernos rechazan mandatos de apagado o ralentización

El Gobierno del Reino Unido ha rechazado una propuesta de interruptor nacional para IA. Su argumento es práctico: el país «no puede simplemente apagar la IA»; bloquear el acceso a modelos dentro de Reino Unido no impediría que se desarrollaran o utilizaran indebidamente en otros lugares. 51

Ese razonamiento resume el problema geopolítico. Un Estado puede imponer normas a empresas e infraestructuras dentro de su jurisdicción, pero el desarrollo de IA es internacional. Los gobiernos preocupados por la competitividad pueden temer que unas restricciones unilaterales trasladen inversión, capacidad técnica y ventaja estratégica a rivales con menos límites.

Para los defensores de una gobernanza más estricta, esta es precisamente la razón por la que los compromisos corporativos voluntarios y las normas nacionales no bastan por sí solos. Si los riesgos cruzan fronteras, argumentan, la supervisión y los compromisos de seguridad también deben ser internacionalmente creíbles.

El conflicto de fondo: velocidad frente a control

La división no separa de forma simple a quienes apoyan la IA de quienes se oponen a ella.

• Los defensores de la seguridad reclaman salvaguardas inspeccionables de manera independiente, una capacidad real de apagado y límites que impidan que las capacidades avancen más rápido que la evaluación y el control.
• Los críticos de restricciones rígidas sostienen que las pausas serían difíciles de aplicar a escala mundial y podrían frenar innovaciones valiosas sin impedir que el desarrollo continúe en otros lugares.
• La postura de desarrollo condicionado, representada por Coxon, Clark y Amodei, busca seguir avanzando en IA, pero solo con medidas de seguridad que puedan probarse, no simplemente prometerse. 83317

En ese contexto, el «botón de apagado» debe entenderse como una capa dentro de un sistema de seguridad más amplio, no como su sustituto. Si los sistemas avanzados terminan siendo demasiado distribuidos como para que un único mecanismo pueda alcanzarlos, la supervisión previa al despliegue, la evaluación independiente y la coordinación internacional serán aún más importantes.