Por qué investigadores de seguridad de IA piden bajas o dejan sus puestos

La causa inmediata es el choque entre la presión moral y la presión institucional. Quienes prueban modelos de IA de frontera temen que esos sistemas —y la carrera por lanzarlos— puedan facilitar daños biológicos o cibernéticos antes de que las salvaguardas, la supervisión y la capacidad de evaluación estén preparadas.

Según informaciones recogidas sobre el Instituto de Seguridad de la IA del Reino Unido (AISI, por sus siglas en inglés), varios empleados han solicitado bajas médicas o asesoramiento psicológico por malestar mental. Las fuentes citadas apuntan a calendarios de pruebas muy exigentes, baja moral y agotamiento. También se han descrito inquietudes similares entre investigadores de grandes laboratorios, aunque la evidencia pública disponible no permite establecer cuán extendido está el problema en cada organización. 15

Riesgos que perciben como cercanos y graves

Las preocupaciones no se limitan a una hipótesis lejana. Investigadores temen que modelos más capaces reduzcan la barrera para cometer ciberataques o para usos indebidos en el ámbito biológico. A ello se suma un escenario de más largo plazo: sistemas cada vez más autónomos que resulten difíciles de supervisar de forma efectiva.

Jacob Coxon, investigador que trabajó en preentrenamiento tanto en OpenAI como en Anthropic, señaló específicamente las amenazas biológicas potenciadas por IA y las ciberarmas como posibles vías hacia una catástrofe. Tras dimitir de Anthropic, acusó a ambas compañías de competir por una superinteligencia capaz de mejorarse a sí misma sin actuar de manera responsable. 14 En declaraciones a la BBC, Coxon dijo que personas dentro de los principales laboratorios estaban «genuinamente asustadas» por la velocidad de los avances y sus consecuencias. 9

El dilema de trabajar en los sistemas que se intentan contener

Para el personal de seguridad, el riesgo no es una cuestión puramente teórica. Su labor consiste en evaluar, entrenar o contribuir al despliegue de los mismos sistemas que consideran potencialmente peligrosos. Si los plazos de prueba son ajustados y la competencia comercial continúa, identificar un problema sin tener poder suficiente para frenar un lanzamiento puede generar impotencia, desgaste y un conflicto ético profundo.

Esto no demuestra que una catástrofe sea inminente. Sí muestra que algunas personas situadas muy cerca del desarrollo de IA de frontera consideran psicológica y éticamente insoportable la combinación de capacidades aceleradas, riesgos de doble uso, incentivos competitivos y controles externos insuficientes. 15

Frenar la carrera no depende de una sola empresa

El debate ha pasado de cómo hacer segura una IA cada vez más potente a si los laboratorios rivales deberían coordinarse para ralentizar el desarrollo de capacidades. Dario Amodei, de Anthropic; Sam Altman, de OpenAI; y Demis Hassabis, de Google DeepMind, entre otros, han expresado con distintos matices su apoyo a moderar el ritmo de la IA de frontera. 2

Sin embargo, un freno generalizado sería difícil de lograr. Expertos de Stanford HAI han subrayado, en cambio, la necesidad de reforzar la inversión en seguridad, ciberseguridad y monitorización, así como de normalizar evaluaciones independientes realizadas por gobiernos o terceros cualificados. 3

También existe un problema de credibilidad. Críticos advierten que una «pausa» diseñada o vigilada por las empresas dominantes podría consolidar su poder y perjudicar a competidores más pequeños. 11 Por eso, la prueba relevante no es solo el discurso: son medidas comprobables, como retrasar lanzamientos, permitir auditorías independientes, establecer umbrales exigibles de riesgo, proteger a denunciantes y aceptar límites impuestos desde fuera.

La automatización de la investigación aumenta la sensación de pérdida de control

La inquietud tampoco parte de que la IA ya se haya mejorado recursivamente por sí sola: no lo ha hecho. 6 El temor es que pueda automatizar partes crecientes de la investigación y la ingeniería, acortando los ciclos de desarrollo y haciendo que las capacidades avancen más deprisa de lo que los equipos humanos pueden comprender, probar y gobernar.

Un análisis del Center for Security and Emerging Technology (CSET) advierte de que una automatización elevada de la I+D en IA podría acelerar el progreso y dificultar el control humano. 4 A la vez, un estudio reciente concluyó que los agentes actuales podían completar una parte importante de la ingeniería de investigación sin ayuda humana, pero no lograban avances sustanciales en preguntas científicas abiertas. 5

La tensión, por tanto, no surge de una certeza sobre el peor desenlace, sino de una brecha que algunos trabajadores perciben como cada vez mayor: la distancia entre la rapidez con la que se construyen nuevas capacidades y la capacidad real de evaluarlas, regularlas y decidir si deben desplegarse.