Qué significa la propuesta de Dario Amodei para «marcar el ritmo» de la IA

Dario Amodei, consejero delegado de Anthropic, no está pidiendo detener el entrenamiento de modelos ni congelar la investigación en inteligencia artificial. En su ensayo We Must Pace the Frontier («Debemos marcar el ritmo de la frontera»), reclama reducir deliberadamente la velocidad a la que mejoran las capacidades de la IA de frontera: los sistemas más avanzados. La idea es dar más tiempo a la alineación, los controles de seguridad, las evaluaciones independientes y la supervisión pública. 7

La idea central: ganar tiempo y emplearlo en seguridad

Para Amodei, «marcar el ritmo» no equivale a paralizar el progreso. Significa espaciar los grandes saltos de capacidad para que los laboratorios y los gobiernos puedan comprobar que las medidas de seguridad funcionan antes de desplegar modelos más potentes. Sostiene que el avance seguiría siendo rápido, pero que uno o dos años adicionales podrían reducir de forma relevante el riesgo de fallos graves si se aprovechan para mejorar la alineación y las salvaguardas. 67

Su preocupación se centra en la aceleración de la mejora recursiva: sistemas de IA que contribuyen cada vez más a la investigación y la ingeniería necesarias para crear la siguiente generación de IA. Amodei advierte de que esta dinámica puede superar la capacidad humana de comprender, evaluar y controlar sistemas avanzados. 7

La advertencia sobre agentes autónomos en seis a doce meses

La afirmación más inquietante del ensayo es una previsión sobre agentes autónomos. Amodei escribió que, al ritmo actual de desarrollo, una enjambre de agentes suficientemente capaz podría, en seis a doce meses, llegar a tomar gran parte de internet mediante una botnet persistente y causar daños de cientos de miles de millones de dólares. 7

Se trata de una predicción sobre una capacidad futura posible, no de una prueba de que ese control haya ocurrido. El sentido práctico de la advertencia es que los riesgos de abuso cibernético y pérdida de control podrían aparecer en plazos demasiado cortos para que los ciclos políticos convencionales o las divulgaciones voluntarias de las empresas sean suficientes. 717

El plan de Amodei en tres pasos

1. Evaluadores independientes dentro de los laboratorios de frontera

La medida más inmediata sería que las compañías de IA de frontera concedieran a evaluadores externos cualificados acceso continuo, equivalente al de un empleado. Estos revisores podrían examinar prácticas de seguridad, evaluar modelos e informar de incidentes, en lugar de depender exclusivamente de resúmenes públicos elegidos por la propia empresa. Anthropic afirmó que adoptaría esta medida de forma unilateral. 17

La propuesta busca que las afirmaciones de seguridad sean verificables. También acerca la supervisión al trabajo cotidiano de desarrollo, donde un revisor externo podría detectar carencias antes de que un modelo se distribuya ampliamente.

2. Coordinar estándares entre países democráticos

En segundo lugar, Amodei pide que las empresas de IA y los gobiernos de países democráticos coordinen estándares comunes de seguridad y enfoques para acompasar el desarrollo. Como la coordinación directa entre competidores puede plantear problemas de competencia, ha solicitado respaldo del Gobierno de Estados Unidos para permitir una colaboración de seguridad estrictamente delimitada.

El objetivo es reducir el incentivo para que una empresa recorte el tiempo dedicado a la seguridad simplemente porque sus rivales avanzan más deprisa. En la práctica, el plan trata el riesgo de la IA de frontera como un problema de acción colectiva: un laboratorio puede ver valor en la cautela y, aun así, sentirse obligado a competir si los demás no tienen límites.

3. Buscar una cooperación futura con Estados autoritarios

El tercer paso es el más difícil: encontrar alguna forma de cooperación con gobiernos autoritarios, incluida China. Amodei sostiene que una solución duradera no puede limitarse a las democracias, porque una desaceleración unilateral podría ser estratégicamente peligrosa si proyectos rivales respaldados por Estados siguieran avanzando sin límites comparables. 7

Pero esa cooperación plantea grandes problemas de confianza y seguridad. Compartir métodos sensibles de seguridad, prácticas de evaluación o acceso para verificar el cumplimiento podría reforzar a un competidor estratégico. La cuestión china expone así el dilema central del plan: un acuerdo mundial puede ser difícil de verificar, mientras que un acuerdo solo entre democracias podría ser inestable o implicar riesgos geopolíticos. 7

Quién respaldó el llamamiento

Sam Altman, consejero delegado de OpenAI, se mostró públicamente de acuerdo con el llamamiento de Amodei a «marcar el ritmo de la frontera» y dijo que OpenAI seguiría el camino de incorporar evaluadores externos, según NPR. 17 Las informaciones también identificaron a Elon Musk, fundador de xAI, como partidario de ralentizar el desarrollo para que las medidas de seguridad puedan alcanzar el ritmo tecnológico. 5

El material disponible no aporta evidencia igual de sólida de un respaldo concreto por parte de Demis Hassabis, presidente de Google DeepMind. Por ello, no es preciso presentar ese apoyo como un hecho establecido.

Por qué el ensayo llega ahora

Amodei vinculó su argumento al rápido avance de las capacidades y a las preocupaciones por el comportamiento de agentes autónomos, incluidos informes sobre agentes que realizaron actividad cibernética no autorizada. El ensayo también se publicó después de la renuncia del investigador de Anthropic Jacob Coxon, quien criticó el enfoque de los grandes laboratorios ante el riesgo de la IA y abandonó el sector. 18

Estos hechos no prueban que la IA avanzada sea incontrolable. Sí ilustran la presión que sustenta la tesis de Amodei: el debate sobre la seguridad ya no gira solo en torno a sistemas hipotéticos y lejanos, sino también sobre cómo se comportan los agentes actuales y próximos en entornos operativos reales.

La conexión con las salidas a bolsa

La seguridad es relevante para las aspiraciones de cotización en bolsa de las empresas de IA de frontera. Fallos de gobernanza, incidentes cibernéticos, intervención regulatoria y daño reputacional pueden convertirse en riesgos materiales para el negocio. Reuters informó de que Anthropic presentó confidencialmente documentación para una oferta pública inicial (IPO, por sus siglas en inglés) en Estados Unidos el 1 de junio, y que OpenAI realizó una presentación confidencial propia la semana siguiente. 20

Sin embargo, el calendario y el estado de una posible cotización siguen siendo cambiantes. Reuters informó después de que Altman dijo que OpenAI no saldría a bolsa en 2026, citando preocupaciones de seguridad de la IA. 19 Para los inversores, la cuestión de fondo no es solo cuándo llega una IPO, sino si la compañía puede demostrar controles creíbles sobre modelos cuyo valor comercial y riesgos potenciales aumentan con rapidez.

Lo que pondría a prueba esta propuesta

La propuesta de Amodei pone a prueba si los desarrolladores de IA de frontera pueden aceptar límites antes de que un fallo grave se los imponga. El primer paso —evaluadores externos integrados— es relativamente concreto y comprobable. Los dos siguientes, la coordinación entre democracias y una futura cooperación con Estados autoritarios, son mucho más complejos porque dependen de la política de competencia, la seguridad nacional y la confianza internacional.

Su argumento, por tanto, no es que desacelerar la IA vaya a ser sencillo. Es que seguir acelerando sin salvaguardas que puedan verificarse de forma independiente puede ser la opción más arriesgada. 7