Jacob Coxon deja Anthropic: su alarma por la carrera hacia una IA superinteligente

Jacob Coxon dijo que dejó Anthropic porque llegó a la conclusión de que el problema no era solo un fallo técnico concreto: la competencia entre los principales laboratorios de IA estaría incentivando el desarrollo de sistemas cada vez más autónomos y capaces de mejorarse a sí mismos antes de que exista una forma demostrada de mantenerlos bajo control. Renunció el 8 de septiembre, tras haber trabajado previamente en OpenAI y después en Anthropic. 67

En su hilo viral en X, Coxon sostuvo que ni Anthropic ni OpenAI estaban actuando de manera responsable. Los acusó de avanzar «directamente hacia una superinteligencia que se mejora a sí misma» y de «jugar con nuestras vidas». 38 Su argumento no fue que los asistentes conversacionales actuales vayan a causar una extinción humana por cuenta propia, sino que quienes desarrollan los modelos de frontera creen que sistemas futuros podrían superar a las personas en capacidades como la intrusión informática, adquirir recursos y escapar al control humano.

Qué le preocupaba exactamente

Coxon, especializado en pretraining —la fase de entrenamiento de modelos con grandes volúmenes de datos—, describió un temor compartido por parte de trabajadores del sector ante la rapidez del progreso. En declaraciones a la BBC, afirmó que, si no se reduce el ritmo actual, existe una «fuerte posibilidad» de que todos podamos morir en un futuro inmediato. También sostuvo que una desaceleración efectiva tendría que ser coordinada internacionalmente, incluida China, y no una renuncia unilateral de un solo país a competir en esta tecnología. 1

Evan Hubinger, investigador de alineamiento en Anthropic —el área que busca que los sistemas de IA sigan objetivos y valores humanos—, respaldó la preocupación general. Dijo que el riesgo de los modelos actuales era bajo, pero estimó en más de un 10 % la posibilidad de que la IA pudiera matar a toda la humanidad en la próxima década. 13 Se trata de una valoración subjetiva de expertos, no de una predicción empírica medible ni de una probabilidad consensuada por toda la comunidad investigadora. 813

El debate no gira sobre un ataque autónomo actual

La evidencia inmediata citada en esta discusión tiene más que ver con ciberseguridad y aumento de capacidades que con una IA atacando autónomamente a la humanidad. Se han reportado usos o pruebas de modelos avanzados en operaciones cibernéticas, incluidos intentos de crear armas biológicas y labores de espionaje vinculadas con Ucrania. También se mencionó un incidente en el que agentes de OpenAI habrían hackeado Hugging Face, aunque los detalles disponibles no bastan para verificar de forma independiente las circunstancias, la autorización o la divulgación de cada una de esas alegaciones. 263

La propuesta de Anthropic: frenar la frontera, no detener la IA

La propuesta de Dario Amodei, director ejecutivo de Anthropic, titulada We Must Pace the Frontier, no planteaba paralizar todo el desarrollo de IA. Pedía moderar la velocidad de mejora de los modelos más avanzados, aplicar evaluaciones y supervisión externa independiente, establecer estándares comunes entre países democráticos y construir, con el tiempo, acuerdos internacionales que incluyan a China. 12

Sam Altman, de OpenAI, y Elon Musk, de xAI, apoyaron públicamente la orientación general de esa iniciativa. Musk escribió que «Dario tiene razón». 113

La crítica: ¿seguridad o protección de las empresas más grandes?

La respuesta de Coxon también reavivó una objeción habitual: que el lenguaje sobre riesgos existenciales puede terminar favoreciendo a las compañías con más capital y capacidad de cumplimiento normativo. Críticos como Clément Delangue, de Hugging Face, y Jensen Huang, de Nvidia, han advertido de que reglas muy estrictas para modelos de frontera podrían consolidar a Anthropic y OpenAI como un duopolio protegido. 3

Esa crítica se refiere a incentivos y estructura de mercado; no demuestra que las preocupaciones de Coxon sean insinceras. La discusión se intensificó además mientras Anthropic preparaba, según reportes, una posible salida a bolsa que podría igualar o superar el tamaño récord de la OPV de SpaceX. 5

La posición de Anthropic es que ya aplica algunas de las salvaguardas más fuertes de la industria y que la supervisión independiente y los estándares compartidos deben extenderse a todo el sector, no otorgarle una ventaja exclusiva. 12

La distinción clave es esta: Coxon, Hubinger, Amodei, Altman y Musk coinciden en que una IA más capaz exige mayor coordinación y salvaguardas. Pero sus advertencias no constituyen una prueba empírica de que una extinción humana sea inminente. La gravedad del riesgo, el plazo y la respuesta regulatoria más adecuada siguen siendo cuestiones profundamente controvertidas.