RespuestasPublicado17 fuentes
Jacob Coxon deja Anthropic: su alerta sobre la carrera por una IA imposible de controlar
Jacob Coxon afirmó que dejó Anthropic porque la competencia entre los laboratorios de IA de frontera está acelerando la búsqueda de sistemas auto mejorables a un ritmo que supera los métodos de seguridad y control. Evan Hubinger, investigador de alineamiento en Anthropic, dijo que el riesgo de los modelos actuales e...
Publicado porEditado con GPT-5.6 TerraImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- Jacob Coxon afirmó que dejó Anthropic porque la competencia entre los laboratorios de IA de frontera está acelerando la búsqueda de sistemas auto mejorables a un ritmo que supera los métodos de seguridad y control.
- Evan Hubinger, investigador de alineamiento en Anthropic, dijo que el riesgo de los modelos actuales es bajo, pero estimó personalmente en más de un 10 % la posibilidad de que la IA acabe con la humanidad en la próxim...
- Dario Amodei propuso ralentizar el avance de los modelos de frontera y someterlos a supervisión independiente, mientras críticos advierten que reglas demasiado restrictivas podrían reforzar a las empresas más grandes.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon renunció a Anthropic como protesta ante lo que considera una dinámica peligrosa en la inteligencia artificial de frontera: empresas que compiten por crear sistemas cada vez más autónomos y potencialmente capaces de mejorarse a sí mismos antes de que existan métodos fiables para controlarlos. Coxon, que afirmó haber trabajado en investigación de preentrenamiento tanto en Anthropic como en OpenAI, sostuvo que ninguna de las dos compañías estaba actuando con la responsabilidad suficiente. 2
3
Su acusación central: la competencia corre más que el control
En un hilo público en X, Coxon acusó a Anthropic y OpenAI de «correr directamente hacia una superinteligencia auto-mejorable y jugarse nuestras vidas». Su preocupación no es que los chatbots actuales estén a punto de provocar por sí solos la extinción humana. Su advertencia se refiere a sistemas futuros que podrían superar a las personas en tareas de gran impacto —incluidas capacidades cibernéticas— y obtener poder o recursos relevantes antes de que los humanos sepamos alinearlos de forma fiable con objetivos humanos. 3
5
8
La distinción es importante: su argumento trata, sobre todo, de la escalada de capacidades y la gobernanza. Si los sistemas avanzan con rapidez y el trabajo de seguridad queda rezagado, un fallo futuro podría tener consecuencias muy graves, aunque los modelos actuales sigan siendo limitados.
Por qué decidió irse
Coxon dijo a la BBC que quienes trabajan en IA avanzada están «genuinamente asustados» por la velocidad del progreso. También afirmó que, si no se desacelera el ritmo actual, hay «una posibilidad considerable» de que la humanidad muera en un futuro inmediato. 1
Según él, una desaceleración eficaz no puede depender de una sola empresa ni de un solo país. Haría falta coordinación internacional, incluida China, para evitar que la cautela de unos actores simplemente traslade el desarrollo más avanzado a otros lugares. 1
Su renuncia fue, por tanto, un rechazo público a los incentivos que rodean el desarrollo de modelos de frontera, no una acusación de haber presenciado personalmente una brecha concreta de seguridad en Anthropic. La cobertura de su salida describe una preocupación más amplia: una carrera por construir sistemas que las empresas quizá no puedan controlar. 2
Qué dijeron otros investigadores de seguridad
La advertencia de Coxon recibió el respaldo de Evan Hubinger, investigador de alineamiento en Anthropic. Hubinger señaló que el riesgo de los modelos existentes es bajo, pero dijo que él personalmente situaba por encima del 10 % la probabilidad de que la IA mate a todos los humanos durante la próxima década. 13
Ese porcentaje debe interpretarse con cautela. Es una valoración subjetiva sobre un escenario futuro de baja probabilidad y consecuencias extremas, no una predicción empíricamente demostrada. La información disponible muestra un desacuerdo profundo sobre plazos, probabilidades y salvaguardas adecuadas; no prueba que exista un consenso científico sobre una extinción inminente. 13
Los riesgos inmediatos: abuso cibernético y capacidades en aumento
Las preocupaciones más concretas de este debate están más cerca del uso indebido en ciberseguridad, la experimentación peligrosa y los agentes de IA con capacidades crecientes que de un escenario cinematográfico en el que una IA ataque a la humanidad por iniciativa propia.
Los informes sobre la discusión mencionaron el riesgo de que modelos avanzados ayuden en intrusiones informáticas y otros usos indebidos de alto impacto. También aludieron a un supuesto incidente entre agentes de OpenAI y Hugging Face, pero la información disponible no ofrece suficientes detalles de fuentes primarias para establecer de forma independiente las circunstancias precisas, la autorización o el alcance de ese incidente. 2
63
La conclusión práctica es que las afirmaciones sobre una futura superinteligencia no deberían ocultar las preguntas comprobables de hoy: qué pueden hacer los modelos, cómo se los evalúa antes de lanzarlos, si se detecta el uso indebido y quién puede verificar de manera independiente las afirmaciones de seguridad de un laboratorio.
La propuesta de Amodei: regular el ritmo, no detener la IA
Poco después de la advertencia de Coxon, el director ejecutivo de Anthropic, Dario Amodei, pidió ralentizar la mejora de las capacidades de los modelos de frontera en un ensayo titulado We Must Pace the Frontier. No propuso detener por completo el desarrollo de la IA, sino dar más tiempo a la prevención de riesgos para alcanzar el ritmo de las capacidades que avanzan rápidamente. 1
El marco planteado incluía:
- supervisión y evaluación independientes de los modelos de frontera;
- estándares de seguridad compartidos entre la industria y los países democráticos; y
- una futura coordinación internacional sobre gobernanza de la IA, con participación de China.
1
El director ejecutivo de OpenAI, Sam Altman, respaldó públicamente la orientación general y dijo que era una buena idea contar con evaluadores independientes con acceso similar al de los empleados. Elon Musk también apoyó el llamado de Amodei y escribió: «Dario tiene razón». 1
El temor a una regulación que proteja a los gigantes
Las propuestas de seguridad de los mayores laboratorios de IA de frontera han generado respaldo, pero también escepticismo. Críticos como Clément Delangue, director ejecutivo de Hugging Face, han sostenido que restricciones severas a los modelos de frontera podrían favorecer a las compañías con mayor financiación, que son las que mejor pueden absorber los costes de cumplimiento. 1
3
Esta crítica no demuestra que los temores de Coxon sean insinceros. Plantea una cuestión distinta: ¿puede la regulación de seguridad reducir riesgos reales y, al mismo tiempo, concentrar el poder en un pequeño grupo de laboratorios ya dominantes?
Esa tensión está en el centro del debate. Un sistema de gobernanza creíble tendría que mejorar el control sobre los sistemas más capaces sin convertir los requisitos de seguridad en una barrera artificial que proteja a unas pocas empresas.
En síntesis
Coxon dejó Anthropic porque concluyó que la carrera entre las principales compañías de IA es, en sí misma, el peligro: los incentivos para aumentar capacidades pueden imponerse al tiempo necesario para establecer controles, pruebas y coordinación internacional. 2
3
Sus afirmaciones más dramáticas siguen siendo discutidas. Reflejan una preocupación seria de algunos profesionales del sector, pero no prueban que la extinción humana sea inminente. El reto más inmediato es crear salvaguardas verificables de forma independiente para sistemas cada vez más capaces, sin que esas salvaguardas terminen afianzando a las mismas empresas que los desarrollan. 1
13
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Jacob Coxon deja Anthropic: su alerta sobre la carrera por una IA imposible de controlar"?
Jacob Coxon afirmó que dejó Anthropic porque la competencia entre los laboratorios de IA de frontera está acelerando la búsqueda de sistemas auto mejorables a un ritmo que supera los métodos de seguridad y control.
¿Cuáles son los puntos clave a validar primero?
Jacob Coxon afirmó que dejó Anthropic porque la competencia entre los laboratorios de IA de frontera está acelerando la búsqueda de sistemas auto mejorables a un ritmo que supera los métodos de seguridad y control. Evan Hubinger, investigador de alineamiento en Anthropic, dijo que el riesgo de los modelos actuales es bajo, pero estimó personalmente en más de un 10 % la posibilidad de que la IA acabe con la humanidad en la próxim...
¿Qué debo hacer a continuación en la práctica?
Dario Amodei propuso ralentizar el avance de los modelos de frontera y someterlos a supervisión independiente, mientras críticos advierten que reglas demasiado restrictivas podrían reforzar a las empresas más grandes.