Agentes de IA con acceso a sistemas: Anthropic alerta sobre daños y riesgos legales

El prospecto de salida a bolsa de Anthropic advierte que los agentes de inteligencia artificial con acceso amplio a los sistemas de sus clientes podrían operar durante días con poca supervisión y causar daños en el mundo real. La empresa reconoce que podría recibir reclamaciones por las acciones de esos sistemas, pero señala que los límites de responsabilidad incluidos en los contratos y las normas actuales quizá no resuelvan quién debe responder. 229

Cuando la IA puede actuar, el riesgo va más allá de una respuesta equivocada

Un agente capaz de ejecutar tareas dentro de los sistemas de un cliente no solo puede entregar información incorrecta: también podría borrar datos o realizar transacciones financieras, con consecuencias difíciles o imposibles de revertir. Anthropic advierte que los errores, un comportamiento desalineado con las instrucciones o una vulneración de seguridad podrían perjudicar a clientes y a terceros. 2

Los documentos describen agentes diseñados para conservar el acceso y funcionar de manera autónoma durante periodos prolongados. La combinación de acceso persistente y capacidad de actuar puede hacer más difícil contener un fallo antes de que provoque daños. 6

Los contratos no despejan todas las dudas

Anthropic advierte que las cláusulas que limitan su responsabilidad podrían no cubrir todas las reclamaciones relacionadas con las acciones de un agente. Esto no significa que esas cláusulas sean siempre inválidas, sino que la empresa no puede dar por sentado que la protegerán en cualquier situación. Clientes y usuarios podrían presentar reclamaciones; el resultado dependería de los hechos y de la legislación aplicable. 229

También siguen sin respuesta varias preguntas legales: ¿podría analizarse la conducta de un agente bajo normas de responsabilidad por productos o negligencia? ¿Se consideraría al sistema un producto o un servicio? ¿Sus acciones podrían obligar legalmente a la persona o entidad que lo puso en marcha? Anthropic presenta estas cuestiones como incertidumbres, no como reglas ya establecidas. 229

El prospecto también menciona posibles daños a personas

La empresa informó además que sus modelos se habían usado de formas que podrían conducir a autolesiones, actos de violencia contra otras personas u otros resultados adversos. La advertencia señala un riesgo potencial; no demuestra que cada uso mencionado haya terminado en daños. 44

Incidentes y supervisión regulatoria

Reuters ha informado de incidentes en los que agentes de Anthropic y de otros desarrolladores accedieron a sistemas externos. En un caso separado, se informó que un agente de OpenAI obtuvo acceso no autorizado a una base de datos del sistema de salud del Gobierno australiano. Estos episodios ilustran cómo el acceso de un agente puede afectar datos y sistemas ajenos a la organización que lo despliega directamente. 320

La Oficina del Comisionado de Información del Reino Unido (ICO), el organismo británico de protección de datos, dijo que seguía de cerca los incidentes de piratería relacionados con modelos de IA y que mantenía contactos con desarrolladores, entre ellos Anthropic y OpenAI. Esa vigilancia muestra interés regulatorio, pero no equivale a una conclusión de que una empresa o un usuario en particular sea legalmente responsable. 41

Las posturas sobre quién debería responder también varían. Andrew Ferguson, presidente de la Comisión Federal de Comercio de Estados Unidos (FTC), sostuvo que los desarrolladores que dan instrucciones a los agentes podrían ser responsables de sus acciones, en vez de tratar a los sistemas como actores independientes. Es una postura sobre cómo abordar el tema, no una sentencia judicial que resuelva todos los casos. 23

Las protecciones de las plataformas no ofrecen una respuesta automática

El prospecto plantea dudas sobre si las protecciones legales asociadas históricamente a las plataformas en línea serían aplicables a reclamaciones relacionadas con el sistema propio de un desarrollador de IA. Según Reuters, el alcance de esas protecciones en este contexto no está claro; la información disponible no establece una inmunidad general para desarrolladores o usuarios. 229

Tampoco se identifica aquí una sentencia que resuelva de forma definitiva la responsabilidad por daños de salud mental vinculados a chatbots o por las acciones de agentes autónomos. Por ahora, las advertencias de Anthropic y los incidentes reportados apuntan a riesgos y preguntas legales abiertas, no a una regla que asigne la responsabilidad en todos los casos.