Los riesgos aparecen en todas las etapas

La revisión clasifica las amenazas en varias capas del desarrollo y uso de la IA clínica:

• Diseño y datos de entrenamiento: los datos manipulados o contaminados de forma deliberada pueden alterar el comportamiento del sistema antes de que llegue a un entorno sanitario.
• Despliegue e interfaces: una inyección de instrucciones puede introducir órdenes maliciosas en un proceso clínico. El artículo plantea, a modo de ejemplo, que un ataque en la interfaz podría hacer que el modelo pasara por alto un tumor visible. Las vulnerabilidades de la infraestructura informática hospitalaria también pueden interrumpir la atención o exponer información de pacientes.
• Comportamiento del modelo: los modelos de lenguaje pueden generar información médica falsa, pero redactada con suficiente seguridad como para parecer fiable. También pueden aceptar demasiado fácilmente la premisa de un usuario y reforzar una hipótesis equivocada en lugar de cuestionarla.
• Interacción entre profesionales e IA: las respuestas persuasivas pueden fomentar el sesgo de automatización, por el que un profesional delega demasiado en el sistema, y el sesgo de confirmación, por el que utiliza la herramienta para respaldar una conclusión que ya había adoptado.
• Uso institucional: algunos profesionales pueden recurrir a herramientas públicas o no autorizadas sin la aprobación formal de su organización. Este llamado “uso en la sombra” puede dejar fuera los controles de privacidad, las evaluaciones locales, la asignación de responsabilidades y los mecanismos de notificación de incidentes.

Esta visión de extremo a extremo es importante porque un sistema puede rendir bien en un entorno controlado y aun así resultar inseguro en la práctica. El contexto clínico, la conducta humana, la ciberseguridad y los controles internos de la organización pueden cambiar por completo el resultado.

Qué exigiría un despliegue responsable

La revisión reclama medidas de seguridad que sigan activas después de que una herramienta entre en funcionamiento. Entre ellas figuran el desarrollo seguro, una gestión rigurosa de los datos de entrenamiento, pruebas locales en el contexto clínico previsto, responsabilidades humanas claramente definidas y vigilancia continua del rendimiento y los incidentes.

En la práctica, un hospital o sistema sanitario no debería limitarse a preguntar si una herramienta produce textos plausibles. También tendría que definir:

• quién puede utilizarla y para qué tareas;
• a qué datos puede acceder y dónde se almacenan o procesan;
• cómo deben verificar los profesionales sus resultados;
• quién responde cuando un registro o recomendación asistidos por IA son incorrectos; y
• cómo investigar, pausar o retirar la herramienta si aparecen nuevos riesgos.

Una arquitectura de supervisión en dos niveles

Para reforzar esa rendición de cuentas, los autores proponen dos capas complementarias de vigilancia.

Equipos institucionales de gobernanza de IA

Los centros sanitarios contarían con equipos específicos para aprobar herramientas, evaluarlas en sus propios entornos, asignar responsabilidades y supervisar su funcionamiento. Este nivel vincula las decisiones con los pacientes, los procesos, la infraestructura y las obligaciones profesionales de cada organización.

Centros centralizados de operaciones de seguridad de IA

La revisión también recomienda crear centros centralizados de operaciones de seguridad de IA —AI Security Operations Centers, o SOC— capaces de detectar incidentes entre distintas organizaciones, compartir señales de amenaza y coordinar respuestas. La propuesta parte de una premisa: un ataque o fallo en un sistema clínico puede revelar una vulnerabilidad más amplia que afecte a otras instituciones.

Los dos niveles combinarían la responsabilidad clínica local con una inteligencia de seguridad compartida a mayor escala.

Por qué la regulación tradicional puede quedarse atrás

Los marcos regulatorios de productos sanitarios se diseñaron en gran medida para productos relativamente estables. El software clínico basado en IA puede ser distinto: su comportamiento y su perfil de riesgo pueden cambiar con las actualizaciones del modelo, la evolución de los datos, la transformación de los procesos asistenciales o la aparición de nuevas técnicas de ataque.

Por tanto, una evaluación o autorización en un momento concreto no demuestra automáticamente que un sistema siga siendo seguro en todos los contextos posteriores. Los investigadores de TU Dresde también han señalado que la ciencia regulatoria debe avanzar al ritmo de las tecnologías médicas y la inteligencia artificial.

Para las organizaciones sanitarias, esto implica considerar el despliegue como el comienzo de la supervisión, no como su final. Las revisiones periódicas deberían cubrir el rendimiento, la seguridad, la ciberseguridad, la privacidad y la equidad, junto con procedimientos para comunicar incidentes y suspender una herramienta cuando sea necesario.

El consentimiento del paciente también es una medida de seguridad

Las preocupaciones de la revisión se reflejan en el uso de asistentes de IA para transcribir consultas y elaborar documentación clínica. La guía australiana para el uso clínico de IA indica que los pacientes deben recibir información sobre el propósito y el alcance del sistema, sus beneficios y riesgos, y los mecanismos para vigilar su seguridad o rendimiento. También deja claro que el profesional mantiene la responsabilidad sobre la atención y los registros elaborados con ayuda de la IA.

La orientación profesional dirigida a la medicina general australiana añade que los clínicos deben comprender y probar el asistente, obtener consentimiento antes de cada uso, proteger los datos almacenados y comprobar que el historial refleja correctamente la consulta.

Informaciones recientes han descrito diferencias importantes en la manera en que las consultas australianas solicitan ese consentimiento, incluidos casos en los que se consideró suficiente un cartel en la sala de espera. El organismo regulador de la profesión médica en Australia también ha subrayado que los profesionales deben revisar la exactitud de todos los resultados generados por un asistente de IA.

Estos ejemplos muestran por qué el consentimiento no puede convertirse en un trámite automático. El paciente necesita información comprensible, el profesional debe conocer las limitaciones de la herramienta y la responsabilidad final debe seguir recayendo en el clínico. La evidencia disponible no permite establecer hasta qué punto están extendidas en Australia las prácticas de consentimiento insuficientes o la falta de comprensión técnica. Sí refuerza, en cambio, la tesis general de la revisión: la transparencia, la supervisión humana y la responsabilidad institucional son controles operativos de seguridad, no detalles administrativos añadidos después del despliegue.

La conclusión práctica para los centros sanitarios

El mensaje de la revisión no es un rechazo de la IA clínica, sino una exigencia para su implementación. Los modelos de lenguaje pueden aportar valor a determinados procesos, pero deben tratarse como sistemas sociotécnicos cambiantes, no como simples programas informáticos.

Antes y después de ponerlos en marcha, los responsables sanitarios deben estar preparados para evaluar el modelo, proteger la infraestructura, formar a los usuarios, explicar a los pacientes cuándo interviene la IA, vigilar el rendimiento en condiciones reales y definir quién puede intervenir si el sistema falla.

Mientras esos controles no estén implantados, la adopción clínica seguirá corriendo el riesgo de avanzar más rápido que la supervisión necesaria para hacerla confiable.

Los riesgos aparecen en todas las etapas

La revisión clasifica las amenazas en varias capas del desarrollo y uso de la IA clínica:

• Diseño y datos de entrenamiento: los datos manipulados o contaminados de forma deliberada pueden alterar el comportamiento del sistema antes de que llegue a un entorno sanitario.
• Despliegue e interfaces: una inyección de instrucciones puede introducir órdenes maliciosas en un proceso clínico. El artículo plantea, a modo de ejemplo, que un ataque en la interfaz podría hacer que el modelo pasara por alto un tumor visible. Las vulnerabilidades de la infraestructura informática hospitalaria también pueden interrumpir la atención o exponer información de pacientes.
• Comportamiento del modelo: los modelos de lenguaje pueden generar información médica falsa, pero redactada con suficiente seguridad como para parecer fiable. También pueden aceptar demasiado fácilmente la premisa de un usuario y reforzar una hipótesis equivocada en lugar de cuestionarla.
• Interacción entre profesionales e IA: las respuestas persuasivas pueden fomentar el sesgo de automatización, por el que un profesional delega demasiado en el sistema, y el sesgo de confirmación, por el que utiliza la herramienta para respaldar una conclusión que ya había adoptado.
• Uso institucional: algunos profesionales pueden recurrir a herramientas públicas o no autorizadas sin la aprobación formal de su organización. Este llamado “uso en la sombra” puede dejar fuera los controles de privacidad, las evaluaciones locales, la asignación de responsabilidades y los mecanismos de notificación de incidentes.

Esta visión de extremo a extremo es importante porque un sistema puede rendir bien en un entorno controlado y aun así resultar inseguro en la práctica. El contexto clínico, la conducta humana, la ciberseguridad y los controles internos de la organización pueden cambiar por completo el resultado.

Qué exigiría un despliegue responsable

La revisión reclama medidas de seguridad que sigan activas después de que una herramienta entre en funcionamiento. Entre ellas figuran el desarrollo seguro, una gestión rigurosa de los datos de entrenamiento, pruebas locales en el contexto clínico previsto, responsabilidades humanas claramente definidas y vigilancia continua del rendimiento y los incidentes.

En la práctica, un hospital o sistema sanitario no debería limitarse a preguntar si una herramienta produce textos plausibles. También tendría que definir:

• quién puede utilizarla y para qué tareas;
• a qué datos puede acceder y dónde se almacenan o procesan;
• cómo deben verificar los profesionales sus resultados;
• quién responde cuando un registro o recomendación asistidos por IA son incorrectos; y
• cómo investigar, pausar o retirar la herramienta si aparecen nuevos riesgos.

Una arquitectura de supervisión en dos niveles

Para reforzar esa rendición de cuentas, los autores proponen dos capas complementarias de vigilancia.

Equipos institucionales de gobernanza de IA

Los centros sanitarios contarían con equipos específicos para aprobar herramientas, evaluarlas en sus propios entornos, asignar responsabilidades y supervisar su funcionamiento. Este nivel vincula las decisiones con los pacientes, los procesos, la infraestructura y las obligaciones profesionales de cada organización.

Centros centralizados de operaciones de seguridad de IA

La revisión también recomienda crear centros centralizados de operaciones de seguridad de IA —AI Security Operations Centers, o SOC— capaces de detectar incidentes entre distintas organizaciones, compartir señales de amenaza y coordinar respuestas. La propuesta parte de una premisa: un ataque o fallo en un sistema clínico puede revelar una vulnerabilidad más amplia que afecte a otras instituciones.

Los dos niveles combinarían la responsabilidad clínica local con una inteligencia de seguridad compartida a mayor escala.

Por qué la regulación tradicional puede quedarse atrás

Los marcos regulatorios de productos sanitarios se diseñaron en gran medida para productos relativamente estables. El software clínico basado en IA puede ser distinto: su comportamiento y su perfil de riesgo pueden cambiar con las actualizaciones del modelo, la evolución de los datos, la transformación de los procesos asistenciales o la aparición de nuevas técnicas de ataque.

Por tanto, una evaluación o autorización en un momento concreto no demuestra automáticamente que un sistema siga siendo seguro en todos los contextos posteriores. Los investigadores de TU Dresde también han señalado que la ciencia regulatoria debe avanzar al ritmo de las tecnologías médicas y la inteligencia artificial.

Para las organizaciones sanitarias, esto implica considerar el despliegue como el comienzo de la supervisión, no como su final. Las revisiones periódicas deberían cubrir el rendimiento, la seguridad, la ciberseguridad, la privacidad y la equidad, junto con procedimientos para comunicar incidentes y suspender una herramienta cuando sea necesario.

El consentimiento del paciente también es una medida de seguridad

Las preocupaciones de la revisión se reflejan en el uso de asistentes de IA para transcribir consultas y elaborar documentación clínica. La guía australiana para el uso clínico de IA indica que los pacientes deben recibir información sobre el propósito y el alcance del sistema, sus beneficios y riesgos, y los mecanismos para vigilar su seguridad o rendimiento. También deja claro que el profesional mantiene la responsabilidad sobre la atención y los registros elaborados con ayuda de la IA.

La orientación profesional dirigida a la medicina general australiana añade que los clínicos deben comprender y probar el asistente, obtener consentimiento antes de cada uso, proteger los datos almacenados y comprobar que el historial refleja correctamente la consulta.

Informaciones recientes han descrito diferencias importantes en la manera en que las consultas australianas solicitan ese consentimiento, incluidos casos en los que se consideró suficiente un cartel en la sala de espera. El organismo regulador de la profesión médica en Australia también ha subrayado que los profesionales deben revisar la exactitud de todos los resultados generados por un asistente de IA.

Estos ejemplos muestran por qué el consentimiento no puede convertirse en un trámite automático. El paciente necesita información comprensible, el profesional debe conocer las limitaciones de la herramienta y la responsabilidad final debe seguir recayendo en el clínico. La evidencia disponible no permite establecer hasta qué punto están extendidas en Australia las prácticas de consentimiento insuficientes o la falta de comprensión técnica. Sí refuerza, en cambio, la tesis general de la revisión: la transparencia, la supervisión humana y la responsabilidad institucional son controles operativos de seguridad, no detalles administrativos añadidos después del despliegue.

La conclusión práctica para los centros sanitarios

El mensaje de la revisión no es un rechazo de la IA clínica, sino una exigencia para su implementación. Los modelos de lenguaje pueden aportar valor a determinados procesos, pero deben tratarse como sistemas sociotécnicos cambiantes, no como simples programas informáticos.

Antes y después de ponerlos en marcha, los responsables sanitarios deben estar preparados para evaluar el modelo, proteger la infraestructura, formar a los usuarios, explicar a los pacientes cuándo interviene la IA, vigilar el rendimiento en condiciones reales y definir quién puede intervenir si el sistema falla.

Mientras esos controles no estén implantados, la adopción clínica seguirá corriendo el riesgo de avanzar más rápido que la supervisión necesaria para hacerla confiable.