IA clínica avança mais rápido que a supervisão de segurança, alerta revisão da TU Dresden

Essa visão de ciclo completo é importante porque um sistema pode apresentar bom desempenho em um teste controlado e ainda assim ser inseguro na prática. Segurança digital, comportamento humano, contexto clínico e controles organizacionais podem mudar completamente o resultado.

O que seria necessário para uma implantação responsável

A revisão defende medidas de segurança que continuem ativas depois que a ferramenta entrar em operação. Entre elas estão desenvolvimento seguro, governança cuidadosa dos dados de treinamento, testes locais no contexto clínico em que o sistema será usado, definição clara das responsabilidades humanas e monitoramento contínuo de desempenho e incidentes.

Na prática, hospitais e sistemas de saúde precisam saber mais do que se uma ferramenta produz textos plausíveis. Também devem definir:

• quem pode usar o sistema e para quais tarefas;
• quais dados a ferramenta pode acessar e para onde essas informações são enviadas;
• como os profissionais devem verificar as respostas geradas;
• quem responde por um prontuário ou recomendação elaborada com auxílio de IA quando houver erro; e
• como investigar um problema, interromper o funcionamento ou retirar a ferramenta de uso quando surgirem riscos.

O modelo de supervisão em dois níveis

Para reforçar a prestação de contas, os autores propõem duas camadas complementares de supervisão.

Equipes institucionais de governança de IA

Hospitais e outras organizações de saúde teriam equipes dedicadas a aprovar ferramentas, avaliá-las localmente, distribuir responsabilidades e acompanhar seu funcionamento. Esse arranjo mantém as decisões ligadas aos pacientes, aos fluxos de trabalho, à infraestrutura e às obrigações profissionais de cada instituição.

Centros de Operações de Segurança de IA

A revisão também recomenda Centros de Operações de Segurança de IA — ou AI Security Operations Centers (SOCs) — capazes de identificar incidentes em diferentes organizações, compartilhar sinais de ameaças e coordenar respostas.

A proposta parte de uma premissa simples: um ataque ou falha em um sistema clínico pode revelar uma vulnerabilidade mais ampla, com potencial de afetar outras instituições.

Juntas, as duas camadas combinariam responsabilidade clínica local com inteligência de segurança em escala mais ampla.

Por que a regulação tradicional pode ficar para trás

As estruturas tradicionais para dispositivos médicos foram desenvolvidas, em grande parte, para produtos que podiam ser avaliados como relativamente estáveis. Softwares de IA clínica podem ter um perfil diferente: seu comportamento e seus riscos podem mudar quando o modelo é atualizado, a distribuição dos dados se altera, os fluxos de trabalho evoluem ou surgem novas técnicas de ataque.

Isso cria uma lacuna regulatória. Uma aprovação ou avaliação feita em determinado momento não demonstra automaticamente que um sistema em transformação continuará seguro em todos os contextos futuros. Um trabalho mais amplo dos pesquisadores da TU Dresden sobre regulação de IA médica também sustenta que a ciência regulatória precisa acompanhar o ritmo das tecnologias em desenvolvimento.

Para as organizações, a consequência é clara: a implantação deve ser vista como o início da supervisão, não como o fim dela. As verificações contínuas precisam abranger desempenho, segurança, cibersegurança, privacidade e equidade, além de incluir processos para comunicar incidentes e suspender o uso do sistema quando necessário.

Por que o consentimento do paciente também é uma questão técnica

As preocupações da revisão aparecem ainda no uso de escribas de IA e de outras ferramentas para documentação clínica. Orientações australianas dizem que os pacientes devem ser informados sobre a finalidade, o escopo, os benefícios, os riscos e os mecanismos de acompanhamento da segurança e do desempenho do sistema. As mesmas diretrizes deixam claro que o profissional continua responsável pelo atendimento e pelo registro produzido com auxílio da IA.

Recomendações profissionais para a atenção primária australiana também enfatizam que os médicos devem compreender e testar o escriba de IA, obter consentimento antes de cada uso, proteger os dados armazenados e garantir a exatidão do prontuário.

Reportagens recentes descreveram uma grande variação na forma como clínicas australianas obtêm consentimento — inclusive casos em que uma placa na sala de espera foi considerada suficiente. O órgão regulador da medicina no país também reforçou que os profissionais precisam conferir a precisão de todo conteúdo gerado por IA.

Esses relatos ajudam a mostrar por que o consentimento não pode ser tratado como mera formalidade. O paciente precisa receber informação compreensível, o profissional deve ter conhecimento técnico suficiente para usar a ferramenta com segurança e a responsabilidade precisa continuar sendo humana.

As evidências disponíveis não permitem concluir quão disseminados são o consentimento inadequado ou a compreensão insuficiente da tecnologia entre os profissionais na Austrália. Elas, porém, reforçam o argumento mais amplo da revisão: transparência, supervisão humana e responsabilidade institucional são controles operacionais de segurança — não detalhes administrativos acrescentados depois da implantação.

A lição prática para hospitais e sistemas de saúde

A mensagem da revisão deve ser entendida como um padrão para a implantação, e não como uma rejeição à IA clínica. Grandes modelos de linguagem podem apoiar fluxos de trabalho importantes, mas sua adoção segura exige que sejam tratados como sistemas sociotécnicos em transformação, e não como simples softwares.

Antes e depois da implantação, os responsáveis pela saúde precisam estar preparados para avaliar o modelo, proteger a infraestrutura ao redor, capacitar os usuários, explicar aos pacientes quando a IA estiver envolvida, acompanhar o desempenho no mundo real e definir quem pode intervir quando o sistema falhar.

Sem esses controles, a adoção da IA clínica continuará correndo o risco de avançar mais rápido que a supervisão necessária para torná-la confiável.