L’IA clinica corre più veloce della sicurezza: l’allarme degli esperti della TU Dresden

Questa prospettiva è importante perché un sistema può funzionare bene in un test controllato e risultare comunque rischioso nella pratica. Sicurezza informatica, comportamento umano, contesto clinico e controlli organizzativi possono cambiare radicalmente il risultato.

Che cosa richiede un’implementazione responsabile

La revisione chiede misure di sicurezza che restino attive anche dopo l’entrata in funzione di uno strumento. Tra queste figurano lo sviluppo sicuro, una gestione rigorosa dei dati di addestramento, test locali nel contesto clinico previsto, responsabilità umane chiaramente definite e monitoraggio continuo delle prestazioni e degli incidenti.

In concreto, ospedali e servizi sanitari devono sapere più di quanto non dica la semplice capacità di uno strumento di produrre testi plausibili. Devono anche stabilire:

• chi è autorizzato a utilizzarlo e per quali attività;
• quali dati può consultare il sistema e dove vengono trasferiti;
• in che modo i professionisti devono verificare i suoi risultati;
• chi risponde quando una cartella o una raccomandazione elaborata con l’aiuto dell’IA contiene un errore;
• come indagare un problema, sospendere lo strumento o ritirarlo quando emergono nuovi rischi.

Il modello di supervisione a due livelli

Per rafforzare questa responsabilità, gli autori propongono due livelli di controllo complementari.

Team istituzionali per la governance dell’IA

Le organizzazioni sanitarie dovrebbero dotarsi di team dedicati alla governance dell’IA, incaricati di approvare gli strumenti, valutarli nel contesto locale, definire i compiti e sorvegliarne il funzionamento. In questo modo le decisioni restano legate ai pazienti, ai flussi di lavoro, alle infrastrutture e agli obblighi professionali della singola organizzazione.

AI Security Operations Center centralizzati

La revisione raccomanda inoltre AI Security Operations Center, o SOC, centralizzati, capaci di individuare incidenti in più organizzazioni, condividere segnali di minaccia e coordinare le risposte. Un attacco o un malfunzionamento che colpisce un sistema di IA clinica può infatti rivelare una vulnerabilità più ampia, potenzialmente presente anche in altre strutture.

I due livelli combinano così la responsabilità clinica locale con un’intelligence di sicurezza più ampia.

Perché la regolamentazione tradizionale può non bastare

I quadri normativi sui dispositivi medici sono stati sviluppati in larga parte per prodotti relativamente stabili e valutabili come tali. Il software clinico basato sull’IA può invece cambiare comportamento e profilo di rischio quando vengono aggiornati i modelli, cambiano i dati, si evolvono i flussi di lavoro o compaiono nuove tecniche d’attacco.

Ne deriva un possibile divario regolamentare: un’autorizzazione o una valutazione eseguita in un determinato momento non dimostra automaticamente che un sistema in continua trasformazione rimarrà sicuro in tutti i contesti futuri. Il lavoro più ampio dei ricercatori della TU Dresden sulla regolamentazione dell’IA medica sostiene analogamente che la scienza della regolamentazione debba tenere il passo con tecnologie in rapido sviluppo.

Per le organizzazioni sanitarie, l’implementazione dovrebbe quindi rappresentare l’inizio della supervisione, non la sua conclusione. I controlli periodici dovrebbero riguardare prestazioni, sicurezza, cybersicurezza, privacy ed equità, prevedendo procedure per segnalare gli incidenti e sospendere i sistemi quando necessario.

Perché il consenso dei pazienti è una questione di sicurezza

Le preoccupazioni della revisione emergono anche nell’impiego degli assistenti IA per la trascrizione e la documentazione delle visite. Le linee guida australiane per l’uso clinico dell’IA stabiliscono che i pazienti debbano essere informati sullo scopo e sull’ambito dello strumento, sui benefici e sui rischi, nonché sulle modalità di monitoraggio della sicurezza e delle prestazioni. Confermano inoltre che la responsabilità della cura e della documentazione rimane al professionista.

Le indicazioni professionali per la medicina generale australiana sottolineano che i medici devono comprendere e testare un assistente IA, ottenere il consenso prima di ogni utilizzo, proteggere i dati conservati e verificare che la cartella clinica sia accurata.

Recenti notizie hanno descritto una forte variabilità nelle procedure di consenso adottate dagli studi australiani, inclusi casi in cui un semplice cartello nella sala d’attesa veniva considerato sufficiente. L’autorità australiana per la regolamentazione dei professionisti sanitari ha inoltre ricordato che i medici devono controllare l’accuratezza dei risultati generati dall’IA.

Questi episodi mostrano perché il consenso non possa ridursi a una casella da spuntare: i pazienti devono ricevere informazioni comprensibili, i professionisti devono conoscere abbastanza la tecnologia da usarla in sicurezza e la responsabilità deve restare in capo al medico. Le prove disponibili non stabiliscono quanto siano diffuse in Australia procedure di consenso inadeguate o una comprensione insufficiente dello strumento. Rafforzano però l’argomento più ampio della revisione: trasparenza, supervisione umana e responsabilità organizzativa sono controlli operativi di sicurezza, non dettagli amministrativi da aggiungere dopo l’implementazione.

La lezione per le organizzazioni sanitarie

Il messaggio della revisione va letto come uno standard per l’implementazione, non come un rifiuto dell’IA clinica. I grandi modelli linguistici possono sostenere attività utili, ma un’adozione sicura richiede di considerarli sistemi sociotecnici in evoluzione, non semplici programmi informatici.

Prima e dopo l’introduzione, i responsabili sanitari devono essere pronti a valutare il modello, proteggere l’infrastruttura circostante, formare gli utenti, spiegare ai pazienti quando l’IA è coinvolta, monitorare le prestazioni nel mondo reale e definire chi può intervenire in caso di errore.

Finché questi controlli non saranno operativi, l’adozione dell’IA clinica rischierà di continuare a correre più velocemente della supervisione necessaria per renderla davvero affidabile.