La valutazione ha incluso 100 scenari simulati composti da tre visite, in ambiti come cardiologia, pneumologia, neurologia, ostetricia-ginecologia e urologia, oltre alle patologie gastrointestinali. Gli scenari erano basati sulle linee guida NICE e BMJ Best Practice. Secondo la valutazione di medici specialisti, le raccomandazioni di AMIE per gli accertamenti risultavano più spesso una corrispondenza esatta rispetto a quelle dei medici: 99% contro 84% alla seconda visita e 100% contro 88% alla terza. I piani includevano anche riferimenti espliciti alle fonti cliniche .
Questi risultati non significano che AMIE abbia gestito pazienti autonomamente in ospedale. Gli incontri erano simulati e coinvolgevano attori professionisti che interpretavano il ruolo di pazienti.
MIRA segue un percorso diverso. Invece di concentrarsi soprattutto sulla conversazione, è progettato per operare all’interno di una cartella clinica elettronica. Secondo le informazioni diffuse dal centro di ricerca Else Kröner Fresenius per la salute digitale, il team guidato da Jakob Nikolas Kather ha sviluppato l’agente per valutare dati clinici, ordinare esami e preparare decisioni diagnostiche e terapeutiche in un sistema informativo ospedaliero simulato, usando casi reali retrospettivi .
Il sistema aveva accesso a oltre 85.000 possibili azioni cliniche. Nei test, MIRA ha raggiunto un’accuratezza diagnostica complessiva dell’87,8%, contro il 78,1% di un gruppo di medici certificati. Il vantaggio è risultato particolarmente marcato per alcune diagnosi: 95,2% contro 78,6% nei casi di pancreatite e 100% contro 88% nei casi di appendicite .
MIRA ha richiesto esami del sangue più spesso dei medici — 51% contro 28% — ma ha compensato in parte questa tendenza prescrivendo molti meno esami di imaging . I ricercatori hanno inoltre sottoposto il sistema a 880 prompt avversari, cioè istruzioni costruite per indurlo in errore o a divulgare dati. Non sono stati rilevati casi di fuga di informazioni nei test descritti
.
Anche qui, tuttavia, il contesto è decisivo: MIRA non ha interagito direttamente con pazienti reali. Le informazioni cliniche sono state presentate attraverso agenti di IA che simulavano il comportamento dei pazienti .
Né AMIE né MIRA è stato validato come sistema autonomo su pazienti reali in un ambiente clinico ordinario. Una revisione di ampia portata sugli agenti di IA in sanità identifica proprio questo come uno dei problemi centrali: manca una validazione clinica solida in condizioni reali. Molte valutazioni usano dati ideali o sintetici, invece di affrontare cartelle incomplete, informazioni contraddittorie, valori mancanti e casi clinici ambigui .
Le principali limitazioni sono diverse:
Gli esperti interpellati sulle due ricerche hanno definito i risultati un «salto qualitativo» rispetto alle precedenti generazioni di IA medica, pur ricordando che gli esperimenti si sono svolti in ambienti controllati .
Il primo problema riguarda la trasparenza. Quando un agente produce una diagnosi o suggerisce una terapia, il medico deve poter ricostruire il percorso che ha portato a quella conclusione. Se il ragionamento non è sufficientemente interpretabile, diventa più difficile verificare l’errore e fidarsi del risultato .
C’è poi una questione di responsabilità. Se una raccomandazione dell’IA contribuisce a un esito sbagliato, chi ne risponde: lo sviluppatore, l’ospedale che ha adottato il sistema o il professionista che lo ha supervisionato? Le norme attuali, comprese quelle legate alla Food and Drug Administration statunitense e all’AI Act dell’Unione europea, non definiscono ancora in modo completo la governance degli agenti clinici autonomi .
Infine, esiste il rischio di eccessiva fiducia nell’automazione. La stessa ricerca su una versione con protezioni aggiuntive, chiamata g-AMIE, prevede che il sistema raccolga l’anamnesi ma si astenga dal fornire consigli medici personalizzati. Questa scelta è un riconoscimento esplicito del fatto che l’uso autonomo e senza vincoli è prematuro .
AMIE ha iniziato a essere valutata anche in contesti prospettici reali. Uno studio di fattibilità, condotto con il Beth Israel Deaconess Medical Center, ha esaminato il possibile impiego del sistema per raccogliere informazioni prima delle visite di medicina ambulatoriale .
Un’altra ricerca prospettica, svolta in un servizio di urgenza su 100 pazienti, ha rilevato che la diagnosi differenziale di AMIE comprendeva quella finale nel 90% dei casi e la collocava tra le prime tre ipotesi nel 75% dei casi. I medici di medicina generale, però, hanno ottenuto risultati migliori quando si valutavano la praticità e il rapporto costo-efficacia dei piani di gestione .
Sono segnali incoraggianti, ma si tratta di studi di fattibilità a braccio singolo, non di grandi studi randomizzati capaci di dimostrare che l’IA migliori davvero gli esiti dei pazienti.
Prima di un impiego clinico ordinario servirebbero almeno:
AMIE ha compiuto un passo importante: dal colloquio diagnostico isolato alla gestione simulata di una malattia nel corso di più visite, con piani collegati a linee guida cliniche. MIRA mostra invece come un agente possa interagire con una cartella clinica elettronica e proporre azioni diagnostiche e terapeutiche in una simulazione controllata .
Il risultato più corretto da trarre non è che i medici siano già sostituibili. È che gli agenti di IA stanno diventando abbastanza sofisticati da poter essere valutati come possibili strumenti di supporto clinico.
Per arrivare a una corsia d’ospedale o a un ambulatorio serviranno però molte altre prove: pazienti reali, dati imperfetti, responsabilità definite, controlli di sicurezza e dimostrazioni di un beneficio concreto per la salute. Fino ad allora, AMIE e MIRA restano prototipi di ricerca promettenti — non sostituti del medico.