AMIE mod MIRA: Hvad de nye studier om medicinsk AI faktisk viser

I 100 simulerede forløb med tre konsultationer inden for blandt andet kardiologi, lungemedicin, neurologi, gynækologi/urologi og mave-tarm-sygdomme blev anbefalingerne vurderet af speciallæger. Ifølge den tilgængelige rapport var AMIEs forslag til undersøgelser et eksakt match med facit i 99 procent af tilfældene ved andet besøg mod 84 procent for lægerne. Ved tredje besøg var tallene 100 mod 88 procent. Forslagene indeholdt desuden henvisninger til de anvendte retningslinjer .

MIRA: En agent inde i patientjournalen

MIRA er bygget efter en anden idé. I stedet for primært at føre en samtale med patienten arbejder systemet direkte i en elektronisk patientjournal – det, der på engelsk kaldes et EHR-system.

I en simuleret hospitalsinformationsplatform kunne MIRA analysere medicinske oplysninger, foreslå blodprøver og scanninger samt forberede diagnostiske og behandlingsmæssige beslutninger. Systemet blev afprøvet på virkelige patientcases fra tidligere forløb, mens patienternes svar blev simuleret af andre AI-agenter .

I de retrospektive simuleringer opnåede MIRA en samlet diagnostisk nøjagtighed på 87,8 procent mod 78,1 procent for autoriserede læger. Forskellen var blandt andet tydelig ved bugspytkirtelbetændelse, hvor tallene var 95,2 mod 78,6 procent, og ved blindtarmsbetændelse, hvor MIRA nåede 100 procent mod lægernes 88 procent .

MIRA bestilte flere blodprøver end lægerne – 51 mod 28 procent – men bestilte til gengæld væsentligt færre billeddiagnostiske scanninger . Systemet havde adgang til mere end 85.000 mulige kliniske handlinger og blev udsat for 880 såkaldte adversarial prompts, altså forsøg på at lokke det til at begå fejl. Forskerne rapporterede ingen tilfælde af datalæk i testen .

Den afgørende begrænsning: Det var ikke virkelige konsultationer

Den vigtigste pointe er også den mindst spektakulære: Ingen af de to systemer er blevet dokumenteret i rutinemæssig klinisk behandling af rigtige patienter.

En omfattende litteraturgennemgang af AI-agenter i sundhedsvæsenet fremhæver manglen på robust validering i virkelige kliniske miljøer som den centrale udfordring. Mange evalueringer bygger på idealiserede eller syntetiske datasæt, der ikke afspejler de mangelfulde, skæve og ufuldstændige oplysninger, som findes i rigtige patientjournaler. Derfor er systemernes faktiske effekt på behandling og patientsikkerhed fortsat utilstrækkeligt dokumenteret .

Der er også en række mere konkrete begrænsninger:

• Ingen fysisk undersøgelse. Tekstbaserede systemer og journalagenter kan ikke mærke på en mave, lytte til hjerte og lunger eller vurdere en patients gang. Den fysiske undersøgelse er stadig afgørende ved mange diagnoser.
• Ingen dokumenteret kontinuerlig læring. Ingen af de systemer, der gennemgås i den relevante AI-forskning, har vist, at de lærer kontinuerligt eller bevarer en pålidelig langtidshukommelse på tværs af forskellige patientforløb .
• Simulerede patienter. AMIE-forsøgene om sygdomshåndtering brugte professionelle patientskuespillere i virtuelle OSCE-lignende konsultationer. I MIRA-forsøgene blev patienternes adfærd gengivet af AI-agenter frem for rigtige patienter .
• Sikkerhedsrisici. Hallucinationer, uigennemsigtige beslutninger, fejl i samarbejdet mellem flere AI-agenter og risiko for brud på patientjournalsystemer er fortsat åbne problemer .

Eksperternes advarsel: Imponerende, men stadig kontrolleret

Eksperter, der kommenterede studierne, beskrev dem som et kvalitativt spring fremad i forhold til tidligere generationer af medicinsk AI. Samtidig understregede de, at resultaterne er opnået under kontrollerede betingelser .

Kan læger forstå, hvorfor AI'en anbefaler noget?

Når en AI-agent foreslår en diagnose eller behandling, er det ikke altid tydeligt, hvordan den nåede frem til konklusionen. Manglende fortolkelighed gør det sværere for læger at kontrollere anbefalingerne og kan svække tilliden til systemet .

Hvem har ansvaret, hvis det går galt?

Hvis en AI-baseret anbefaling fører til et forkert behandlingsforløb, er det fortsat uklart, hvordan det juridiske og etiske ansvar skal fordeles mellem udvikleren, hospitalet og den behandlende læge. De nuværende regler – herunder EU's AI-forordning og amerikanske FDA-regler – er ikke nødvendigvis udformet til fuldt autonome, handlende medicinske AI-agenter .

Virker systemet på tværs af lande og patientgrupper?

En model, der er trænet og evalueret på data fra ét hospital eller et bestemt datasæt som MIMIC-IV, vil ikke automatisk fungere lige godt på andre befolkningsgrupper, i andre journalsystemer eller under andre administrative procedurer . Det er derfor for tidligt at konkludere, at præstationerne er lige gode for alle patienter.

Risiko for overdreven tillid

Forskerne bag en afgrænset version af AMIE, kaldet g-AMIE, har netop indbygget tydelige sikkerhedsrammer. Systemet skal optage sygehistorien, opsummere sagen og foreslå muligheder til lægen, men afstå fra at give individualiserede medicinske råd på egen hånd . Det viser, at selv udviklerne ser ubegrænset autonom brug som for tidlig og potentielt farlig.

Er AMIE tættere på klinikken end MIRA?

AMIE har taget et tidligt skridt mod virkelighed gennem prospektive gennemførlighedsstudier. I et studie i samarbejde med Beth Israel Deaconess Medical Center undersøgte forskerne, om systemet kunne indsamle oplysninger før en konsultation i almen eller ambulant behandling .

Et andet studie med 100 patienter i akutklinik viste, at AMIEs liste over mulige diagnoser indeholdt den endelige diagnose i 90 procent af tilfældene. Den endelige diagnose var blandt de tre øverste forslag i 75 procent af tilfældene. De praktiserende læger klarede sig dog bedre, når forskerne vurderede behandlingsplanernes praktiske anvendelighed og omkostningseffektivitet .

Det er lovende signaler, men stadig gennemførlighedsstudier – ikke de randomiserede kliniske forsøg, der skal vise, om teknologien faktisk forbedrer patienternes helbred, sikkerhed eller oplevelse.

Hvad skal der til, før systemerne kan bruges i praksis?

Før AMIE eller MIRA kan få en selvstændig rolle i klinikken, skal flere forhold være på plads:

• Regulering: Der skal være klare krav til dokumentation af sikkerhed og effekt for AI, der påvirker diagnoser og behandling.
• Integration med patientjournalen: AI-genereret tekst og beslutningsstøtte skal kunne adskilles tydeligt fra lægens egne vurderinger, så ansvaret ikke bliver uklart .
• Menneskelig kontrol: Kliniske beslutninger skal fortsat kunne gennemgås og godkendes af sundhedspersonale.
• Validering på tværs af patientgrupper: Systemerne skal afprøves i forskellige sundhedssystemer og på befolkningsgrupper med forskellige sygdomsmønstre og forudsætninger.
• Dokumentation af reelle resultater: Det afgørende er ikke kun, om AI'en matcher læger på en test. Den skal også kunne dokumentere bedre eller mindst lige så gode patientforløb uden uacceptable ekstra undersøgelser, fejl eller forsinkelser.

Konklusion: Et stærkt forskningsresultat – ikke en ny læge

AMIE og MIRA viser, hvor hurtigt medicinsk AI udvikler sig. AMIE bevæger sig fra enkeltstående diagnosesamtaler mod håndtering af kroniske sygdomme over flere besøg. MIRA viser, hvordan en AI-agent kan kobles til en elektronisk patientjournal og foreslå konkrete kliniske handlinger i en simuleret arbejdsgang .

Men tallene skal læses med den rette forsigtighed. Simulerede samtaler og retrospektive patientcases er ikke det samme som behandling i en dansk eller international klinik med ufuldstændige journaler, tidspres, uventede symptomer og et klart ansvar for patienten.

De næste afgørende skridt er derfor prospektive studier med rigtige patienter, tydelige regulatoriske rammer, dokumenteret sikkerhed på tværs af befolkningsgrupper og bevis for, at systemerne forbedrer patienternes resultater. Indtil da er AMIE og MIRA imponerende forskningsprototyper og mulige fremtidige værktøjer – men ikke erstatninger for menneskelige læger.