Juni-studien utvidet AMIEs rolle fra én konsultasjon til langsiktig sykdomsoppfølging. Systemet brukte Gemini-modellenes evne til å håndtere lange tekster og besto av to deler: én dialogagent som skulle føre en empatisk samtale med pasienten, og én resonneringsagent som skulle lage planer og kontrollere dem mot omfattende kliniske retningslinjer .

Forskerne testet systemet i 100 scenarioer med tre simulerte konsultasjoner innen blant annet hjerte- og lungesykdommer, nevrologi, fødsels- og kvinnesykdommer, urologi og mage-tarm-sykdommer. Scenarioene var basert på retningslinjer fra NICE og BMJ Best Practice. Fagspesialister vurderte AMIEs anbefalinger for undersøkelser og behandling som mer presise i flere av sammenligningene. Ved det andre besøket traff AMIE riktig på undersøkelser i 99 prosent av tilfellene, mot 84 prosent for legene. Ved det tredje besøket var tallene 100 mot 88 prosent. AMIE oppga også eksplisitt hvilke retningslinjer anbefalingene bygget på .

Det er likevel viktig å merke seg at dette var virtuelle konsultasjoner med profesjonelle pasientskuespillere – ikke vanlig oppfølging av mennesker i helsetjenesten.

MIRA går inn i pasientjournalen

MIRA representerer en annen type system. I stedet for først og fremst å føre en samtale, er agenten laget for å arbeide inne i elektroniske pasientjournaler. I en simulert sykehusinformasjonstjeneste kunne MIRA vurdere medisinsk informasjon, foreslå undersøkelser og forberede diagnostiske og behandlingsmessige beslutninger basert på reelle pasientkasus .

I retrospektive simuleringer oppnådde MIRA en samlet diagnostisk treffsikkerhet på 87,8 prosent, sammenlignet med 78,1 prosent for leger med spesialistgodkjenning . Forskjellen var særlig tydelig for enkelte diagnoser: Ved pankreatitt var resultatene 95,2 mot 78,6 prosent, mens MIRA nådde 100 prosent ved blindtarmbetennelse, mot 88 prosent for legene .

MIRA bestilte flere blodprøver enn legene – 51 mot 28 prosent – men bestilte samtidig betydelig færre bildediagnostiske undersøkelser . Systemet hadde tilgang til mer enn 85 000 mulige kliniske handlinger. Forskerne testet det også mot 880 såkalte motangrepsinstruksjoner, utformet for å lure systemet. Det ble ikke registrert datalekkasje i testene .

Også her er testdesignet avgjørende for tolkningen: MIRA møtte ikke virkelige pasienter. Informasjonen ble formidlet gjennom KI-agenter som simulerte pasientatferd, og evalueringen var basert på tidligere pasientkasus .

Den store begrensningen: simulering er ikke klinikk

Ingen av systemene er testet som en autonom lege i vanlig klinisk drift. Dette gapet mellom laboratoriet og virkeligheten er hovedinnvendingen i uavhengige gjennomganger av medisinske KI-agenter.

En omfattende kartleggingsstudie peker på mangelen på robust klinisk validering i virkelige miljøer som den største utfordringen. Mange undersøkelser bruker idealiserte eller syntetiske datasett, mens ekte pasientjournaler ofte inneholder manglende opplysninger, ubalanse i datagrunnlaget og uensartede registreringer. Den faktiske effekten på pasientbehandling er derfor fortsatt i stor grad ubekreftet gjennom prospektive studier .

Flere begrensninger går igjen:

• Ingen hender eller sanser. Tekst- og journalbaserte systemer kan ikke kjenne på en mage, lytte på hjertet eller vurdere en pasients gange. Fysisk undersøkelse er fortsatt avgjørende ved mange diagnoser.
• Begrenset kontinuitet. En gjennomgang av AI Index-rapportens medisinkapittel fant at ingen av systemene demonstrerte kontinuerlig læring eller langtidsminne på tvers av ulike pasientmøter .
• Kunstige konsultasjoner. AMIE-studien brukte profesjonelle pasientskuespillere, mens MIRA ble evaluert gjennom retrospektive kasus og KI-simulerte pasienter .
• Sikkerhetsrisiko. Hallusinasjoner, lite innsyn i beslutningsprosessen, svikt i samspillet mellom flere agenter og mulige angrep på pasientjournalsystemer er fortsatt åpne problemer .

Ekspertene advarer mot å trekke for raske konklusjoner

Forskere som kommenterte de to Nature-studiene, beskrev dem som et «kvalitativt sprang fremover», men understreket samtidig at resultatene kommer fra kontrollerte situasjoner .

Det finnes også mer grunnleggende spørsmål som må besvares før slike systemer kan få en selvstendig rolle:

Kan en lege forstå hvorfor KI-en kom frem til svaret? Når agenten gir en diagnose eller foreslår behandling, er det ikke alltid mulig å følge resonnementet trinn for trinn. Det kan svekke tilliten og gjøre det vanskeligere å oppdage feil .

Hvem har ansvaret hvis noe går galt? Det er fortsatt uklart hvordan det juridiske og etiske ansvaret skal fordeles mellom utvikleren, sykehuset og legen som fører tilsyn. Regelverk som amerikanske FDA-regler og EUs KI-forordning er heller ikke fullt ut tilpasset autonome medisinske agenter .

Fungerer systemet på tvers av land og pasientgrupper? En modell som er trent eller testet på data fra ett sykehus eller ett bestemt datasett, trenger ikke fungere like godt med andre befolkningsgrupper, journalsystemer eller administrative rutiner .

Kan helsepersonell stole for mye på den? Den såkalte g-AMIE-versjonen er med vilje utstyrt med grenser. Den skal ta opp sykehistorien, men avstå fra å gi individualiserte medisinske råd. Det er i seg selv en tydelig erkjennelse av at ubegrenset autonom bruk er for tidlig – og kan være farlig .

Hva må til før klinisk bruk?

AMIE har begynt å bevege seg fra simulering mot virkeligheten. En prospektiv, enkelarmet gjennomførbarhetsstudie i samarbeid med Beth Israel Deaconess Medical Center undersøkte om systemet kunne samle inn informasjon før en poliklinisk time . I en separat studie ved akuttmottak med 100 pasienter inneholdt AMIEs differensialdiagnose den endelige diagnosen i 90 prosent av tilfellene, og den riktige diagnosen var blant de tre øverste forslagene i 75 prosent av tilfellene. Leger gjorde det likevel bedre enn AMIE når behandlingsplanene ble vurdert etter praktisk gjennomførbarhet og kostnadseffektivitet .

Dette er lovende signaler, men gjennomførbarhetsstudier er ikke det samme som randomiserte studier som viser bedre helseutfall for pasientene.

Før rutinemessig bruk må forskerne og helsemyndighetene blant annet dokumentere:

• Sikkerhet og effekt: KI som bistår ved diagnostikk eller behandling må gjennom kontrollerte studier og tilfredsstille relevante regulatoriske krav.
• God journalintegrasjon: Det må være tydelig hva som er skrevet eller foreslått av KI, og hva som er vurdert og godkjent av helsepersonell. Ellers kan ansvar og klinisk sporbarhet bli uklare .
• Menneskelig tilsyn: Systemene må ha tydelige grenser for når de skal stoppe, be om hjelp eller overlate beslutningen til en lege.
• Fysisk undersøkelse: Ingen tekstagent kan alene fylle rollen til en kliniker som undersøker pasienten.
• Rettferdig ytelse: Modellene må testes på ulike befolkningsgrupper og i forskjellige helsesystemer, ikke bare på utvalgte datasett.

Konklusjonen: Forskningsgjennombrudd, ikke legestafett

AMIE har tatt et tydelig steg fra diagnostiske enkeltsamtaler til simulert sykdomsoppfølging over flere besøk. MIRA viser på sin side hvordan en KI-agent kan navigere i en elektronisk pasientjournal og foreslå kliniske handlinger. I nøye kontrollerte tester presterte begge på nivå med eller bedre enn legene på bestemte oppgaver .

Men tallene sier ikke at systemene er klare til å behandle pasienter på egen hånd. De er fremdeles i hovedsak tekst- og datasystemer, ikke klinikere som kan undersøke, observere og ta ansvar i en kompleks behandlingssituasjon. Som forskningsgjennomgangen konkluderer, gjenspeiler mange dagens tester ikke støyen, tvetydigheten, ressursbegrensningene og ansvarskravene i virkelig helsehjelp .

De neste avgjørende milepælene blir derfor studier med virkelige pasienter, tydelige regler for ansvar, dokumentert sikkerhet på tvers av befolkningsgrupper og bevis på at teknologien forbedrer pasientenes helse – ikke bare resultatene i en simulering.

AMIE og MIRA er med andre ord lovende forskningsprototyper. De kan bli nyttige verktøy for leger. Men veien fra imponerende testresultater til trygg behandling i klinikken er fortsatt lang.

Juni-studien utvidet AMIEs rolle fra én konsultasjon til langsiktig sykdomsoppfølging. Systemet brukte Gemini-modellenes evne til å håndtere lange tekster og besto av to deler: én dialogagent som skulle føre en empatisk samtale med pasienten, og én resonneringsagent som skulle lage planer og kontrollere dem mot omfattende kliniske retningslinjer .

Forskerne testet systemet i 100 scenarioer med tre simulerte konsultasjoner innen blant annet hjerte- og lungesykdommer, nevrologi, fødsels- og kvinnesykdommer, urologi og mage-tarm-sykdommer. Scenarioene var basert på retningslinjer fra NICE og BMJ Best Practice. Fagspesialister vurderte AMIEs anbefalinger for undersøkelser og behandling som mer presise i flere av sammenligningene. Ved det andre besøket traff AMIE riktig på undersøkelser i 99 prosent av tilfellene, mot 84 prosent for legene. Ved det tredje besøket var tallene 100 mot 88 prosent. AMIE oppga også eksplisitt hvilke retningslinjer anbefalingene bygget på .

Det er likevel viktig å merke seg at dette var virtuelle konsultasjoner med profesjonelle pasientskuespillere – ikke vanlig oppfølging av mennesker i helsetjenesten.

MIRA går inn i pasientjournalen

MIRA representerer en annen type system. I stedet for først og fremst å føre en samtale, er agenten laget for å arbeide inne i elektroniske pasientjournaler. I en simulert sykehusinformasjonstjeneste kunne MIRA vurdere medisinsk informasjon, foreslå undersøkelser og forberede diagnostiske og behandlingsmessige beslutninger basert på reelle pasientkasus .

I retrospektive simuleringer oppnådde MIRA en samlet diagnostisk treffsikkerhet på 87,8 prosent, sammenlignet med 78,1 prosent for leger med spesialistgodkjenning . Forskjellen var særlig tydelig for enkelte diagnoser: Ved pankreatitt var resultatene 95,2 mot 78,6 prosent, mens MIRA nådde 100 prosent ved blindtarmbetennelse, mot 88 prosent for legene .

MIRA bestilte flere blodprøver enn legene – 51 mot 28 prosent – men bestilte samtidig betydelig færre bildediagnostiske undersøkelser . Systemet hadde tilgang til mer enn 85 000 mulige kliniske handlinger. Forskerne testet det også mot 880 såkalte motangrepsinstruksjoner, utformet for å lure systemet. Det ble ikke registrert datalekkasje i testene .

Også her er testdesignet avgjørende for tolkningen: MIRA møtte ikke virkelige pasienter. Informasjonen ble formidlet gjennom KI-agenter som simulerte pasientatferd, og evalueringen var basert på tidligere pasientkasus .

Den store begrensningen: simulering er ikke klinikk

Ingen av systemene er testet som en autonom lege i vanlig klinisk drift. Dette gapet mellom laboratoriet og virkeligheten er hovedinnvendingen i uavhengige gjennomganger av medisinske KI-agenter.

En omfattende kartleggingsstudie peker på mangelen på robust klinisk validering i virkelige miljøer som den største utfordringen. Mange undersøkelser bruker idealiserte eller syntetiske datasett, mens ekte pasientjournaler ofte inneholder manglende opplysninger, ubalanse i datagrunnlaget og uensartede registreringer. Den faktiske effekten på pasientbehandling er derfor fortsatt i stor grad ubekreftet gjennom prospektive studier .

Flere begrensninger går igjen:

• Ingen hender eller sanser. Tekst- og journalbaserte systemer kan ikke kjenne på en mage, lytte på hjertet eller vurdere en pasients gange. Fysisk undersøkelse er fortsatt avgjørende ved mange diagnoser.
• Begrenset kontinuitet. En gjennomgang av AI Index-rapportens medisinkapittel fant at ingen av systemene demonstrerte kontinuerlig læring eller langtidsminne på tvers av ulike pasientmøter .
• Kunstige konsultasjoner. AMIE-studien brukte profesjonelle pasientskuespillere, mens MIRA ble evaluert gjennom retrospektive kasus og KI-simulerte pasienter .
• Sikkerhetsrisiko. Hallusinasjoner, lite innsyn i beslutningsprosessen, svikt i samspillet mellom flere agenter og mulige angrep på pasientjournalsystemer er fortsatt åpne problemer .

Ekspertene advarer mot å trekke for raske konklusjoner

Forskere som kommenterte de to Nature-studiene, beskrev dem som et «kvalitativt sprang fremover», men understreket samtidig at resultatene kommer fra kontrollerte situasjoner .

Det finnes også mer grunnleggende spørsmål som må besvares før slike systemer kan få en selvstendig rolle:

Kan en lege forstå hvorfor KI-en kom frem til svaret? Når agenten gir en diagnose eller foreslår behandling, er det ikke alltid mulig å følge resonnementet trinn for trinn. Det kan svekke tilliten og gjøre det vanskeligere å oppdage feil .

Hvem har ansvaret hvis noe går galt? Det er fortsatt uklart hvordan det juridiske og etiske ansvaret skal fordeles mellom utvikleren, sykehuset og legen som fører tilsyn. Regelverk som amerikanske FDA-regler og EUs KI-forordning er heller ikke fullt ut tilpasset autonome medisinske agenter .

Fungerer systemet på tvers av land og pasientgrupper? En modell som er trent eller testet på data fra ett sykehus eller ett bestemt datasett, trenger ikke fungere like godt med andre befolkningsgrupper, journalsystemer eller administrative rutiner .

Kan helsepersonell stole for mye på den? Den såkalte g-AMIE-versjonen er med vilje utstyrt med grenser. Den skal ta opp sykehistorien, men avstå fra å gi individualiserte medisinske råd. Det er i seg selv en tydelig erkjennelse av at ubegrenset autonom bruk er for tidlig – og kan være farlig .

Hva må til før klinisk bruk?

AMIE har begynt å bevege seg fra simulering mot virkeligheten. En prospektiv, enkelarmet gjennomførbarhetsstudie i samarbeid med Beth Israel Deaconess Medical Center undersøkte om systemet kunne samle inn informasjon før en poliklinisk time . I en separat studie ved akuttmottak med 100 pasienter inneholdt AMIEs differensialdiagnose den endelige diagnosen i 90 prosent av tilfellene, og den riktige diagnosen var blant de tre øverste forslagene i 75 prosent av tilfellene. Leger gjorde det likevel bedre enn AMIE når behandlingsplanene ble vurdert etter praktisk gjennomførbarhet og kostnadseffektivitet .

Dette er lovende signaler, men gjennomførbarhetsstudier er ikke det samme som randomiserte studier som viser bedre helseutfall for pasientene.

Før rutinemessig bruk må forskerne og helsemyndighetene blant annet dokumentere:

• Sikkerhet og effekt: KI som bistår ved diagnostikk eller behandling må gjennom kontrollerte studier og tilfredsstille relevante regulatoriske krav.
• God journalintegrasjon: Det må være tydelig hva som er skrevet eller foreslått av KI, og hva som er vurdert og godkjent av helsepersonell. Ellers kan ansvar og klinisk sporbarhet bli uklare .
• Menneskelig tilsyn: Systemene må ha tydelige grenser for når de skal stoppe, be om hjelp eller overlate beslutningen til en lege.
• Fysisk undersøkelse: Ingen tekstagent kan alene fylle rollen til en kliniker som undersøker pasienten.
• Rettferdig ytelse: Modellene må testes på ulike befolkningsgrupper og i forskjellige helsesystemer, ikke bare på utvalgte datasett.

Konklusjonen: Forskningsgjennombrudd, ikke legestafett

AMIE har tatt et tydelig steg fra diagnostiske enkeltsamtaler til simulert sykdomsoppfølging over flere besøk. MIRA viser på sin side hvordan en KI-agent kan navigere i en elektronisk pasientjournal og foreslå kliniske handlinger. I nøye kontrollerte tester presterte begge på nivå med eller bedre enn legene på bestemte oppgaver .

Men tallene sier ikke at systemene er klare til å behandle pasienter på egen hånd. De er fremdeles i hovedsak tekst- og datasystemer, ikke klinikere som kan undersøke, observere og ta ansvar i en kompleks behandlingssituasjon. Som forskningsgjennomgangen konkluderer, gjenspeiler mange dagens tester ikke støyen, tvetydigheten, ressursbegrensningene og ansvarskravene i virkelig helsehjelp .

De neste avgjørende milepælene blir derfor studier med virkelige pasienter, tydelige regler for ansvar, dokumentert sikkerhet på tvers av befolkningsgrupper og bevis på at teknologien forbedrer pasientenes helse – ikke bare resultatene i en simulering.

AMIE og MIRA er med andre ord lovende forskningsprototyper. De kan bli nyttige verktøy for leger. Men veien fra imponerende testresultater til trygg behandling i klinikken er fortsatt lang.