Tutkimuksessa tarkasteltiin 100 kolmen käynnin skenaariota kardiologian, keuhkosairauksien, neurologian, synnytys- ja naistentautien, urologian sekä ruoansulatuskanavan sairauksien alueilla. Skenaariot perustuivat NICE- ja BMJ Best Practice -suosituksiin. Erikoislääkäreiden arvioissa AMIEn tutkimus- ja hoitoehdotukset olivat usein täsmällisempiä kuin perusterveydenhuollon lääkäreiden ehdotukset. Toisen käynnin tutkimusehdotukset vastasivat tavoiteratkaisua 99 prosentissa tapauksista, kun lääkäreillä vastaava osuus oli 84 prosenttia. Kolmannella käynnillä luvut olivat 100 ja 88 prosenttia .
Tärkeä yksityiskohta on, että kyse oli virtuaalisista, ammattilaisten esittämistä potilastilanteista. Tutkimus mittasi päättelyä ja suunnitelmien laatua, ei sitä, paranevatko oikeiden potilaiden hoitotulokset.
MIRA on kuvattu sähköiseen potilastietojärjestelmään eli EHR-järjestelmään integroituvaksi tekoälyagentiksi. EHR tarkoittaa järjestelmää, johon kootaan esimerkiksi potilaan oireet, laboratoriotulokset, diagnoosit, lääkitykset ja hoitohistoria.
MIRAn lähestymistapa ei keskity ensisijaisesti keskusteluun, vaan potilastietojen käsittelyyn ja kliinisen työnkulun jäljittelyyn. Tutkimusryhmän kuvauksen mukaan järjestelmä pystyi simuloidussa sairaalajärjestelmässä arvioimaan lääketieteellistä tietoa, ehdottamaan tutkimuksia ja valmistelemaan diagnoosi- ja hoitopäätöksiä . Raportoiduissa retrospektiivisissä simulaatioissa MIRA saavutti 87,8 prosentin diagnostisen tarkkuuden, kun lautakuntatason lääkäreistä koostuneen vertailuryhmän tulos oli 78,1 prosenttia
.
Erot olivat joissakin diagnooseissa suurempia. Haimatulehduksen kohdalla tarkkuudeksi raportoitiin 95,2 prosenttia verrattuna lääkäreiden 78,6 prosenttiin. Umpilisäkkeen tulehduksessa luvut olivat 100 ja 88 prosenttia .
MIRA tilasi myös useammin verikokeita: 51 prosentissa tapauksista, kun lääkärit tilasivat niitä 28 prosentissa tapauksista. Toisaalta se määräsi huomattavasti vähemmän kuvantamistutkimuksia . Järjestelmällä kerrottiin olleen käytössään yli 85 000 mahdollista kliinistä toimintoa, ja sitä testattiin 880 vastakkainasetteluun suunnitellulla syötteellä eli yrityksillä johtaa järjestelmää harhaan. Raportoiduissa testeissä ei havaittu tietovuotoa
.
MIRAa ei kuitenkaan testattu keskustelemalla oikeiden potilaiden kanssa. Arvio perustui yli 500 päivystystapauksen tietoihin, ja potilaan käyttäytymistä jäljittelivät erilliset tekoälyagentit . Tämä tekee asetelmasta kiinnostavan, mutta samalla kaukana sairaalan todellisesta arjesta.
Molempien järjestelmien kohdalla keskeinen rajoitus on sama: niitä ei ole osoitettu toimiviksi oikeiden potilaiden hoidossa laajassa, kontrolloidussa kliinisessä tutkimuksessa.
Terveydenhuollon tekoälyagentteja käsittelevä katsaus nostaa suurimmaksi haasteeksi vankan tosielämän kliinisen validoinnin puutteen. Monet arvioinnit perustuvat ihanteellisiin tai synteettisiin aineistoihin, joissa eivät näy oikeiden potilastietojen puutteellisuus, epäjohdonmukaisuus ja mittausvirheet. Siksi järjestelmien todellinen kliininen tehokkuus on edelleen suurelta osin vahvistamatta prospektiivisissa tutkimuksissa .
Keskeisiä puutteita ovat muun muassa:
Britannian Science Media Centren kokoamissa asiantuntijakommenteissa tutkimuksia kuvattiin laadulliseksi harppaukseksi aiempaan verrattuna. Samalla kommentoijat painottivat, että tulokset ovat peräisin kontrolloiduista asetelmista .
Tekoälyagentteja koskevassa laajemmassa tutkimuksessa toistuvat neljä huolta:
Selitettävyys ja luottamus. Jos järjestelmä ehdottaa diagnoosia tai hoitoa, lääkärin pitäisi pystyä jäljittämään, miten johtopäätös syntyi. Tekoälyagenttien päättely ei kuitenkaan aina ole riittävän läpinäkyvää, mikä vaikeuttaa kliinistä arviointia ja heikentää luottamusta .
Vastuun epäselvyys. Jos tekoälyn ehdotus johtaa virheelliseen hoitoon, vastuu voi liittyä kehittäjään, terveydenhuollon organisaatioon tai valvovaan lääkäriin. Nykyiset sääntelykehykset, kuten Yhdysvaltain lääke- ja elintarvikeviraston FDA:n linjaukset ja EU:n tekoälysäädös, eivät vielä ratkaise kaikkia itsenäisesti toimivien lääketieteen tekoälyagenttien erityisiä hallintakysymyksiä .
Yleistettävyys. Yhdestä sairaalasta tai tietystä aineistosta kerätyllä datalla koulutettu järjestelmä ei välttämättä toimi samalla tavalla toisessa terveydenhuoltojärjestelmässä, eri väestöryhmissä tai erilaisilla hallinnollisilla käytännöillä .
Liiallinen luottaminen. Googlen g-AMIE-versio on suunniteltu keräämään esitietoja, mutta pidättäytymään yksilöllisten lääketieteellisten neuvojen antamisesta. Tällainen suojarakenne kertoo osaltaan siitä, ettei rajoittamaton itsenäinen käyttö ole vielä perusteltua .
AMIE on edennyt simulaatioiden ulkopuolelle varhaisiin toteutettavuustutkimuksiin. Beth Israel Deaconess Medical Centerin kanssa tehdyssä prospektiivisessa, yhden tutkimusryhmän tutkimuksessa selvitettiin, voisiko järjestelmä kerätä potilaan esitietoja ennen vastaanottoa .
Erillisessä 100 potilaan kiireellisen hoidon toteutettavuustutkimuksessa AMIEn erotusdiagnoosi sisälsi lopullisen diagnoosin 90 prosentissa tapauksista, ja kolmen todennäköisimmän diagnoosin joukossa se oli 75 prosentissa tapauksista. Perusterveydenhuollon lääkärit arvioitiin kuitenkin AMIEä paremmiksi hoitosuunnitelmien käytännöllisyydessä ja kustannustehokkuudessa .
Nämä ovat myönteisiä ensiaskeleita, mutta toteutettavuustutkimus ei ole sama asia kuin laaja satunnaistettu tutkimus, jossa osoitettaisiin potilaiden hoitotulosten paranevan.
Ennen kuin AMIEn tai MIRAn kaltainen järjestelmä voisi toimia rutiininomaisessa kliinisessä työssä, tarvitaan ainakin:
AMIE ja MIRA osoittavat, että lääketieteen tekoäly voi edetä paljon perinteistä oirechatbottia pidemmälle. AMIE kykenee simuloiduissa monikäyntitilanteissa rakentamaan pitkäaikaissairauksien hoitosuunnitelmia ja perustelemaan niitä hoitosuosituksilla. MIRA puolestaan osoittaa, että tekoälyagentti voi käsitellä sähköisen potilastietojärjestelmän tietoja ja ehdottaa kliinisiä toimia kontrolloidussa ympäristössä .
Silti näyttöön jää suuri aukko. Oikeassa terveydenhuollossa tiedot ovat puutteellisia, potilaiden oireet muuttuvat, resurssit vaihtelevat ja jokaisella päätöksellä on vastuun kantava ihminen. Näitä olosuhteita simulaatiot eivät vielä täysin jäljittele .
Seuraavat ratkaisevat askeleet ovat tutkimukset oikeilla potilailla, selkeä sääntely, turvallisuusnäyttö eri väestöissä ja todiste siitä, että järjestelmät todella parantavat hoitotuloksia. Siihen asti AMIE ja MIRA ovat vaikuttavia tutkimusprototyyppejä ja mahdollisia tulevaisuuden apuvälineitä – eivät lääkäreiden korvaajia tai itsenäiseen hoitoon valmiita järjestelmiä.