Kliininen tekoäly etenee valvontaa nopeammin

Järjestelmä voi siis suoriutua hyvin valvotussa testissä ja olla silti käytännössä vaarallinen. Lopputulokseen vaikuttavat mallin lisäksi tietoturva, ihmisten toiminta, kliininen asiayhteys ja organisaation kontrollit.

Mitä vastuullinen käyttöönotto edellyttää?

Katsaus peräänkuuluttaa turvatoimia, jotka jatkuvat myös sen jälkeen, kun järjestelmä on otettu käyttöön. Niihin kuuluvat turvallinen kehitys, harjoitusdatan hallinta, paikallinen testaus aiotussa kliinisessä ympäristössä, ihmisten vastuiden tarkka määrittely sekä toiminnan ja vaaratilanteiden jatkuva seuranta.

Terveydenhuollon organisaatioiden on arvioitava muutakin kuin sitä, tuottaako työkalu sujuvan kuuloista tekstiä. Niiden on määriteltävä esimerkiksi:

• kuka saa käyttää järjestelmää ja mihin tehtäviin;
• mitä tietoja järjestelmä voi käsitellä ja minne tiedot siirtyvät;
• miten ammattilaisten on tarkistettava tekoälyn tuotokset;
• kuka vastaa, jos tekoälyn avulla laadittu merkintä tai suositus on väärä; sekä
• miten järjestelmä voidaan tutkia, pysäyttää tai poistaa käytöstä riskien ilmaantuessa.

Ehdotettu kaksitasoinen valvontamalli

Vastuunjaon tueksi tutkijat ehdottavat kahta toisiaan täydentävää valvontatasoa.

Organisaatioiden tekoälyhallinnon tiimit

Sairaaloissa ja muissa terveydenhuollon organisaatioissa toimivat erilliset tiimit hyväksyisivät tekoälytyökalut, arvioisivat niitä paikallisessa toimintaympäristössä, määrittelisivät vastuut ja valvoisivat käyttöä. Näin päätökset kytkeytyisivät kyseisen organisaation potilaisiin, työnkulkuihin, tekniseen infrastruktuuriin ja ammatillisiin velvoitteisiin.

Keskitetyt tekoälyn tietoturvakeskukset

Katsaus suosittelee lisäksi keskitettyjä AI Security Operations Center -keskuksia eli tekoälyn tietoturvavalvomoita. Ne voisivat havaita vaaratilanteita eri organisaatioissa, jakaa tietoa uhkista ja koordinoida vastatoimia. Yhden kliinisen järjestelmän hyökkäys tai toimintahäiriö voi paljastaa laajemman haavoittuvuuden, joka koskee myös muita organisaatioita.

Malli yhdistäisi paikallisen kliinisen vastuun laajempaan tietoturvatietoon.

Miksi nykyinen lääkinnällisten laitteiden sääntely voi jäädä jälkeen?

Perinteiset lääkinnällisten laitteiden sääntelykehykset on pitkälti rakennettu tuotteille, joita voidaan arvioida suhteellisen vakaina. Kliininen tekoälyohjelmisto on erilainen: sen toiminta ja riskiprofiili voivat muuttua mallipäivitysten, muuttuvien aineistojen, uusien työnkulkujen tai uusien hyökkäystapojen myötä.

Tästä syntyy sääntelyaukko. Yhtenä ajankohtana tehty hyväksyntä tai arviointi ei automaattisesti osoita, että jatkuvasti muuttuva järjestelmä on turvallinen kaikissa myöhemmissä tilanteissa. TU Dresdenin tutkijoiden laajempi työ lääketieteellisen tekoälyn sääntelystä korostaa samoin tarvetta kehittää sääntelytiedettä teknologian nopean kehityksen tahdissa.

Organisaatioille tämä tarkoittaa, että käyttöönotto on valvonnan alku, ei sen päätepiste. Seurannan tulisi kattaa suorituskyky, turvallisuus, kyberturvallisuus, tietosuoja ja yhdenvertaisuus. Lisäksi tarvitaan menettelyt vaaratilanteista ilmoittamiseen ja järjestelmän keskeyttämiseen tarvittaessa.

Potilaan suostumus on myös tekninen turvallisuuskysymys

Katsauksen esiin nostamat ongelmat näkyvät käytännössä esimerkiksi tekoälyä hyödyntävissä sanelu- ja kirjaustyökaluissa. Australialaisessa kliinisen tekoälyn ohjeistuksessa todetaan, että potilaalle on kerrottava järjestelmän tarkoitus, käyttölaajuus, hyödyt, riskit sekä turvallisuuden ja suorituskyvyn seuranta. Hoitava ammattilainen säilyttää vastuun hoidosta ja tekoälyn avustuksella syntyvistä potilasasiakirjoista.

Australialaisen yleislääketieteen ammatillisessa ohjeistuksessa korostetaan lisäksi, että lääkärin on ymmärrettävä ja testattava tekoälyä hyödyntävä sanelutyökalu, hankittava suostumus ennen jokaista käyttökertaa, suojattava tallennetut tiedot ja varmistettava potilasmerkinnän oikeellisuus.

Viimeaikaisessa Australian uutisoinnissa on kuvattu huomattavaa vaihtelua suostumuskäytännöissä. Joissakin tapauksissa odotustilan ilmoitusta on pidetty riittävänä. Maan lääkärien valvontaviranomainen on samalla muistuttanut, että ammattilaisten on tarkistettava tekoälyn tuottamat tiedot.

Havainnot osoittavat, miksi suostumusta ei voi käsitellä pelkkänä rastina lomakkeessa. Potilaan on saatava ymmärrettävä tieto, ammattilaisella on oltava riittävä tekninen ymmärrys turvalliseen käyttöön ja vastuun on säilyttävä lääkärillä. Saatavilla oleva näyttö ei kuitenkaan kerro, kuinka yleisiä puutteellinen suostumus tai riittämätön ymmärrys ovat kaikkialla Australiassa.

Johtopäätös terveydenhuollon johdolle

Katsaus ei ole tekoälyn hylkäys, vaan pikemminkin käyttöönoton vähimmäisvaatimus. Suuret kielimallit voivat tukea hyödyllisiä kliinisiä työnkulkuja, mutta niitä on kohdeltava muuttuvina sosioteknisinä järjestelminä – ei tavallisina ohjelmistotyökaluina.

Ennen käyttöönottoa ja sen jälkeen terveydenhuollon johdon on varauduttava arvioimaan mallia, suojaamaan ympäröivä infrastruktuuri, kouluttamaan käyttäjät, kertomaan potilaille tekoälyn osallistumisesta, seuraamaan toimintaa todellisessa käytössä ja määrittelemään, kuka voi puuttua tilanteeseen järjestelmän epäonnistuessa. Ilman näitä rakenteita kliininen tekoäly voi jatkaa etenemistään nopeammin kuin sen luotettava valvonta.