Yksi malli, monta etsittävää löydöstä
Alibaba DAMO Academyn yhdessä kliinisten kumppanien kanssa kehittämä DAMO RADAR on kuvaa ja tekstiä yhdistävä tekoälymalli. Se on suunniteltu tarkastelemaan varjoainetehostettua vatsan tietokonetomografiaa (TT) ja seulomaan samalla tutkimuksella 146 kliinistä löydöstä 18 elimessä tai anatomisessa rakenteessa. Löydöksiin kuuluu myös pahanlaatuisia kasvaimia. Työstä on raportoitu Science-lehdessä. Luku 146 kuvaa arvioituja löydöksiä, ei lupausta siitä, että malli tunnistaisi varmasti jokaisen mahdollisen vatsasairauden.
3
4
8
12
Tavallisen, yhtä sairautta varten rakennetun tunnistimen sijaan RADAR on oppinut yhdistämään TT-kuvia niitä koskeviin kliinisiin lausuntoihin. Näin koulutuksessa voidaan hyödyntää lääkärien jo kirjoittamia kuvauksia ilman, että jokaiselle etsittävälle tilalle täytyy ensin piirtää erillinen joukko käsin merkittyjä tautialueita. Saatavilla olevat lähdetiedot eivät kuitenkaan riitä varmistamaan koulutusmenetelmän kaikkia teknisiä yksityiskohtia tai sitä, mitä uusia tiloja malli osaisi luotettavasti tunnistaa.
5
16
Mitä arvioinnissa havaittiin?
Lähes 40 000 todellisen tutkimuksen arvioinnissa mallin keskimääräinen ROC-käyrän alle jäävä pinta-ala eli AUC oli 0,913 tarkasteltujen 146 löydöksen osalta. AUC kuvaa, kuinka hyvin malli erottaa positiiviset ja negatiiviset tapaukset eri päätöskynnyksillä. Se ei tarkoita, että 91,3 prosenttia yksittäisistä diagnooseista olisi oikein.
14
15
Erillisestä 26 radiologin vertailusta kertovien raporttien mukaan malli suoriutui tutkimuksen vertailumittarilla paremmin kuin 23 osallistujaa. Kun lääkärit käyttivät mallia apuna, huomaamatta jääneet löydökset vähenivät raporttien mukaan noin 10 prosenttia ja kuvien lukemiseen kulunut aika noin 30 prosenttia. Saatavilla olevista tiedoista eivät selviä lääkärien tarkat herkkyysluvut ennen avustusta ja sen jälkeen. Niistä ei myöskään voi varmasti päätellä, tarkoittaako 10 prosentin muutos suhteellista muutosta vai prosenttiyksikköjä.
1
6
14
Entä toiminta poikkeavassa käyttöympäristössä? Käytettävissä olevat lähdetiedot eivät anna riittävää perustaa ilmoittaa luotettavaa tulosta siitä, miten malli toimii esimerkiksi koulutusaineistosta poikkeavien sairaaloiden tai potilasryhmien kuvissa.
DAMO Academy on ilmoittanut mallin avoimesta julkaisusta, ja raporttien mukaan myös sen painot ovat saatavilla. Se antaa tutkijoille ja sairaaloille mahdollisuuden arvioida järjestelmää, mutta avoin saatavuus ei itsessään osoita soveltuvuutta potilastyöhön. Tulosten perusteella luontevin mahdollinen rooli on radiologin toinen lukija tai seulonnan apuväline – ei itsenäinen diagnoosin tekijä eikä kliinisen lisävalidoinnin korvike.
3
4
6
7