Voiko tekoäly poimia tutkimusdatan, menetelmät ja tulokset suoraan PDF-tiedostoista?

Yksinkertaisten tietojen, kuten julkaisuvuoden, maan tai osallistujamäärien, kohdalla tekoäly toimii hyvin. Se sen sijaan kamppailee monimutkaisempien tietojen, kuten tuloskuvausten tai interventioiden yksityiskohtien, kanssa .

Nopeushyödyt ovat dramaattisia

Todellisessa kliinisessä tutkimusprojektissa tekoälypohjainen automaattinen poiminta PDF-asiakirjoista johti 500-kertaiseen nopeuden kasvuun verrattuna manuaaliseen poimintaan, tarkempiin tuloksiin ja merkittävään manuaalisen työn vähenemiseen . Tässä projektissa koulutettiin toimialuekohtainen esikoulutettu kielimalli tunnistamaan 20 relevanttia kokonaisuutta (kuten lääkkeen nimi, kokeen aloitus- ja lopetuspäivämäärät) .

Missä tekoäly yhä epäonnistuu

Taulukkorakenteen palauttaminen on suuri heikkous. Vertailussa, jossa käytettiin 200 oikeaa asiakirjaa, perustason PDF-jäsentimet saivat taulukkorakenteen palauttamisesta tulokseksi 0,000 – teksti saadaan kyllä poimittua, mutta rivien ja sarakkeiden väliset suhteet katoavat . Monimutkaiset asettelut, skannatut PDF-tiedostot ilman kunnollista tekstikerrosta ja monipalstaiset asiakirjat aiheuttavat eniten virheitä. Ilman asettelukontekstia kielimallit voivat tuottaa hallusinaatioita tai puutteita, virheluokituksia ja asiavirheitä .

Muita jatkuvia haasteita ovat sääntöpohjaisten menetelmien jäykkyys ja toimialuekohtaisten, annotoitujen tietoaineistojen puute oppimispohjaisia menetelmiä varten .

Erikoistyökalut järjestelmällisiin katsauksiin

Useat tekoälytyökalut on nyt suunnattu erityisesti järjestelmällisten katsausten ja meta-analyysien työnkulkuun:

• Meta-Mar's AI Data Extractor lukee tutkimus-PDF:iä ja poimii määrälliset tulosdatan (jatkuvat ja binääriset tulokset) valmiina meta-analyysiä varten .
• Muut alustat automatisoivat intervention, vertailuryhmän, tuloksen, otoskoon ja vaikutuskokojen poiminnan suoraan evidenssitaulukoihin käyttäen mukautettuja sarakepohjaisia poimintamalleja .

Parhaat käytännöt tekoälyn PDF-poimintaan

Luotettavien tulosten saamiseksi tutkijoiden tulisi :

• Kohdentaa poimintakohteet: Päätä tarkasti, tarvitsetko tuloksia, otoskokoja, luottamusvälejä, p-arvoja, vaikutuskokoja vai protokollaparametreja.
• Arvioi asiakirjatyyppi: Digitaalisesti syntyneet PDF-tiedostot (vektoriteksti) ovat helpompia kuin skannatut rasteri-PDF:t. Yksipalstaiset ovat helpompia kuin monipalstaiset.
• Priorisoi relevanssi: Poimi vain ne tiedot, jotka liittyvät tutkimuskysymykseesi, välttääksesi kohinaa.
• Suunnittele toistettavuus: Pidä kirjaa työkaluasetuksista, versioista ja sivuankkureista, jotta muut voivat varmistaa samat luvut.

Yhteenveto

Tekoäly pystyy poimimaan dataa, menetelmiä ja tuloksia PDF-tutkimuksista hyödyllisellä tarkkuudella ja mullistavalla nopeudella. Se ei kuitenkaan ole vielä tarpeeksi luotettava korvaamaan ihmisen tekemää tarkistusta kriittisissä sovelluksissa, kuten viranomaisille tehtävissä raportoinneissa tai lopullisissa järjestelmällisten katsausten datataulukoissa – erityisesti silloin, kun mukana on taulukoita ja monimutkaisia asetteluja. Ihmisen tekemä tarkistus tekoälyn poimalle datalle on suositeltava käytäntö kriittisissä käyttötapauksissa .