Arvioinnin kohteena ei ole pelkkä perusmalli. Testiin osallistuva yksikkö on kokonainen ratkaisujärjestelmä, johon kuuluvat malli, orkestrointi- tai ohjauskerros, työkalut, muisti ja tutkimusta ohjaavat toimintaperiaatteet.

Mikä erottaa TRACESin perinteisistä testeistä?

Tavanomaisessa vertailutehtävässä kysymys, lähtötiedot ja odotettu vastaus määritellään yleensä etukäteen. TRACES alkaa sen sijaan tosielämän tavoitteesta, joka ratkaisijan on muutettava käsiteltäväksi tutkimusongelmaksi. Järjestelmä toimii ympäristössä, tekee toimenpiteitä, kutsuu tieteellisiä tai laskennallisia työkaluja ja saa kokeen kaltaista tai todentajan palautetta.

Tutkimus etenee näin:

1. Hypoteesin muodostaminen tai tarkentaminen.
2. Toimenpiteen tai työkalun valitseminen.
3. Tuloksena saadun näytön tai palautteen tarkastelu.
4. Virheiden ja heikkouksien tunnistaminen.
5. Menetelmän korjaaminen ja vaihtoehtojen testaaminen.
6. Johtopäätöksen muotoilu niin, että se vastaa näytön vahvuutta ja rajoja.

Näin testi tallentaa koko tutkimuspolun eikä ainoastaan sitä, muistuttaako lopullinen vastaus viiteratkaisua. Tämä on tärkeää etenkin silloin, kun tieteelliseen kysymykseen ei ole olemassa vakiintunutta oikeaa vastausta, jota voitaisiin käyttää tavanomaisena vertailukohtana.

TRACESin kuusi arviointikriteeriä

Nimi viittaa kuuteen tutkimusprosessin todentamisen ulottuvuuteen, joista käytetään myös nimitystä HDS6:

• Tools – työkalut: Valitseeko ja käyttääkö ratkaisija asiaankuuluvia ulkoisia tai tieteellisiä työkaluja oikein, ja tulkitseeko se niiden tulokset asianmukaisesti?
• Repair – korjaaminen: Löytääkö järjestelmä virheensä ja muuttaa toimintatapaansa palautteen jälkeen?
• Alternatives – vaihtoehdot: Tarkasteleeko se kilpailevia hypoteeseja ja pitääkö, hylkääkö tai tarkentaako se niitä näyttöön perustuvista syistä?
• Coherence – johdonmukaisuus: Säilyttääkö se koko tutkimuksen ajan yhtenäisen ja toisiinsa liittyvän päättelyketjun?
• Evidence – näyttö: Perustuvatko väitteet havaintoihin, työkalujen tuottamiin tuloksiin ja kokeelliseen näyttöön?
• Scope – rajaus: Rajoittaako järjestelmä väitteensä siihen, mitä saatavilla oleva näyttö todella tukee?

Yhdessä nämä kriteerit on tarkoitettu erottamaan luotettava tutkimusprosessi itsevarmasta mutta perustelemattomasta arvauksesta. Niiden avulla voidaan arvioida ratkaisijan työn laatua myös silloin, kun lopullista vastausta ei vielä ole tiedossa.

Tausta ja ensimmäinen mittakaava

Apodexin Discovery-kehyksen mukaan avoimen löytämisen arviointi tarvitsee hyvin muotoillun ongelman, todellisuutta vastaavan ympäristön, todentamismekanismeja sekä silmukoita, joissa järjestelmä voi korjata työtään. TRACES on tämän lähestymistavan käytännön vertailutesti.

Apodex kertoo kartoittaneensa ongelmia varten 561 toimialaa 16 sektorilla ja koonneensa 423 korkean arvon tosielämän ongelmaa. Ensimmäiseen suoritettavaan julkaisuun valittiin 20 ongelmaa.

Saatavilla olevissa aineistoissa mainitaan esimerkkeinä muun muassa:

• AAV-kapsidien suunnittelu
• Kliinisten tutkimusten analyysi
• Lääkkeiden uudelleenkäyttö ja uudelleenformulointi
• Suurten kielimallien koulutus ja järjestelmät

Esimerkit kuvaavat vertailutestin tavoiteltua laajuutta, mutta käytettävissä olevat lähteet eivät muodosta täydellistä julkista luetteloa kaikista julkaisun tehtävistä tai toimialoista.

Miksi tutkimusprosessin arviointi on tärkeää?

Tekoälyä käytetään yhä enemmän – tai sille suunnitellaan roolia – hypoteesien muodostamisessa, tutkimussuuntien valinnassa, koetulosten analysoinnissa ja iteratiivisten työprosessien suunnittelussa. Näissä tehtävissä sujuva teksti ei riitä. Järjestelmän on tiedettävä, mitä kannattaa testata, osattava tulkita tapahtunutta, kyettävä palaamaan virheistä ja vältettävä väitteitä, joita näyttö ei tue.

TRACES käsittelee tieteellistä tutkimusta vuorovaikutteisena prosessina. Ratkaisija, joka päätyy hyödylliseen tulokseen jäljitettävän näytön ja tarkoituksenmukaisten korjausten kautta, on olennaisesti eri asia kuin järjestelmä, joka tuottaa saman johtopäätöksen ilman luotettavaa etenemistapaa.

Menetelmä ei kuitenkaan poista ihmisen valvonnan tarvetta. Tutkijoiden ja alan asiantuntijoiden on edelleen asetettava tavoitteet ja rajoitteet, arvioitava eettiset ja käytännölliset riskit, tarkistettava oletukset ja näyttö sekä päätettävä, oikeuttaako johtopäätös toimiin todellisessa maailmassa. TRACESin painotus tarkasteltaviin tutkimuspolkuihin ja rajattuihin väitteisiin on arvokas juuri siksi, että arvioijille tarjoutuu tutkittavaksi muutakin kuin irrallinen lopputulos.

Miten mukaan pääsee?

Apodexin julkisessa ilmoituksessa kerrotaan avoimesta hausta sekä ratkaisijajärjestelmille että tieteellisille ongelmille.

Ratkaisijan lähettävän tiimin pitäisi toimittaa koko tutkimuksessa käytettävä järjestelmä, ei ainoastaan sen taustalla olevaa mallia. Mukaan kuuluvat esimerkiksi orkestrointi- tai ohjauskerros, työkalut, muisti ja toimintapolitiikka.

Ongelmaehdotuksen puolestaan pitäisi olla muunnettavissa suoritettavaksi ja todennettavaksi ympäristöksi. Käytännössä tämä tarkoittaa, että on määriteltävä, mitä ratkaisija voi havaita ja tehdä, millaista palautetta se saa ja miten väitteet voidaan tarkistaa selkeitä onnistumiskriteerejä vasten.

Mitä tästä kannattaa päätellä?

TRACES muuttaa vertailutestin peruskysymyksen muotoon: ”Antoiko tekoäly odotetun vastauksen?” sijaan kysytään, ”Suorittiko tekoäly kurinalaisen, näyttöön perustuvan tutkimuksen?”

Se tekee menetelmästä tieteelliseen löytämiseen sopivamman kuin staattiset vastausavaimiin perustuvat testit. Samalla esiin nousee olennainen rajoitus: prosessipisteet voivat parantaa arviointia, mutta ne eivät yksin todista, että tekoälyn tuottama löytö on turvallinen, hyödyllinen tai valmis käyttöönotettavaksi. Ihmisen tieteellinen harkinta säilyy välttämättömänä.

Arvioinnin kohteena ei ole pelkkä perusmalli. Testiin osallistuva yksikkö on kokonainen ratkaisujärjestelmä, johon kuuluvat malli, orkestrointi- tai ohjauskerros, työkalut, muisti ja tutkimusta ohjaavat toimintaperiaatteet.

Mikä erottaa TRACESin perinteisistä testeistä?

Tavanomaisessa vertailutehtävässä kysymys, lähtötiedot ja odotettu vastaus määritellään yleensä etukäteen. TRACES alkaa sen sijaan tosielämän tavoitteesta, joka ratkaisijan on muutettava käsiteltäväksi tutkimusongelmaksi. Järjestelmä toimii ympäristössä, tekee toimenpiteitä, kutsuu tieteellisiä tai laskennallisia työkaluja ja saa kokeen kaltaista tai todentajan palautetta.

Tutkimus etenee näin:

1. Hypoteesin muodostaminen tai tarkentaminen.
2. Toimenpiteen tai työkalun valitseminen.
3. Tuloksena saadun näytön tai palautteen tarkastelu.
4. Virheiden ja heikkouksien tunnistaminen.
5. Menetelmän korjaaminen ja vaihtoehtojen testaaminen.
6. Johtopäätöksen muotoilu niin, että se vastaa näytön vahvuutta ja rajoja.

Näin testi tallentaa koko tutkimuspolun eikä ainoastaan sitä, muistuttaako lopullinen vastaus viiteratkaisua. Tämä on tärkeää etenkin silloin, kun tieteelliseen kysymykseen ei ole olemassa vakiintunutta oikeaa vastausta, jota voitaisiin käyttää tavanomaisena vertailukohtana.

TRACESin kuusi arviointikriteeriä

Nimi viittaa kuuteen tutkimusprosessin todentamisen ulottuvuuteen, joista käytetään myös nimitystä HDS6:

• Tools – työkalut: Valitseeko ja käyttääkö ratkaisija asiaankuuluvia ulkoisia tai tieteellisiä työkaluja oikein, ja tulkitseeko se niiden tulokset asianmukaisesti?
• Repair – korjaaminen: Löytääkö järjestelmä virheensä ja muuttaa toimintatapaansa palautteen jälkeen?
• Alternatives – vaihtoehdot: Tarkasteleeko se kilpailevia hypoteeseja ja pitääkö, hylkääkö tai tarkentaako se niitä näyttöön perustuvista syistä?
• Coherence – johdonmukaisuus: Säilyttääkö se koko tutkimuksen ajan yhtenäisen ja toisiinsa liittyvän päättelyketjun?
• Evidence – näyttö: Perustuvatko väitteet havaintoihin, työkalujen tuottamiin tuloksiin ja kokeelliseen näyttöön?
• Scope – rajaus: Rajoittaako järjestelmä väitteensä siihen, mitä saatavilla oleva näyttö todella tukee?

Yhdessä nämä kriteerit on tarkoitettu erottamaan luotettava tutkimusprosessi itsevarmasta mutta perustelemattomasta arvauksesta. Niiden avulla voidaan arvioida ratkaisijan työn laatua myös silloin, kun lopullista vastausta ei vielä ole tiedossa.

Tausta ja ensimmäinen mittakaava

Apodexin Discovery-kehyksen mukaan avoimen löytämisen arviointi tarvitsee hyvin muotoillun ongelman, todellisuutta vastaavan ympäristön, todentamismekanismeja sekä silmukoita, joissa järjestelmä voi korjata työtään. TRACES on tämän lähestymistavan käytännön vertailutesti.

Apodex kertoo kartoittaneensa ongelmia varten 561 toimialaa 16 sektorilla ja koonneensa 423 korkean arvon tosielämän ongelmaa. Ensimmäiseen suoritettavaan julkaisuun valittiin 20 ongelmaa.

Saatavilla olevissa aineistoissa mainitaan esimerkkeinä muun muassa:

• AAV-kapsidien suunnittelu
• Kliinisten tutkimusten analyysi
• Lääkkeiden uudelleenkäyttö ja uudelleenformulointi
• Suurten kielimallien koulutus ja järjestelmät

Esimerkit kuvaavat vertailutestin tavoiteltua laajuutta, mutta käytettävissä olevat lähteet eivät muodosta täydellistä julkista luetteloa kaikista julkaisun tehtävistä tai toimialoista.

Miksi tutkimusprosessin arviointi on tärkeää?

Tekoälyä käytetään yhä enemmän – tai sille suunnitellaan roolia – hypoteesien muodostamisessa, tutkimussuuntien valinnassa, koetulosten analysoinnissa ja iteratiivisten työprosessien suunnittelussa. Näissä tehtävissä sujuva teksti ei riitä. Järjestelmän on tiedettävä, mitä kannattaa testata, osattava tulkita tapahtunutta, kyettävä palaamaan virheistä ja vältettävä väitteitä, joita näyttö ei tue.

TRACES käsittelee tieteellistä tutkimusta vuorovaikutteisena prosessina. Ratkaisija, joka päätyy hyödylliseen tulokseen jäljitettävän näytön ja tarkoituksenmukaisten korjausten kautta, on olennaisesti eri asia kuin järjestelmä, joka tuottaa saman johtopäätöksen ilman luotettavaa etenemistapaa.

Menetelmä ei kuitenkaan poista ihmisen valvonnan tarvetta. Tutkijoiden ja alan asiantuntijoiden on edelleen asetettava tavoitteet ja rajoitteet, arvioitava eettiset ja käytännölliset riskit, tarkistettava oletukset ja näyttö sekä päätettävä, oikeuttaako johtopäätös toimiin todellisessa maailmassa. TRACESin painotus tarkasteltaviin tutkimuspolkuihin ja rajattuihin väitteisiin on arvokas juuri siksi, että arvioijille tarjoutuu tutkittavaksi muutakin kuin irrallinen lopputulos.

Miten mukaan pääsee?

Apodexin julkisessa ilmoituksessa kerrotaan avoimesta hausta sekä ratkaisijajärjestelmille että tieteellisille ongelmille.

Ratkaisijan lähettävän tiimin pitäisi toimittaa koko tutkimuksessa käytettävä järjestelmä, ei ainoastaan sen taustalla olevaa mallia. Mukaan kuuluvat esimerkiksi orkestrointi- tai ohjauskerros, työkalut, muisti ja toimintapolitiikka.

Ongelmaehdotuksen puolestaan pitäisi olla muunnettavissa suoritettavaksi ja todennettavaksi ympäristöksi. Käytännössä tämä tarkoittaa, että on määriteltävä, mitä ratkaisija voi havaita ja tehdä, millaista palautetta se saa ja miten väitteet voidaan tarkistaa selkeitä onnistumiskriteerejä vasten.

Mitä tästä kannattaa päätellä?

TRACES muuttaa vertailutestin peruskysymyksen muotoon: ”Antoiko tekoäly odotetun vastauksen?” sijaan kysytään, ”Suorittiko tekoäly kurinalaisen, näyttöön perustuvan tutkimuksen?”

Se tekee menetelmästä tieteelliseen löytämiseen sopivamman kuin staattiset vastausavaimiin perustuvat testit. Samalla esiin nousee olennainen rajoitus: prosessipisteet voivat parantaa arviointia, mutta ne eivät yksin todista, että tekoälyn tuottama löytö on turvallinen, hyödyllinen tai valmis käyttöönotettavaksi. Ihmisen tieteellinen harkinta säilyy välttämättömänä.