BootLoops tekee tekoälyn tiedelaskuista tarkistettavia – mutta ei korvaa tutkijaa

BootLoops 1.0 on avoimen lähdekoodin työkalupaketti, joka auttaa kielimalleja tekemään täsmällisiä tieteellisiä laskuja tavalla, jossa tulokset voidaan tarkistaa. Harvardin fyysikko Matthew Schwartz kehitti sen Claude-mallin kanssa, mutta työkalupaketti ei ole sidottu yhteen malliin. Tavoitteena ei ole tehdä kaikista tekoälyn vastauksista automaattisesti luotettavia, vaan helpottaa rajattujen laskutulosten testaamista. 112

Miten BootLoops tarkistaa laskuja?

BootLoops yhdistää tieteellisiä ohjelmistoja toimintakäytäntöihin, joissa määritellään, mitä tuloksen tarkistaminen tarkoittaa. Lasku voidaan esimerkiksi varmistaa toisella, riippumattomalla laskentatavalla ja pisteissä, joita ei ole käytetty tuloksen sovittamiseen. Lisäksi niin sanotulla positiivisella kontrollilla osoitetaan, että tarkistus todella havaitsee virheellisen tuloksen. Ohjeissa huomioidaan myös tuloksen alkuperä: työkalu, joka osallistui vastauksen sovittamiseen, ei saa yksinään toimia saman vastauksen riippumattomana todentajana. 211

Menetelmä soveltuu erityisesti tehtäviin, joiden lopputulos voidaan määritellä selkeästi, kuten matemaattisen fysiikan laskuihin. Se voi osoittaa, että tulos läpäisi tietyt testit. Se ei kuitenkaan todista, että jokainen mallin tuottama väite on oikein tai että tutkimuskysymys itsessään on tärkeä. 25

Schwartzin ja Clauden raportoimat tulokset

Schwartzin työryhmä kertoi laskeneensa 30 matemaattisen fysiikan integraalia. Niistä 15 kuvattiin uusiksi tuloksiksi, mukaan lukien elliptisiä Feynman-integraaleja. Työhön sisältyi myös ratkaisu siihen, mitä Schwartz kutsuu Watsonin ”viimeiseksi ongelmaksi” – matemaatikko George Watsonin aiempaan työhön liittyvään laskutehtävään. 14164

Laajemman hankkeen kerrottiin tuottaneen kolmessa kuukaudessa 36 käsikirjoitusta, joiden tekijöinä oli 19 tutkijaa 18 alalta. Mukana oli esimerkiksi ekologiaa ja populaatiogenetiikkaa. Luvut kuvaavat raportoituja tutkimustuotoksia, eivät sitä, että jokainen tulos olisi jo riippumattomasti varmennettu: Schwartzin mukaan useita tuloksia tarkistettiin vielä. 3154

Miksi asiantuntijoita tarvitaan yhä?

Schwartz käyttää ilmausta ”impedanssisovitus” kuvaamaan kuilua tutkijoiden tarpeiden ja nykyisten kielimallien vahvuuksien välillä. Mallit voivat olla hyödyllisiä rajatuissa laskutehtävissä, kun ongelma ja tarkistustapa on määritelty selvästi. Tutkimukseen kuuluu kuitenkin myös sen ratkaiseminen, mitkä kysymykset ovat kiinnostavia ja mitä vastauksista pitäisi päätellä. 15

Schwartzin mukaan Claude löysi eri tieteenalojen välisiä yhteyksiä, jotka saattoivat olla teknisesti oikein mutta tieteellisesti vaatimattomia. Asiantuntijat auttoivat suuntaamaan työn kysymyksiin, joilla oli merkitystä kyseisillä aloilla. Ero on olennainen: laskennan tarkistaminen voi osoittaa, että tulos läpäisee määritellyt testit, mutta tieteellinen harkinta auttaa päättämään, mitä kannattaa laskea ja mitä tulos merkitsee. 5

Mitä BootLoops osoittaa – ja mitä se ei takaa?

BootLoops tarjoaa tavan jäsentää tekoälyn avustamaa tutkimusta testattavien tehtävien, riippumattomien tarkistusten ja ihmisten asiantuntemuksen ympärille. Raportoidut tulokset havainnollistavat lähestymistavan mahdollisuuksia, mutta niitä ei pidä tulkita yleiseksi oikeellisuustakuuksi tai lisävarmennuksen korvikkeeksi. Tarkistettu laskutulos ei yksin riitä perusteeksi suuren vaikutuksen päätökselle: myös tutkimuskysymys, oletukset ja mahdolliset seuraukset vaativat ihmisen arviointia. 245