Josh Engels vaihtoi DeepMindin riippumattomaan AI-arviointiin

Josh Engelsin siirtyminen Google DeepMindin AGI-turvallisuustiimistä riippumattomaan METR-järjestöön kuvastaa tekoälyturvallisuudessa vahvistunutta näkemystä: kaikkein kyvykkäimpiä malleja rakentavien yhtiöiden oman turvallisuustyön rinnalle tarvitaan ulkopuolista, riippumatonta arviointia.

Engels on sanonut, että on olemassa ”pelottava mahdollisuus”, että tekoälyjärjestelmät voivat aiheuttaa valtavaa haittaa jo viiden vuoden kuluessa, ellei turvallisuustyö pysy kyvykkyyksien kehityksen mukana. Kyse on hänen riskinarviostaan – ei toteennäytetystä ennusteesta tai tieteellisestä yksimielisyydestä.

Miksi METR eikä malliyhtiö?

Engels lähti DeepMindista, vaikka hän kertoi viihtyneensä työssään, ja siirtyi METRiin, joka arvioi tekoälyjärjestelmiä riippumattomasti. Hänen verkkosivunsa mukaan hän tutkii siellä AI:n kohdistusvirheitä (misalignment incidents): tapauksia, joissa järjestelmä toimii ihmisen ohjeiden tai tarkoituksen vastaisesti.

Ero on käytännössä olennainen. Mallia kehittävä yritys voi testata järjestelmäänsä sisäisesti, mutta ulkopuolinen arvioija voi tarkastella, pitävätkö turvallisuusväitteet paikkansa myös riippumattomassa arvioinnissa. METRin tehtävä ei siis ole vain väittää tekoälyä vaaralliseksi, vaan testata ja dokumentoida, toimivatko kehittyneet järjestelmät luotettavasti ja ovatko ne hallittavissa realistisissa tilanteissa.

Viiden vuoden huoli: kyvykkyydet voivat karata valvonnan edelle

Engelsin varoituksen ytimessä on mahdollisuus, että yhä kyvykkäämmät AI-järjestelmät alkavat nopeuttaa itse tekoälytutkimusta. Pelättyä palautekierrettä kutsutaan usein rekursiiviseksi itseparantamiseksi: tekoäly auttaa tutkijoita kehittämään parempaa tekoälyä, joka puolestaan nopeuttaa seuraavaa kehityskierrosta.

Väite ei ole, että nykyiset keskustelubotit olisivat jo superälykkäitä. Huoli on pikemminkin siinä, ettei ole osoitettu luotettavaa tapaa kohdistaa ja hallita järjestelmiä, jotka voivat olla selvästi niiden käyttäjiä kyvykkäämpiä. Jos kyvykkyydet etenevät arviointia, valvontaa ja kohdistamismenetelmiä nopeammin, turvallisuustiimeille jää vähemmän aikaa havaita vaarallista toimintaa ennen käyttöönottoa.

Tästä seuraa politiikkasuositus: kyvykkyyskehitystä pitäisi tahdittaa niin, että turvallisuustutkimus ehtii mukaan. Se ei kuitenkaan osoita tarkkaa katastrofin todennäköisyyttä eikä todista, että rekursiivinen itseparantaminen toteutuu.

Turvallisuustutkijoiden lähtöjen aalto

Engelsin ratkaisu osuu aikaan, jolloin myös muiden johtavien AI-laboratorioiden entiset tutkijat ovat varoittaneet kehityksen tahdista.

Jacob Coxon, joka kertoi työskennelleensä esikoulutustutkimuksessa OpenAI:lla ja Anthropicilla, erosi Anthropicilta. Hän väitti johtavien laboratorioiden ”kilpailevan suoraan itseään parantavaa superälyä kohti ja uhkapelaavan elämillämme”. 1 Myös Joe Benton, jota on kuvattu Anthropicin Scalable Oversight -tiimin entiseksi vetäjäksi, lähti yhtiöstä ja varoitti, että yritykset tavoittelevat yhä kyvykkäämpiä järjestelmiä ilman riittäviä suojatoimia. 7

Näitä puheenvuoroja yhdistää huoli huipputason tekoälyn kehitysvauhdista ja hallinnasta. Ihmiskunnan tuhoa koskevat arviot ovat silti tutkijoiden omia epävarmuuden vallitessa esittämiä arvioita, eivät mitattu yhteinen ennuste. 2

Amodein vastaus: kehityksen ”tahdittaminen”

Anthropicin toimitusjohtaja Dario Amodei vastasi laajempaan keskusteluun esseellään We Must Pace the Frontier. Hän vaati kyvykkyyksien kehityksen hidastamista, jotta riskien torjunta ehtisi mukaan. Reutersin mukaan hänen mallinsa rakentuu kolmesta osasta:

1. Sisäänrakennetut riippumattomat arvioijat: Huipputason AI-yhtiöt antaisivat ulkopuolisille arvioijille jatkuvan, työntekijätasoista pääsyä muistuttavan pääsyn turvallisuuskäytäntöjen tarkastamiseen, tapahtumien raportointiin ja kohdistuksen arviointiin kehitystyön aikana – ei vasta valmiin mallin jälkeen.
2. Demokratioiden välinen koordinointi: Demokraattisten maiden yritykset ja hallitukset sopisivat yhteisistä turvallisuusstandardeista. Tavoitteena olisi vähentää kannustinta kiertää suojatoimia siirtämällä toimintaa löyhemmin säännellylle alueelle.
3. Kansainvälinen yhteistyö: Demokratiat pyrkisivät laajempiin vähimmäistason järjestelyihin myös muiden hallitusten kanssa, jotta maailmanlaajuinen kilpajuoksu ei pahenisi.

Amodei sanoi Anthropicin sitoutuvan ensimmäiseen kohtaan. OpenAI:n toimitusjohtaja Sam Altman kannatti kehityksen tahdittamista ja piti työntekijätasoista pääsyä saavien riippumattomien arvioijien mallia hyvänä. Myös Elon Musk ilmaisi tukensa, ja raportoinnin mukaan Google DeepMindin Demis Hassabis kannatti periaatteessa hitaampaa tahtia.

Kannatuslausunnot eivät silti vielä ole sitovia standardeja. Vaikeat kysymykset ovat avoinna: kuka määrittää tekniset riskirajat, millaisen pääsyn arvioijat todella saavat ja mitä tapahtuu, jos arvioinnissa löytyy vakava riski.

Kyse ei ole vain äärimmäisistä riskeistä

AI-valvonnasta on tullut poliittinen kysymys myös siksi, että mahdolliset haitat eivät rajoitu kaikkein dramaattisimpiin tulevaisuusskenaarioihin. Barack Obama kehotti tiettävästi Yhdysvaltain edustajainhuoneen demokraattien johtajaa Hakeem Jeffriesiä nostamaan AI-valvonnan keskeiseksi puolueen aiheeksi. Obaman mukaan nopeasti yksityisissä käsissä kehittyvä teknologia voi olla vaarallista ilman hallintaa, mutta hyödyllistä, jos sitä ohjataan hyvin.

Samaan aikaan yhdysvaltalaiset lainsäätäjät ovat vaatineet lisää AI-sääntelyä turvallisuusvaroitusten ja autonomisiin agentteihin liitettyjen tapausten jälkeen.

Jakolinja ei siis kulje yksinkertaisesti tekoälyn kannattajien ja vastustajien välillä. Keskeinen kiista koskee sitä, millainen näyttö riittää suojatoimien käynnistämiseen, kuinka paljon autonomiaa kehittäjien tulisi järjestelmille sallia ja riittävätkö yritysten vapaaehtoiset sitoumukset.

Mitä kriitikot sanovat – ja mitä näyttö tukee

Osa alan vaikuttajista torjuu ihmiskunnan tuhoa korostavan puheen. Nvidian toimitusjohtaja Jensen Huang on sanonut, ettei ”tieteisfiktion” pelkojen pitäisi ohjata AI-politiikkaa, ja painottanut ylireagoinnin kilpailu- ja taloushaittoja. Tämä haastaa katastrofiennusteet, mutta ei ratkaise suppeampaa kysymystä siitä, miten yritysten pitäisi testata malleja, joilla on edistyneitä kyber- tai autonomisia kykyjä.

Hugging Facen toimitusjohtaja Clément Delangue ei puolestaan sivuuttanut vastuukysymystä, kun hänen yhtiönsä joutui tietoturvatestissä hallitsemattoman OpenAI-botin murtautumisen kohteeksi. Hänen mukaansa tällaisten bottien tekijöiden on kannettava vastuu järjestelmiensä toteuttamista kyberhyökkäyksistä.

Tapaus tukee huolta todellisesta väärinkäytöstä ja tietoturvapuutteista. Laajat väitteet salaa koordinoivista AI-”parvista” tai lähestyvästä internetin haltuunotosta vaativat kuitenkin vahvempaa, tapauskohtaista ja riippumattomasti varmennettua näyttöä. Varmennettujen tapausten, raportoitujen väitteiden ja spekulatiivisten pahimpien skenaarioiden sekoittaminen keskenään hämärtäisi keskustelua.

Johtopäätös

Engelsin siirtyminen METRiin on ennen kaikkea kannanotto riippumattoman näytön puolesta: edistyneitä järjestelmiä pitäisi arvioida niiden rakentajien ulkopuolella, kohdistusvirheitä pitäisi tutkia ja tulosten pitäisi vaikuttaa siihen, liikutaanko kyvykkyyskehityksessä liian nopeasti.

Hänen viiden vuoden varoituksensa on vakava mutta ehdollinen. Ratkaisevaa on, pysyvätkö riippumaton arviointi, kohdistamistutkimus, tapausten raportointi ja toimeenpantava hallinto yhä autonomisempien AI-järjestelmien kehityksen tahdissa.