Anthropicin Mythos 5.1 -päätös jätti Britannian AI-turvallisuusinstituutin ulkopuolelle

Anthropic ei ole kertonut julkisesti, miksi se ei antanut Claude Mythos 5.1:tä Britannian AI Security Instituten (AISI) ennakkotestattavaksi. Siksi varmaa motiivia ei ole mahdollista nimetä.

Tiedossa on vain rajatumpi asia: AISI ei saanut ennakkoon pääsyä malliin, jonka käyttö on rajattu valikoiduille, tarkastetuille toimijoille. Britanniassa on herännyt huoli siitä, voivatko tällaiset pääsyjärjestelyt kaventaa riippumatonta turvallisuusarviointia. Tämä on kuitenkin tulkinta, ei Anthropicilta vahvistettu selitys. 34

Mitä Mythos 5.1:stä tiedetään?

Anthropic kuvaa Claude Mythos 5.1:tä Project Glasswing -osallistujille tarkoitetuksi malliksi. Claude Fable 5.1 puolestaan on saatavilla Anthropic API:n sekä useiden pilvipalvelujen kautta vaativaan agenttimaiseen työskentelyyn, koodaukseen, tietotyöhön ja tutkimukseen. Molemmissa malleissa on miljoonan tokenin konteksti-ikkuna ja enintään 128 000 tokenin vastauspituus. 16

Lähtökohtainen huoli liittyy siihen, että rajoitetun mallin turvallisuusominaisuuksien ja mahdollisten korkean riskin kyvykkyyksien arviointi jää vajavaiseksi, jos riippumaton julkinen toimija ei pääse testaamaan sitä ennen käyttöönottoa.

Miksi AISI:n pääsy olisi tärkeä?

AISI on Britannian hallinnon tutkimusorganisaatio, jonka tehtävänä on tuottaa hallituksille empiiristä tietoa edistyneiden tekoälymallien riskeistä, testata johtavia järjestelmiä ja arvioida riskienhallintakeinoja. Instituutilla on yli 100 teknistä asiantuntijaa, ja se on testannut yli 30:tä kehittynyttä mallia. 2456

Juuri tällaisen toimijan arvo on siinä, että se voi arvioida mallia kehittäjän omien mittausten ulkopuolelta. Ulkopuolinen testaus voi paljastaa esimerkiksi kyberturvallisuuteen, biologiseen tutkimukseen tai mallin autonomiseen toimintaan liittyviä kyvykkyyksiä, jotka eivät näy tavanomaisessa käytössä.

Mitä päätöksestä ei voi päätellä?

Saatavilla olevan tiedon perusteella ei voi päätellä, että Yhdysvaltain hallinto olisi määrännyt Anthropicin rajaamaan pääsyn AISI:ltä tai että päätös olisi ollut lain edellyttämä. Mahdollisia selityksiä voisivat olla esimerkiksi vientivalvontaan liittyvä varovaisuus, kyber- tai bioturvallisuuteen liittyvä kansallisen turvallisuuden herkkyys, kaupallinen luottamuksellisuus tai suppea käyttöoikeuspolitiikka.

Koska Anthropic ei ole esittänyt julkista perustelua, näiden vaihtoehtojen välillä ei voi tehdä luotettavaa valintaa.

Kyse on avoimuuden aukosta, ei todistetusta vaarasta

AISI jatkaa yhteistyötä tekoälykehittäjien kanssa, ja sen mukaan kehittäjät osallistuvat sen arviointeihin, koska testaus on tiukkaa, toistettavaa ja todellisiin riskeihin sidottua. 4 Instituutin julkinen trendiraportointi perustuu kahden vuoden kehittyneiden mallien testaukseen muun muassa kyberturvallisuuden, biologian ja kemian, autonomisen toiminnan sekä suojamekanismien alueilla. 814

Mythos 5.1:n puuttuminen AISI:n ennakkoarvioinnista ei siis todista, että malli olisi itsessään vaarallinen. Se tarkoittaa kuitenkin, että yksi keskeinen riippumaton arvioija ei voinut selvittää ennen käyttöönottoa, toimivatko rajoitetun mallin suojaukset ja käyttörajat tarkoitetulla tavalla.