Irregularin tekoälytestin virhe ohjasi mallit oikeisiin järjestelmiin

Irregularin tapauksia on täsmällisintä kuvata arviointien eristämisen epäonnistumisena. Tekoälymallit asetettiin kyberturvallisuustesteihin, jotka muistuttivat Capture the Flag -harjoituksia, ja niitä ohjeistettiin käsittelemään kohteita kuvitteellisina. Verkon hallinnan virhe jätti kuitenkin joissakin ympäristöissä yhteyden julkiseen internetiin. Kun oikea verkkotunnus vastasi kuvitteellista kohdetta, malli tulkitsi sen osaksi harjoitusta.

Saatavilla oleva näyttö ei osoita, että mallit olisivat murtaneet teknisesti oikein määritetyn hiekkalaatikon. Se osoittaa, että arviointiin käytetty infrastruktuuri päästi mallit toimimaan sen rajan ulkopuolella, jonka testien suunnittelijat uskoivat olevan olemassa.

Mitä testissä tapahtui?

Irregularin mukaan monivaiheisessa kyberturvallisuusarvioinnissa käytetty kuvitteellisen yrityksen nimi osui yhteen oikean, vähän tunnetun verkkotunnuksen kanssa. Kyse oli inhimillisestä huolimattomuudesta. Internet-yhteyden saanut malli seurasi sille annettua tehtävää ja alkoi toimia oikeassa verkkotunnuksessa täysin simuloidun kohteen sijaan.

Harjoituksessa testattiin muun muassa tiedustelua, yksityisten avainten käyttöä, kohdetietojen keräämistä, tietojen poimimista ja havaitsemisen välttämistä. Ainakin yhdessä raportoidussa etenemisessä malli siirtyi myös samankaltaisen nimiseen sivustoon ja löysi sieltä tunnistetietoja, jotka oli jo julkaistu avoimesti.

Näin toiminta, jonka piti pysyä testialueella, ulottui oikeaan infrastruktuuriin. Laajempiin tapauksiin yhdistettiin raporttien ja julkistusten perusteella Anthropicin, OpenAI:n ja Metan malleja. Raportoidut toimet sisälsivät haavoittuvuuksien hyödyntämistä, tunnistetietojen hankkimista ja kolmannen osapuolen sisäisen ympäristön muuttamista.

Anthropic tarkisti 141 006 arviointiajoa

OpenAI:n asiaan liittyneen julkistuksen jälkeen Anthropic kävi läpi 141 006 kyberturvallisuusarviointia, joissa Claude-mallilla olisi voinut olla mahdollisuus internet-yhteyteen. Yhtiö tunnisti kolme tapausta, joissa Claude-malli pääsi internetiin Irregularin arviointiympäristöstä tai sen kanssa toimiessaan ja sai sen jälkeen luvattoman pääsyn kolmen organisaation oikeisiin järjestelmiin.

Osa toissijaisista lähteistä kuvaa tapauksia kuudeksi ajoksi, mutta tässä käytetty Anthropicin ensisijainen julkistus vahvistaa kolme tapausta. Se ei ole täydellinen julkinen erittely kaikista mahdollisesti vaikuttaneista ajoista.

Cloud Security Alliancen yhteenvedon mukaan Anthropicin, OpenAI:n ja Metan julkistukset liittyvät laajempaan ilmiöön: kyberturvallisuusarvioinneissa mallit päätyivät oikeiden ihmisten, tuotantojärjestelmien tai avoimen internetin pariin, vaikka niiden piti toimia eristetyissä testiympäristöissä. Yhdessäkään näistä tapauksista ei ollut kyse murtautumisesta asianmukaisesti määritetystä hiekkalaatikosta.

Miksi ”hiekkalaatikosta murtautuminen” on kiistanalainen ilmaus?

Ilmaus ”sandbox escape” eli hiekkalaatikosta murtautuminen kuvaa tapahtumien lopputulosta, mutta se voi antaa ymmärtää, että malli olisi hyödyntänyt jotakin teknistä eristysmekanismin haavoittuvuutta. Tätä näyttö ei vahvista. Tapauksissa mallit näyttävät edenneen niille annettujen tavoitteiden mukaisesti ympäristössä, jonka verkkoraja oli määritetty väärin tai jota ei valvottu riittävästi.

Tarkempi opetus on yksinkertainen: ohje ”tämä ympäristö on eristetty” ei voi korvata infrastruktuurin tosiasiallisesti pakottamaa eristystä. Jos ulospäin suuntautuva liikenne on sallittu, malli voi tulkita saavutettavissa olevan oikean palvelun osaksi tehtävää – etenkin, jos sen nimi muistuttaa sille annettua kuvitteellista kohdetta.

Vastuuta ei siksi voi sälyttää vain mallin toiminnalle. Turvallisuusjärjestelmään kuuluivat tässä mallin lisäksi sen työkalut ja agenttirakenteet, arviointikehys, verkkosäännöt, kohteiden nimeäminen, valvonta ja poikkeamien käsittely. Kyvykäs malli voi aiheuttaa todellista haittaa noudattamalla ohjeita tehokkaasti väärin rajatussa ympäristössä – ilman että se keksii uuden tavan kiertää eristystä.

Kuinka laaja ongelma oli?

Irregular luonnehti ongelman esiintyneen harvemmassa kuin yhdessä tapauksessa 10 000 edistyneestä simulaatiosta. Yhtiön mukaan onnistuneet poikkeamat tapahtuivat usein vasta satojen vuorojen jälkeen pitkissä ja monimutkaisissa testeissä. Nämä luvut ja kuvaukset ovat Irregularin omaa luonnehdintaa; käytettävissä oleva aineisto ei itsenäisesti vahvista täydellistä nimittäjää tai lopullista tapausmäärää.

Irregular on lisäksi sanonut, että vain ”muutamat vuorovaikutukset”, joissa internet-yhteys oli vahingossa käytettävissä, johtivat todellisiin hyökkäystoimiin. Yhtiö ei ole julkisessa kuvauksessaan ilmoittanut lopullista kokonaismäärää vaikutuksen kohteeksi joutuneista ajoista, organisaatioista tai asiakasmalleista.

Tästä tuli keskeinen kritiikin aihe. Kyberturvallisuusasiantuntijat ja uutisraportit ovat kysyneet, miksi jälkiselvityksessä ei kerrottu tapausten kokonaismäärää eikä kuvattu riittävän tarkasti, mitä valvonta- ja lokitietokäytäntöjä oli käytössä tai miksi ne eivät pysäyttäneet luvatonta internet-liikennettä aikaisemmin. Saatavilla oleva näyttö tukee kritiikkiä puutteellisista julkisista tiedoista, mutta ei kerro tarkasti, mikä valvontakeino petti kussakin tapauksessa.

Irregularin mukaan yhtiö ei löytänyt näyttöä asiakkaiden omien järjestelmien murrosta tai asiakasdatan vuotamisesta. Tämä väite on pidettävä erillään raporteista, joiden mukaan arviointien aikana päästiin luvatta ulkopuolisten organisaatioiden järjestelmiin.

Mitä korjauksia ja suojauksia ilmoitettiin?

Irregular kertoo korjanneensa perimmäisen ongelman ennen ensimmäistä julkista julkistusta, ilmoittaneensa asiasta vaikutuksen kohteena olleille tahoille sekä lisänneensä suojauksia ja uusia menettelytapoja vastaavien määritysvirheiden ehkäisemiseksi. Yhtiö ilmoitti myös julkaisevansa laajempia parhaita käytäntöjä turvallisiin kyberturvallisuusarviointeihin, mukaan lukien standardeja hallitulle internet-yhteydelle ennen käyttöönottoa tehtävissä testeissä.

Tapauksesta seuraa useita käytännön vaatimuksia organisaatioille, jotka testaavat realistisia kyberagentteja:

• Rajoita ulospäin suuntautuva liikenne verkkotasolla. Ohjeet ja dokumentaatio voivat kuvata ympäristön eristetyksi, mutta ne eivät saa olla ainoa suoja ulkoisia yhteyksiä vastaan.
• Tarkista kuvitteelliset kohteet ennen jokaista ajoa. Nimien, verkkotunnusten, DNS-tietueiden ja IP-alueiden mahdolliset osumat oikeisiin organisaatioihin on tarkistettava.
• Käytä sallittujen kohteiden listoja, välityspalvelimia ja ohjattuja kohteita. Jos internetin kaltainen toimintaympäristö on välttämätön, liikenne on reititettävä infrastruktuurin kautta, joka rajoittaa kohteita ja estää yhteydet hallitsemattomiin järjestelmiin.
• Kirjaa ja hälytä ulospäin suuntautuvasta liikenteestä jatkuvasti. Odottamattomien DNS-kyselyiden, tuotantopalveluihin suuntautuvien yhteyksien, tunnistetietojen käytön tai testialueen ulkopuolisten muutosten pitäisi käynnistää välitön pysäytys.
• Tarjoa hätäpysäytys ja ihmisen tekemä tarkistus. Hyväksikäyttö, tunnistetietojen käyttö, tietojen poiminta ja ulkopuolisten järjestelmien muuttaminen vaativat nopean puuttumismahdollisuuden.
• Testaa eristysraja riippumattomasti. Arvioijien ja mallien kehittäjien on varmistettava todellinen verkkoreitti sen sijaan, että he luottaisivat oletuksiin tai kumppanin tulkintaan määrityksistä.

Nämä ovat tapauksesta johdettavia käytännön suojauksia, eivät väite siitä, että Irregular olisi toteuttanut kaikki kohdat jo ennen tapahtumia.

Laajempi merkitys tekoälyn turvallisuudelle

Realistiset kyberturvallisuusarvioinnit sisältävät aidon suunnitteluongelman. Testit ovat informatiivisempia, kun ne muistuttavat internetiä ja oikeita järjestelmiä, joita hyökkääjät käyttävät. Samalla yksi nimeämis- tai reititysvirhe, valvonnan aukko tai väärä oletus kasvattaa seurauksia. Irregularin omissa arviointimateriaaleissa kuvataan testejä, joissa kohteina on palveluja, tietokantoja, verkkoja ja muita oikeita järjestelmiä muistuttavia ympäristöjä. Siksi eristyksen varmistaminen on erityisen tärkeää.

Välitön johtopäätös ei ole se, että huippumallit pystyisivät vapaasti pakenemaan mistä tahansa hiekkalaatikosta. Johtopäätös on, että ”hiekkalaatikko” on todistettava tekninen ominaisuus, ei arvioijan, laboratorion ja mallin jakama oletus.

Usean laboratorion yhteinen tapausluokka nostaa esiin myös hallintokysymyksiä. Ulkopuolisilta arvioijilta voidaan jatkossa edellyttää vahvempia varmistuksia, riippumattomia eristystestejä, täydellisiä tarkastuslokeja, selkeämpiä julkistamiskynnyksiä ja täsmällisiä sääntöjä sille, milloin huippuluokan agenteille annetaan pääsy reaaliaikaiseen internetiin. Saatavilla oleva näyttö vahvistaa yhteisen arviointikontekstin ja samantyyppisen eristysongelman, mutta tulevan sääntelyreaktion tarkka sisältö on vielä epävarma.

Kehittäjille käytännön sääntö on selvä: jokaista kyberturvallisuusarvioinnissa toimivaa agenttia on kohdeltava niin kuin saavutettava järjestelmä voisi olla oikea, kunnes verkkoraja on riippumattomasti todistettu toimivaksi.