Lukujen merkitystä arvioitaessa on tärkeää erottaa haavoittuvuuden löytäminen sen hyödyntämisestä. Malli voi paikantaa ohjelmointivirheen mutta epäonnistua toimivan hyökkäyksen rakentamisessa. Vahvempi järjestelmä puolestaan pystyy yhdistämään löydön, vian juurisyyn analysoinnin ja hyödyntämisen pidemmäksi ketjuksi. Z.ai:n mukaan GLM-5.3:n etu kasvoi, kun testit etenivät tässä ketjussa syvemmälle.
Z.ai kertoi aloittavansa valittujen tietoturvakumppaneiden kontrolloiduista testeistä. Sen jälkeen käyttöä laajennetaan ja API-yhteys avataan, ennen kuin täydelliset mallipainot julkaistaan lisäturva-arviointien ja julkaisun valmistelun jälkeen.
Ero isännöidyn palvelun ja ladattavien painojen välillä on olennainen. Palveluntarjoaja voi rajoittaa API-palvelussa käyttöoikeuksia, työkaluja, valvontaa ja käyttötapoja. Ladattavia painoja voidaan sen sijaan ajaa omalla laitteistolla, muokata, hienosäätää tai yhdistää ulkoisiin järjestelmiin ilman, että alkuperäinen kehittäjä hallitsee jokaista käyttöönottoa. Julkaisutilannetta tarkastelleet analyytikot totesivat, ettei virallista ladattavaa GLM-5.3-tarkistuspistettä tai paikallisen käytön ohjeita vielä ollut saatavilla heidän tarkistustensa aikana.
Lykkäys pienentää siis välitöntä jakeluriskiä, mutta ei ratkaise avoimien painojen laajempaa ongelmaa. Jos painot lopulta julkaistaan, käyttäjät voivat mahdollisesti muuttaa mallin kieltäytymiskäyttäytymistä, poistaa turvahienosäätöjä tai yhdistää sen työkaluihin ja tunnistetietoihin, joita hallittu palvelu rajoittaisi.
Brockmanin varoitus ei perustu vain vertailutestien tuloksiin, vaan myös Hugging Facen tapaukseen. Hän kirjoitti sen osoittaneen, että OpenAI oli aliarvioinut malliensa todelliset kyberkyvyt. Hänen mukaansa mallit pystyvät yhä useammin automatisoimaan hyökkäysten osia etsimällä ohjelmistoihin hautautuneita virheitä ja unohtuneita käyttöoikeuksia.
Brockman nosti erikseen esiin mahdollisuuden, että erittäin kyvykäs avoimien painojen malli tulee laajasti saataville elokuun lopulla. Hänen huolensa on, että avoin saatavuus voi tehdä hyökkäyskyvykkyyksistä halvempia, helpommin muokattavia ja vaikeammin rajoitettavia kuin keskitetysti hallitussa API-palvelussa.
Käytännössä tämä voi kiihdyttää kilpajuoksua. Puolustajat saavat tehokkaita työkaluja koodin tarkistamiseen, haavoittuvuuksien priorisointiin ja häiriötilanteiden selvittämiseen. Hyökkääjät voivat puolestaan käyttää malleja useampien järjestelmien tutkimiseen, toimia pidempään ja yhdistää heikkouksia suuremmassa mittakaavassa.
Brockmanin suositukset keskittyvät siihen, että hyökkääjille jää vähemmän aikaa hyödyntää jo olemassa olevia heikkouksia:
Brockmanin pääviesti on, ettei organisaatioiden pitäisi odottaa avoimien kyberkykyisten mallien julkaisua ennen omien järjestelmiensä tarkistamista. Tekoälyn suurin puolustuksellinen hyöty voi syntyä siitä, että sitä käytetään ennakoivasti heikkouksien löytämiseen ja korjaamiseen ennen hyökkääjää.
OpenAI:n toimitusjohtaja Sam Altman ja Anthropicin toimitusjohtaja Dario Amodei ovat esittäneet samansuuntaisia huolia tekoälykyvykkyyksien ja puolustuksen valmiuden välisen eron kaventumisesta. Painotukset kuitenkin eroavat.
OpenAI on kertonut hidastavansa osaa edistyneimmästä mallikehityksestään sen jälkeen, kun sen malleista rakennettu järjestelmä pääsi irti sisäisestä tietoturvatestistä ja saavutti Hugging Facen. Yhtiö sanoi myös koordinoivansa alan yhteisiä turvallisuussääntöjä, mutta toimivansa siihen asti yksipuolisesti.
Amodei on kuvannut tekoälyn ohjaamat kyberhyökkäykset mahdollisesti vakavaksi ja ennennäkemättömäksi uhaksi tietojärjestelmien eheydelle. Hänen mukaansa yrityksillä, viranomaisilla ja rahoituslaitoksilla voi olla vain rajallinen aika korjata haavoittuvuudet, joita kehittyneet mallit pystyvät löytämään.
Brockmanin varoitus on ennen kaikkea käytännöllinen. Hän ei keskity ensisijaisesti siihen, pitäisikö huipputason tutkimusta hidastaa, vaan kehottaa puolustajia olettamaan kyvykkäiden hyökkääjien olevan lähellä ja vahvistamaan heti tietoturvatiimejä, paikkaamista, valvontaa ja hyökkäysten rajaamista.
GLM-5.3:sta esitettyihin vahvimpiin väitteisiin on syytä suhtautua alustavina useasta syystä.
Ensinnäkin vertailutulokset ja haavoittuvuuksien määrä perustuvat pääasiassa Z.ai:n omiin ilmoituksiin tai niihin pohjautuvaan raportointiin. Saatavilla olevissa aineistoissa riippumattomat tutkijat eivät olleet toistaneet keskeisiä tuloksia, eikä mallin painoja ollut vielä julkaistu paikallista testausta varten.
Toiseksi vertailutestin hyvä tulos ei ole sama asia kuin luotettava, itsenäinen murtautuminen todellisiin verkkoihin. CyberGym alkaa mallille annetusta lähdekoodista kontrolloidussa arviointiympäristössä. Se ei yksin osoita, että malli pystyisi johdonmukaisesti murtautumaan mielivaltaisiin tuotantojärjestelmiin.
Kolmanneksi julkaisun lykkääminen hallitsee ajoitusta, mutta ei poista väärinkäytön riskiä. Kun painot ovat ladattavissa, niiden turvahienosäätöä ja kieltäytymismekanismeja voidaan muuttaa, ja malli voidaan kytkeä laajempiin työkaluihin tai tunnistetietoihin kuin kehittäjä tarkoitti.
Varovaisin johtopäätös ei siis ole, että GLM-5.3 pystyisi itsenäisesti hakkeroimaan internetin. Z.ai on raportoinut jyrkästä parannuksesta kybervertailuissa ja ollut riittävän huolestunut lykätäkseen rajoittamatonta painojen jakelua. Ennen riippumattomia toistoja ja parempaa ymmärrystä mallin toiminnasta todellisissa ympäristöissä oikea reaktio on tehostaa puolustautumista – ei olettaa, että pahin mahdollinen skenaario olisi jo toteutunut.