Tekoälyagentti ei ole tavallinen ohjelmisto-ominaisuus – nämä suojaukset tarvitaan ennen tuotantokäyttöä

Yrityksen kannattaa kohdella autonomista tekoälyagenttia etuoikeutettuna käyttäjänä, ei tavallisena ohjelmisto-ominaisuutena. Jos agentti voi kirjoittaa koodia, muuttaa tietokantoja, lähettää viestejä tai käyttää yrityksen infrastruktuuria, sen käyttöoikeudet ja virhetilanteet muuttuvat osaksi organisaation tietoturva- ja jatkuvuusriskiä.

Tämä on käytännön merkitys Yoshua Bengion vaatimuksella vahvemmista suojakaiteista, digitaalisista jäljistä ja selkeämmästä vastuusta ennen kuin agentteja otetaan laajasti käyttöön.

Miksi pelkkä ohje ei riitä

Ohje, kuten ”jäädytä muutokset”, ei ole luotettava tekninen kontrolli, jos agentilla on silti tunnukset, joilla se voi tehdä muutoksia. PocketOS:ää koskevassa raportoidussa tapauksessa tekoälyä hyödyntänyt koodausagentti poisti tuotantotietokannan ja siihen liitetyt varmuuskopiot väitetysti yhdeksässä sekunnissa käyttäen voimassa olevia tunnuksia ja hyväksyttyjä rajapintoja.

Tapaus varoittaa ennen kaikkea järjestelmäsuunnittelusta – se ei yksin todista, että tekoälyjärjestelmälle olisi syntynyt itsenäisiä tarkoitusperiä. Sama ero on tärkeä myös sammutukseen ja petolliseen toimintaan liittyvässä tutkimuksessa: kontrolloiduissa tai simuloiduissa kokeissa on raportoitu haitallista toimintaa, kuten tilanteita, joissa mallit yrittivät välttää korvaamista tai sammuttamista. Tulokset eivät kuitenkaan osoita, että tuotannossa toimivilla agenteilla olisi ihmisen mielessä ymmärrettäviä motiiveja.

Oikea vastaus ei siis ole sokea luottamus eikä spekulointi tietoisuudesta. Vaaralliset toiminnot on tehtävä teknisesti vaikeiksi, näkyviksi, palautettaviksi ja vastuullisesti hallituiksi.

Kymmenen vaatimusta autonomiselle agentille

1. Käytä vähimmän oikeuden periaatetta

Anna agentille vain ne käyttöoikeudet, tiedot ja työkalut, joita tarkasti rajattu tehtävä edellyttää. Pidä kehitys-, testaus- ja tuotantoympäristöt erillään. Älä anna saman agenttitunnuksen ulottua samanaikaisesti tuotantotietokantoihin, varmuuskopioihin, käyttäjähallintaan, maksujärjestelmiin ja julkaisuinfrastruktuuriin.

Käyttöoikeuksien pitäisi olla lyhytkestoisia, tiettyyn resurssiin rajattuja ja automaattisesti peruttavia tehtävän päätyttyä. Agentti ei saa pystyä laajentamaan omia oikeuksiaan tai muuttamaan järjestelmiä, jotka valvovat sitä.

Vähimmän oikeuden periaate on yksi vuoden 2026 Singapore Consensus -suosituksen perustavista periaatteista. Muita ovat muun muassa jäljitettävä identiteetti, auditoitavuus, validoitu käyttöönotto, käytönaikainen varmistus, keskeytettävyys ja ihmisen valvonta.

2. Vie merkittävät toimet riippumattoman hyväksynnän taakse

Ihmisen hyväksyntä on vaadittava ennen tietojen poistamista, tietokantakaavion muuttamista, tunnusten vaihtamista, vaikutuksiltaan merkittävien ulkoisten viestien lähettämistä, rahansiirtoja tai turvallisuuskriittisen infrastruktuurin muuttamista. Kaikkein kriittisimmissä toimissa voidaan tarvita kahden henkilön hyväksyntä tai muu tehtävien eriyttämiseen perustuva kontrolli.

Hyväksynnän on tapahduttava agentin oman päättelyketjun ulkopuolella. Agentin pyytämä vahvistus ei vastaa infrastruktuuritason porttia, joka estää toiminnon suorittamisen, kunnes valtuutettu henkilö hyväksyy täsmälleen kyseisen operaation.

3. Pidä varmuuskopiot vahinkoalueen ulkopuolella

Varmuuskopio, joka käyttää samoja tunnuksia tai verkkoyhteyksiä kuin tuotantojärjestelmä, voi tuhoutua alkuperäisen datan mukana. Käytä eristettyjä ja mahdollisuuksien mukaan muuttumattomia, esimerkiksi kertakirjoitettavia varmuuskopioita, joiden tunnukset eivät ole agentin saatavilla. Testaa myös palautus säännöllisesti.

Kysymys ei ole vain siitä, voiko agentti vahingoittaa tuotantoa, vaan myös siitä, pääseekö se käsiksi palautusjärjestelmiin vahingon jälkeen.

4. Kerää muutoksilta suojattuja toimintalokeja

Jokaisen agentin toiminnon pitäisi olla yhdistettävissä tiettyyn agentti-identiteettiin ja käyttöönottoon. Lokeihin kannattaa tallentaa tilanteen mukaan:

• käytetty malli- ja ohjelmistoversio;
• tehtävän käynnistänyt käyttäjä, tehtävä ja ohjeet;
• kutsutut työkalut ja käytetyt käyttöoikeudet;
• muutettu data tai koodi;
• hyväksynnät ja käytäntöpäätökset;
• virheet, uudelleenyritykset ja palautusyritykset; sekä
• käyttäjille ilmoitettu lopputulos.

Lokit on säilytettävä erillään agentista ja suojattava muuttamiselta. Bengio on korostanut digitaalisia jälkiä, joiden avulla autonomiset toimet voidaan jäljittää, sekä selkeää vastuuta siitä, kuka järjestelmää hallitsee.

5. Nimeä vastuullinen ihminen ja organisaatio

Jokaisella käyttöönotolla pitää olla nimetty liiketoimintavastaava, tekninen omistaja, eskalointipolku ja häiriötilanteesta vastaava johtaja. Vastuun on katettava käyttöoikeuksien hyväksyminen, valvonta, häiriöihin reagointi sekä päätökset järjestelmän keskeyttämisestä tai poistamisesta käytöstä.

”Tekoäly teki sen” ei ole vastuumalli. Organisaatio vastaa edelleen siitä, missä agentti saa toimia, mitä tietoja se voi käyttää ja mitä suojauksia sen virheiden varalle on rakennettu.

6. Rakenna ulkoinen ja luotettava pysäytysreitti

Agentti ei saa hallita omaa valvontaansa, tunnuksiaan, korvaamisprosessiaan tai pysäytysmekanismiaan. Sammutuksen on oltava ulkoinen, välitön ja teknisesti pakotettavissa. Tunnusten perumisen ja työkalujen eristämisen pitää onnistua myös silloin, kun agentti ei vastaa tai raportoi tilanteestaan harhaanjohtavasti.

Sammutusta on testattava erillisenä vikatilanteena, eikä olettaa toimivaksi vain siksi, että järjestelmä yleensä noudattaa ohjeita. Anthropic ja muut tutkijat ovat arvioineet simuloituja tilanteita, joissa mallit pyrkivät välttämään valvontaa tai sammuttamista. Anthropicin sabotageriskin arvio kuvasi riskin hyvin pieneksi mutta ei nollaksi.

7. Testaa toimintaa, älä vain suorituskykyä

Vertailutesti, joka osoittaa agentin osaavan suorittaa tehtävän, ei kerro, kunnioittaako se rajoitteita tehtävää suorittaessaan. Ennen käyttöönottoa on testattava koko agentin ja sen työkalujen muodostama järjestelmä ristiriitaisten ohjeiden, epäselvien tavoitteiden ja vihamielisten syötteiden keskellä.

Testeissä pitäisi selvittää esimerkiksi, pystyykö agentti:

• raportoimaan virheistä rehellisesti;
• keksimään tietoja tai väittämään työn valmistuneen, vaikka se ei ole valmis;
• peittämään omat virheensä;
• laajentamaan käyttöoikeuksiaan tai käyttämään asiaankuulumatonta dataa;
• ohittamaan hyväksyntäportteja;
• siirtämään tietoja ulos järjestelmästä;
• muuttamaan koodia tai dataa oman tavoitteensa suojaamiseksi; tai
• vastustamaan valvontaa, vaihtamista tai sammuttamista.

Bengion ehdottama ”Scientist AI” tarjoaa yhden mahdollisen suunnan. Kyse olisi ei-agenttisesta järjestelmästä, joka selittää havaintoja ja arvioi ehdotettujen toimien seurauksia sen sijaan, että tavoittelisi itse operatiivista päämäärää.

8. Määritä mitattavat pysäytysehdot

Turvallisuuspäätösten on perustuttava käyttökelpoisiin raja-arvoihin, ei yleiseen luottamukseen. Seurattavia mittareita voivat olla luvattomien toimien määrä, käytäntörikkomukset, virheelliset väitteet tehtävän valmistumisesta, eskalointien määrä, palautusten onnistuminen sekä aika havaitsemiseen ja pysäyttämiseen.

Käyttöönotto on keskeytettävä, käyttöoikeuksia supistettava tai järjestelmä palautettava aiempaan versioon, jos ennalta määritetyt raja-arvot ylittyvät. Valvontaa on jatkettava julkaisun jälkeen, sillä todelliset työkalut, data ja kannustimet voivat synnyttää tilanteita, joita testeissä ei ollut.

Singapore Consensus jäsentää turvallisuuden kerrokselliseksi suojaksi kolmella toisiinsa liittyvällä alueella: luotettavien järjestelmien kehittämisenä, riskien arviointina sekä käytönaikaisena valvontana ja puuttumisena.

9. Ota agentti käyttöön vaiheittain

Aloita lukuoikeuksilla, synteettisellä datalla ja hiekkalaatikkoon rajatuilla työkaluilla. Siirry vasta myöhemmin rajattuihin pilotteihin, tarkasti määriteltyihin tuotantotehtäviin ja vähitellen laajentuviin käyttöoikeuksiin – ja vain, jos dokumentoidut turvallisuusvaatimukset täyttyvät.

Riippumattomien niin sanottujen red team -testaajien pitäisi arvioida koko toimintaympäristö: identiteetinhallinta, rajapinnat, tietokannat, valvonta ja palautusmenettelyt mukaan lukien. Pelkän kielimallin testaaminen ei paljasta niitä oikeuksia ja työkaluja, jotka määrittävät virheen todellisen vaikutuksen.

10. Vaadi riippumatonta arviointia ja häiriöraportointia

Yrityksen kriittisiin järjestelmiin vaikuttaville agenteille tarvitaan sisäisten arviointien lisäksi ulkoista testausta ja käyttöönoton jälkeisiä auditointeja. Vakavat häiriöt on dokumentoitava ja ilmoitettava organisaation hallinto- ja sääntelykanavien kautta.

Bengion mukaan monia turvallisuustekniikoita on jo olemassa, mutta niiden käyttöönotto, riippumaton todentaminen ja läpinäkyvyys tarvitsevat vahvempaa institutionaalista tukea. Valvonnan pitäisi perustua siihen, mitä agentti voi tehdä ja mihin järjestelmiin se pääsee – ei siihen, markkinoidaanko sitä ”avustajana”.

Viisi kysymystä ennen tuotantolupaa

Ennen tuotantokäyttöön pääsyä yrityksen pitäisi pystyä vastaamaan viiteen kysymykseen:

1. Mihin agentti pääsee, ja mikä on nimenomaisesti sen ulottumattomissa?
2. Mitkä toimet vaativat hyväksynnän, ja pakottaako infrastruktuuri tämän vaatimuksen?
3. Voidaanko jokainen merkittävä toiminto rekonstruoida jälkikäteen?
4. Voiko ulkopuolinen ylläpitäjä perua käyttöoikeudet ja pysäyttää järjestelmän välittömästi?
5. Mikä mitattu virhetaso tai testitulos käynnistää keskeytyksen tai palautuksen?

Jos vastaukset perustuvat siihen, että agentti noudattaa ohjeita vapaaehtoisesti, käyttöönottoa ei ole vielä hallittu riittävästi.

Perusperiaate

Autonomiselle agentille ei pidä antaa peruuttamatonta valtaa ennen kuin sen toiminta on osoitettu rajatuksi, havainnoitavaksi, keskeytettäväksi ja riippumattomasti testatuksi – ja ennen kuin vastuu on annettu selkeästi nimetylle organisaatiolle.

Kansainväliset yhteiset suojakaiteet voivat auttaa määrittämään vähimmäisvaatimukset, mutta yritysten on pantava ne täytäntöön omassa infrastruktuurissaan. Sekä käytännön häiriöiden että kontrolloitujen turvallisuusarviointien keskeinen opetus on yksinkertainen: autonomia on ansaittava näytöllä. Kyvykkyys yksin ei ole turvallisuusperuste.