Tekoälysovellusten tunnukset vuotavat yllättävän usein – tutkimukset paljastavat riskit

Wake Forestin yliopiston tutkimukset osoittavat saman ongelman kahdessa nopeasti kasvavassa tekoälyekosysteemissä: tunnukset päätyvät liian usein paikkaan, josta tekoälyagentti, sovellus tai hyökkääjä voi ne saada haltuunsa. Tutkijat analysoivat 17 022 kolmannen osapuolen agenttitaitoa ja löysivät 520 ongelmallista taitoa, joissa oli yhteensä 1 708 tietoturvaongelmaa. Toisessa tutkimuksessa 444 tekoälyominaisuuksia sisältävästä iOS-sovelluksesta 282 paljasti testien aikana tunnuksia tai pääsyn mahdollistavia taustajärjestelmiä. 124

Riski ei rajoitu siihen, että yksittäinen merkkijono vuotaa julkisuuteen. Paljastunut API-avain tai muu tunniste voi antaa hyökkääjälle pääsyn yksityisiin tietoihin, agentin työkaluihin tai kehittäjän maksulliseen kielimallujen käyttöön.

Agenttitaidoista löytyi 1 708 tietoturvaongelmaa

Tutkijat valitsivat SkillsMP-palvelussa olevasta 170 226 aineiston joukosta 17 022 taitoa. SkillsMP on avoimen lähdekoodin agenttitaitojen markkinapaikka. Aineistoa tutkittiin etsimällä salaisuuksia staattisilla menetelmillä, suorittamalla dynaamisia testejä eristetyssä hiekkalaatikossa valetunnuksilla sekä vertaamalla taidon ilmoitettua tarkoitusta sen todelliseen toimintaan. 34

Analyysissä havaittiin:

• 520 ongelmallista taitoa, joissa oli 1 708 tietoturvaongelmaa kymmenessä eri tunnusten vuotamisen kategoriassa. 416
• 466 näistä 520 taidosta paljasti tunnuksia, joita saattoi käyttää ilman korotettuja käyttöoikeuksia. Tutkimuksessa tämä vastasi 89,6 prosentin välitöntä hyödynnettävyyttä. 14
• 76,3 prosentissa vuototapauksista oli tarkasteltava sekä taidon luonnollisen kielen ohjeita että sen ohjelmakoodia.
• 3,1 prosentissa tapauksista vuoto perustui luonnollisen kielen prompt-injektioon ilman suoritettavaa koodia. 4

Pelkkä koodin automaattinen tarkistus ei siis välttämättä riitä. Agenttitaidon ohjeistus voi näyttää harmittomalta, vaikka ohjeet tai niiden mukana toimitettavat skriptit altistavat salaisuuksia normaalin käytön aikana.

Virheloki voi tehdä salaisuudesta kielimallin luettavaa tietoa

Yksi merkittävimmistä vuototavoista liittyi virheenkorjauksen lokitietoihin. Agenttikehyksissä ohjelman vakiotuloste voidaan välittää kielimallin kontekstiin. Tällöin esimerkiksi print- tai console.log-komennolla tulostettu salasana tai API-avain voi päätyä mallin käsiteltäväksi ja olla haettavissa tavallisella luonnollisen kielen pyynnöllä. Tutkimuksen yhteenvedon mukaan debug-lokit olivat ensisijainen vuotoreitti, ja 73,5 prosenttia vuodoista liittyi tulosteen välittymiseen kielimalleille. 4

Kyse ei ole vain ilmeisistä kovakoodatuista API-avaimista. Tunnuksia voi paljastua myös skripteissä, ympäristömuuttujien käsittelyssä, lokitiedoissa, kehotteissa tai koodin ja luonnollisen kielen yhdistelmissä, joiden vaarallinen vaikutus näkyy vasta ohjelman normaalissa suorituksessa.

Taustalla voi olla joko tahallisuus tai huolimattomuus

Tutkimuksessa tunnusten vuotamisen syyt jaetaan kahteen laajaan ryhmään:

• Tahallinen haitallinen kehitys: taitoon lisätään tarkoituksella ohjeita tai kuormia, joiden avulla varastetaan tunnuksia tai yksityisiä tietoja ja mahdollisesti lähetetään ne etäpalvelimelle.
• Huolimaton kehitys: kehittäjä ei noudata turvallisia ohjelmointikäytäntöjä ja jättää vahingossa tunnuksia tai hyökkääjän hyödynnettäviä pääsyreittejä suojaamatta. 1

Ero on tärkeä korjausten kannalta. Haitalliset taidot on tunnistettava ja poistettava, kun taas vahingossa syntyneitä vuotoja ehkäistään paremmalla salaisuuksien hallinnalla, turvallisemmalla lokituksella, vahvemmilla todennuskäytännöillä ja ennen julkaisua tehtävillä testeillä.

Kun tutkijat ilmoittivat havainnoista SkillsMP:lle, Wake Forest kertoi kaikkien tunnistettujen haitallisten taitojen poistamisesta ja useimpien haavoittuvien taitojen korjaamisesta. Tutkimus kuitenkin varoittaa, ettei alkuperäisen aineiston siivoaminen välttämättä riitä: haarautetut kopiot voivat säilyttää paljastuneet tunnukset vielä sen jälkeen, kun alkuperäinen repositorio on korjattu. 14

iOS-sovellukset avasivat reittejä kielimallitilien kaappaamiseen

Toisessa Wake Forestin tutkimuksessa tarkasteltiin 444 iOS-sovellusta, joissa oli kielimalliin perustuvia ominaisuuksia. Niistä 282 eli noin 64 prosenttia paljasti verkkoliikenteessä hyödynnettäviä kielimallien tunnuksia tai pääsyn mahdollistavia taustajärjestelmiä. 25

Havaitut vuototavat jakautuivat seuraavasti:

• Uudelleen käytettävät JWT-pohjaiset tunnukset: 48 prosenttia
• Todentamattomat taustapalvelinten välityspalvelimet: 33 prosenttia
• API-avainten lähettäminen selväkielisenä: 19 prosenttia 3

Haavoittuvuus saattoi näkyä tavallisen sovelluskäytön aikana. Jos hyökkääjä kaappaa avaimen, käyttää tunnuksen uudelleen tai löytää avoimen välityspalvelimen, hän voi lähettää pyyntöjä kehittäjän kielimallitilin kautta. Se voi kuluttaa maksettua laskentaa, kuormittaa siihen liittyviä pilvipalveluita tai synnyttää luvattomia laskuja. 25

Havainnot tukevat riskiä vakavista tai jopa rajoittamattomiksi kasvavista kustannuksista sen mukaan, millaiset tilirajat ovat käytössä ja kuinka kauan väärinkäyttö jatkuu. Tutkimukset eivät kuitenkaan sellaisenaan vahvista tiettyä tappiosummaa, kuten väitettä satojentuhansien dollarien menetyksistä.

Korjaukset etenivät hitaasti. Kolme kuukautta vastuullisen ilmoituksen jälkeen vain 28 prosenttia tutkimuksessa haavoittuviksi todetuista iOS-sovelluksista oli korjannut ilmoitetun puutteen. Jäljelle jääneistä 72 prosenttia oli seurantatestissä edelleen hyödynnettävissä. 311

Miksi havainnot ovat tärkeitä tekoälyavusteisessa ohjelmistokehityksessä?

Tutkimukset osoittavat, että tekoälyominaisuuden lisääminen sovellukseen tai valmiin agenttitaidon asentaminen laajentaa sovelluksen hyökkäyspintaa. Uusia riskejä ovat esimerkiksi:

• palveluntarjoajien avaimet, jotka on upotettu asiakassovellukseen tai päätyvät agentin kontekstiin
• laajat käyttöoikeudet saavat työkalut, jotka voivat käsitellä tiedostoja, palveluita tai yksityisiä tietoja
• lokit, jotka muuttuvat tahattomasti osaksi mallin luettavaa kontekstia
• taustapalveluiden rajapinnat, jotka hyväksyvät pyyntöjä ilman riittävää todennusta
• uudelleen käytettävät tunnukset, jotka hyökkääjä voi lähettää palveluun uudelleen
• kehittäjän tilille syntyvät tekoälypalveluiden väärinkäyttömaksut

Huoli korostuu, kun ohjelmistoa rakennetaan nopeasti tekoälyavusteisen niin sanotun ”vibe codingin” avulla. Nopeampi koodin tuottaminen ei korvaa uhkamallinnusta tai huolellista suunnittelua: todennus, salaisuuksien käsittely, valtuutukset, lokitus ja riippuvuuksien tarkistaminen vaativat edelleen tietoista insinöörityötä. Agenttitaitoja koskevassa tutkimuksessa 72 prosentissa kovakoodattuihin tunnuksiin liittyneistä tapauksista näkyi tekoälyavusteisen kehityksen tunnusmerkkejä. Tämä viittaa siihen, että turvattomat rakenteet voivat levitä generoidun tai nopeasti kootun koodin mukana. 4

Tutkimusten viesti: tietoturva on suunniteltava alusta lähtien

Havaintojen perusteella tekoälytuotteita rakentaville tiimeille ja agenttitaitoja jakaville alustoille muodostuu selkeä perustaso:

1. Pidä pitkäkestoiset palveluntarjoajien avaimet poissa asiakaslaitteista ja mallin kontekstista. Ohjaa arkaluonteiset mallikutsut sen sijaan todennetun palvelimen kautta.
2. Käytä lyhytkestoisia ja tarkasti rajattuja tunnuksia. Noudata vähimpien oikeuksien periaatetta ja tarkista tunnukset sen sijaan, että pelkkä tunnuksen hallussapito riittäisi valtuutukseksi.
3. Poista salaisuudet lokeista ja vakiotulosteesta. Kaikkea agentin kontekstiin välittyvää tietoa on käsiteltävä mahdollisesti mallin tai käyttäjän palautettavissa olevana.
4. Etsi salaisuuksia koodista, asetuksista, kehotteista ja riippuvuuksista. Agenttitaitojen havainnot osoittavat, miksi luonnollisen kielen ohjeet ja suoritettava koodi on tarkistettava yhdessä.
5. Testaa verkkoliikenne ja taustapalveluiden valtuutukset. Varmista, ettei kaapattua pyyntöä voi käyttää uudelleen tai ohjata todentamattoman välityspalvelimen kautta.
6. Vaihda paljastuneet tunnukset ja tarkista haarat sekä kopiot. Salaisuuden poistaminen alkuperäisestä repositoriosta ei takaa, että kaikki jaetut versiot on puhdistettu.
7. Lisää jakelua edeltävä alustatason tarkistus. Markkinapaikkojen seulonta, kehittäjäohjeet, vastuullinen ilmoitusmenettely ja automaattiset tarkistukset täydentävät yksittäisten kehittäjien vastuuta. 34

Ydinviesti on suoraviivainen: tekoälyn tietoturvaa ei voi lisätä vasta tuotteen julkaisun jälkeen. Tunnukset, agenttien käyttöoikeudet, mallin konteksti ja laskutuksen hallinta on käsiteltävä tuoteturvallisuuden keskeisinä kysymyksinä heti kehityksen alusta lähtien.