Näin 13 sanan Reddit-kommentti myrkyttää tekoälyn – Cornellin tutkimus paljastaa hälyttävän haavoittuvuuden

Hyökkäys ei tee kokonaisraportista järjetöntä tai heikkolaatuista. Istutettu teksti sulautuu uskottavasti legitiimin sisällön sekaan, minkä vuoksi sekä käyttäjien että automatisoitujen suodattimien on vaikea havaita hienovaraista huijaustuotteen mainostamista .

Vaarallisen keskittynyt hyökkäyspinta

Ongelman ydin on hakupäällekkäisyys. Tutkijat havaitsivat samojen Reddit-sivujen esiintyvän hakutuloksissa jopa 48 prosentissa aiheeseen liittyvistä kyselyistä yhden aiheklusterin sisällä. Tämä tarkoittaa, että yhden vilkkaasti liikennöidyn Reddit-ketjun myrkyttäminen voi vaikuttaa lähes puoleen kaikista saman aihepiirin käyttäjäkyselyistä, olipa kyse sitten "parhaasta tiepalvelusta", "tilauksen peruuttamisesta" tai "parhaiten arvostelluista deittisovelluksista". Tämä keskittyminen muuntaa yksittäisen vikapisteen laaja-alaiseksi haavoittuvuudeksi .

Miksi nykyiset puolustuskeinot eivät toimi

Tutkimusryhmä testasi kolmea suoraviivaista puolustusstrategiaa ja totesi jokaisen joko tehottomaksi tai itseään vastaan kääntyväksi .

Käyttäjälähtöisten verkkotunnusten täydellinen estäminen pysäyttää hyökkäyksen välittömästi poistamalla saastuneet Reddit- ja Wikipedia-sivut hakupoolista. Tämä puolustuskeino on kuitenkin pahempi kuin itse tauti: käyttäjälähtöiset alustat tarjoavat rikasta, yksityiskohtaista ja kokemusperäistä tietoa, joka tekee syvätutkimusagenteista alun perinkin arvokkaita. Niiden poistaminen tekee agenteista kyvyttömiä tuottamaan käyttäjien odottamia perusteellisia raportteja .

Agenttien oman kielimallin käyttäminen lähteiden seulomiseen ennen hakua saattaa joskus tunnistaa ilmeisen myrkytyksen, mutta on pohjimmiltaan epäluotettavaa. Hyvin laadittu myrkytetty teksti, joka on kirjoitettu samaan sävyyn kuin ympäröivät legitiimit kommentit, väistää nämä tarkastukset helposti. Tämä lähestymistapa lisää myös merkittävästi käsittelyviivettä ja kustannuksia ilman, että turvallisuus paranee samassa suhteessa .

Uskottavuustarkistusten soveltaminen lopulliseen tuotokseen voi liputtaa joitain äärimmäisiä tai loogisesti ristiriitaisia suosituksia. Ongelma on, että WARP-hyökkäykset on suunniteltu olemaan hienovaraisia. Myrkytetty lisäys on lyhyt, kontekstiin sopiva eikä heikennä raportin yleistä laatua. Loppudokumentti läpäisee uskottavuustarkastukset ilman selviä varoitusmerkkejä, vaikka se nyt hiljaisesti suositteleekin hyökkääjän valitsemaa tuotetta .

Tutkimuksen johtopäätös on pysäyttävä. Haavoittuvuus ei ole ohjelmistovirhe, joka voidaan korjata päivityksellä; se on perustavanlaatuinen seuraus siitä, miten nämä agentit on suunniteltu toimimaan. Niiden vahva riippuvuus pienestä joukosta toistuvasti noudettuja käyttäjälähtöisiä sivuja luo keskittyneen, hyödynnettävissä olevan hyökkäyspinnan, jota mikään olemassa oleva puolustus ei voi sulkea rikkomatta samalla agenttien ydintoiminnallisuutta .