En 13 ords Reddit-kommentar kan lure KI-agenter til å anbefale svindel

Angrepet får ikke den totale rapporten til å virke meningsløs eller av lav kvalitet. Den injiserte teksten blander seg troverdig med ekte innhold, noe som gjør den subtile promoteringen av et svindelprodukt vanskelig å oppdage for både brukere og automatiserte filtre .

En farlig konsentrert angrepsflate

Problemet er overlappende informasjonsinnhenting. Forskerne observerte at de samme Reddit-sidene dukket opp i søkeresultater for så mange som 48 % av relaterte spørsmål i en enkelt emnegruppe . Det betyr at hvis man forgifter godt besøkte Reddit-tråder, kan det påvirke nesten halvparten av alle brukerspørsmål om et gitt tema, fra «beste veihjelp» til «hvordan si opp et abonnement» til «topprangerte datingapper».

Hvorfor nåværende forsvar ikke virker

Forskerteamet testet tre opplagte forsvarsstrategier og fant at hver av dem enten var ineffektive eller selvmotsigende .

Å blokkere alle UGC-domener stopper angrepet umiddelbart. Men dette forsvaret er verre enn sykdommen: UGC-plattformer tilbyr den rike, detaljerte erfaringsbaserte informasjonen som gjør agenter verdifulle. Å fjerne dem gjør agentene ute av stand til å produsere rapportene brukerne forventer .

Å bruke agentens egen språkmodell til å screene kilder på forhånd, kan fange opp åpenbar forgiftning, men er fundamentalt upålitelig. En velskrevet, forgiftet tekst i samme tone som ekte kommentarer kan enkelt unngå disse sjekkene. Tilnærmingen tilfører også betydelig prosesseringsforsinkelse og kostnad uten proporsjonal sikkerhetsgevinst .

Å utføre troverdighetssjekker på det ferdige produktet kan flagge noen ekstreme anbefalinger. Problemet er at WARP-angrep er designet for å være subtile. Selve rapporten består en plausibilitetssjekk uten åpenbare faresignaler, selv om den nå stille anbefaler et produkt valgt av en angriper .

Studiens konklusjon er nøktern: Sårbarheten er ikke en programfeil som kan fikses, men en fundamental konsekvens av hvordan disse agentene er designet. Deres massive avhengighet av et lite sett sider med brukerskapt innhold, som hentes gjentatte ganger, skaper en konsentrert og utnyttbar angrepsflate som intet eksisterende forsvar kan tette uten samtidig å ødelegge kjernefunksjonaliteten .