Reddit-kampanje avslørte svakhet: AI-tjenester lurte til å rapportere falsk Trump-nyhet

Slik ble bløffen konstruert

r/poisonai-kampanjen bygde tre lag med falske bevis designet for å se ut som en legitim nyhetshendelse:

• Dusinvis av fabrikkerte Reddit-sorginnlegg på tvers av flere tråder, noe som skapte et inntrykk av utbredt diskusjon og sorg .
• Falske Trump Truth Social-skjermbilder, designet for å se ut som offisielle innlegg fra presidentens konto .
• WKNA News, et såkalt «pink slime»-nettsted som utga seg for å være en legitim lokal kringkaster i Vest-Virginia . Nettstedet publiserte flere fabrikkerte artikler datert 9.–22. juni 2026, med overskrifter som «Rabies awareness emphasized following death of JD Vance» og «Questions surrounding death of J.D. Vance and White House illness» . AI-en siterte disse sidene som troverdige kilder .

Hvilke AI-systemer ble lurt

DuckDuckGos AI Search Assist-funksjon (Duck.ai) fortalte trygt brukere at Trump døde av rabies 7. juni 2026, og at Vance døde før ham . Den produserte en full, selvsikker svarboks som siterte de falske WKNA News-artiklene sammen med en urelatert ekte ABC News-artikkel om et rabiesoffer i Ohio som «bevis» . Braves AI-søk falt også for den samme bløffen og gjentok den fabrikkerte fortellingen .

Begge AI-systemene hentet inn det plantede innholdet fra Reddit og det falske nyhetsnettstedet, og presenterte det som sannhet fordi fortellingen så ut til å være bekreftet på tvers av flere indekserte kilder .

Hvorfor det fungerte: Cornell Techs WARP-angrep

En fortrykk fra Cornell Tech-forskere (Tingwei Zhang, Harold Trieu og kolleger), lagt ut på arXiv i mai 2026, forklarer direkte sårbarheten som r/poisonai utnyttet . Artikkelen – med tittelen «Deep-Research Agents Can Be Poisoned via User-Generated Content» – introduserte et angrep kalt WARP (Web Agent Retrieval Poisoning) .

Sentrale funn fra studien inkluderer:

• Et enkelt ~13-ords forgiftet avsnitt plantet på en side med brukergenerert innhold (Reddit, Wikipedia, Quora) er nok til å styre en dypresearch-AI-agent mot angriperens valgte innhold .
• Oppdiktede produkter dukket opp i 38–62 % av AI-genererte svar når den forgiftede teksten ble spredd over flere tråder . I en test fikk en setning på 15 ord som promoterte en oppdiktet kryptovaluta kalt «BananaCoin», satt inn i en enkelt Reddit-tråd, AI-agenter til å anbefale den som ekte, og siterte det manipulerte innlegget selv som kilde .
• Dypresearch-agenter henter 17–23 % av alle nettsider fra nettsteder med brukergenerert innhold, noe som skaper en konsentrert angrepsflate . En motstander som forgifter en enkelt ofte hentet UGC-side kan påvirke mange relaterte søk .

Den direkte sammenhengen

r/poisonai-kampanjen er en virkelig demonstrasjon av den eksakte sårbarheten som Cornell Tech-artikkelen beskriver. Subredditen tok i bruk den samme mekanismen – AI-søkeagenter som i stor grad henter inn og stoler på brukergenerert innhold uten å skille det fra autoritative kilder . Fordi AI-forskningsagenter skraper Reddit, nettsteder med lav troverdighet og forum som kilder i omtrent halvparten av alle søk, skapte en koordinert såkampanje på tvers av flere tråder et inntrykk av konsensus, som AI-en behandlet som bekreftelse .

Hendelsen beviser at Cornell Tech-funnet ikke er et laboratorieartefakt: den samme 13-ords forgiftningsteknikken, skalert opp med flere tråder og et pink slime-nettsted, kompromitterte produksjons-AI-systemer som brukes av millioner av mennesker .

Det vedvarende problemet

Bløffen lyktes fordi AI-søkeverktøy ikke pålitelig kan skille mellom ekte brukerdiskusjon og koordinerte desinformasjonskampanjer, spesielt når falskt innhold kryssposteres på tvers av flere tilsynelatende uavhengige kilder . WKNA News-nettstedet har fortsatt de fabrikkerte artiklene, noe som demonstrerer hvor vedvarende dette forgiftede innholdet er på det indekserte nettet . Både DuckDuckGo og Brave har erkjent hendelsen, men den underliggende sårbarheten – AI-agenter som behandler brukergenerert innhold som autoritativt – forblir uoppdatert på arkitekturnivå .