r/poisonai-kampagnen byggede tre lag af falske beviser, der var designet til at ligne en legitim nyhedsbegivenhed:
DuckDuckGos AI Search Assist-funktion (Duck.ai) fortalte selvsikkert brugerne, at Trump døde af rabies den 7. juni 2026, og at Vance døde før ham . Den producerede en fuld, selvsikker svarboks, der citerede de falske WKNA News-artikler sammen med en uafhængig ægte ABC News-artikel om et rabiesoffer i Ohio som 'bevis'
. Braves AI-søgning faldt også for den samme hoax og gentog den fabrikerede fortælling
.
Begge AI-systemer indtog det plantede indhold fra Reddit og den falske nyhedsside og fremstillede det som sandhed, fordi fortællingen så ud til at være underbygget på tværs af flere indekserede kilder .
Et preprint fra Cornell Tech-forskere (Tingwei Zhang, Harold Trieu og kolleger), offentliggjort på arXiv i maj 2026, forklarer direkte den sårbarhed, som r/poisonai udnyttede . Artiklen — med titlen 'Deep-Research Agents Can Be Poisoned via User-Generated Content' — introducerede et angreb kaldet WARP (Web Agent Retrieval Poisoning)
.
Centrale resultater fra studiet omfatter:
r/poisonai-kampagnen er en virkelig demonstration af den nøjagtige sårbarhed, som Cornell Tech-artiklen beskriver. Subredditen bevæbnede den samme mekanisme — AI-søgningsagenter, der bredt indtager og stoler på brugeroprettet indhold uden at skelne det fra autoritative kilder . Fordi AI-forskningsagenter skraber Reddit, lavtroverdige sider og fora som kilder i cirka halvdelen af alle forespørgsler, skabte en koordineret såkampagne på tværs af flere tråde et indtryk af konsensus, som AI'en behandlede som bekræftelse
.
Hændelsen beviser, at Cornell Tech-resultatet ikke er et laboratorieartefakt: den samme 13-ords forgiftningsteknik, skaleret op med flere tråde og en pink slime-side, kompromitterede produktions-AI-systemer, der bruges af millioner af mennesker .
Hoaxen lykkedes, fordi AI-søgningsværktøjer ikke pålideligt kan skelne mellem ægte brugerdiskussion og koordinerede desinformationskampagner, især når falsk indhold krydspostes på tværs af flere tilsyneladende uafhængige kilder . WKNA News-siden har stadig de fabrikerede artikler, hvilket demonstrerer, hvor vedholdende dette forgiftede indhold er på det indekserede web
. Både DuckDuckGo og Brave har anerkendt hændelsen, men den underliggende sårbarhed — AI-agenter, der behandler UGC som autoritativt — forbliver uafhjulpet på arkitekturniveau
.
Comments
0 comments