La campagne de r/poisonai a mis en place trois couches de fausses preuves conçues pour ressembler à un événement d'actualité légitime :
La fonction AI Search Assist de DuckDuckGo (Duck.ai) a affirmé avec assurance aux utilisateurs que Trump était mort de la rage le 7 juin 2026 et que Vance était décédé avant lui . Elle a produit une boîte de réponse complète et confiante, citant les faux articles de WKNA News ainsi qu'un article réel et sans rapport d'ABC News sur une victime de la rage dans l'Ohio comme "preuves"
. La recherche IA de Brave est également tombée dans le même piège, en répétant le récit fabriqué
.
Les deux systèmes d'IA ont ingéré le contenu implanté depuis Reddit et le site de fausses nouvelles, puis l'ont présenté comme une vérité parce que le récit semblait corroboré par plusieurs sources indexées .
Une prépublication des chercheurs de Cornell Tech (Tingwei Zhang, Harold Trieu et collègues), publiée sur arXiv en mai 2026, explique directement la vulnérabilité exploitée par r/poisonai . L'article — intitulé "Deep-Research Agents Can Be Poisoned via User-Generated Content" — a introduit une attaque appelée WARP (Web Agent Retrieval Poisoning)
.
Principales conclusions de l'étude :
La campagne de r/poisonai est une démonstration réelle de la vulnérabilité exacte décrite dans l'article de Cornell Tech. Le subreddit a utilisé le même mécanisme : des agents de recherche IA qui ingèrent et font confiance aux contenus générés par les utilisateurs sans les distinguer des sources faisant autorité . Parce que les agents de recherche IA scrapent Reddit, les sites de faible crédibilité et les forums comme sources dans environ la moitié de toutes les requêtes, une campagne de dissémination coordonnée sur plusieurs fils de discussion a créé l'apparence d'un consensus, que l'IA a traité comme une corroboration
.
L'incident prouve que la découverte de Cornell Tech n'est pas un artefact de laboratoire : la même technique d'empoisonnement en 13 mots, amplifiée avec plusieurs fils de discussion et un site "pink slime", a réussi à compromettre des systèmes d'IA de production utilisés par des millions de personnes .
Le canular a réussi parce que les outils de recherche IA ne peuvent pas distinguer de manière fiable les discussions authentiques des utilisateurs des campagnes de désinformation coordonnées, surtout lorsque le contenu faux est publié en travers de plusieurs sources apparemment indépendantes . Le site WKNA News héberge toujours les articles fabriqués, démontrant la persistance de ce contenu empoisonné dans le web indexé
. DuckDuckGo et Brave ont tous deux reconnu l'incident, mais la vulnérabilité sous-jacente — les agents d'IA qui traitent le contenu généré par les utilisateurs comme faisant autorité — reste non corrigée au niveau architectural
.
Comments
0 comments