Кампанія r/poisonai побудувала три шари фальшивих доказів, які мали виглядати як справжня новинна подія:
Функція AI Search Assist від DuckDuckGo (Duck.ai) впевнено повідомляла користувачам, що Трамп помер від сказу 7 червня 2026 року, і що Венс помер раніше за нього . Вона створила повне впевнене інформаційне вікно, цитуючи фальшиві статті WKNA News разом із не пов'язаною з ними реальною статтею ABC News про жертву сказу в Огайо як "доказ"
. ШІ-пошук Brave також потрапив на той самий гачок, повторюючи вигадану історію
.
Обидві системи ШІ ввібрали planted контент із Reddit та фальшивого новинного сайту, а потім подали його як правду, оскільки історія виглядала підтвердженою кількома індексованими джерелами .
Препринт дослідників Cornell Tech (Тінгвей Чжан, Гарольд Тріу та колеги), опублікований в arXiv у травні 2026 року, безпосередньо пояснює вразливість, яку використала r/poisonai . Стаття під назвою "Deep-Research Agents Can Be Poisoned via User-Generated Content" представила атаку WARP (Web Agent Retrieval Poisoning)
.
Ключові висновки дослідження:
Кампанія r/poisonai є реальною демонстрацією тієї самої вразливості, яку описує стаття Cornell Tech. Сабредіт використав той самий механізм — агенти ШІ-пошуку, які широко вбирають і довіряють контенту, створеному користувачами, не відрізняючи його від авторитетних джерел . Оскільки ШІ-дослідницькі агенти збирають Reddit, сайти з низькою достовірністю та форуми як джерела приблизно в половині всіх запитів, скоординована кампанія з посіву через кілька гілок створила видимість консенсусу, яку ШІ сприйняв як підтвердження
.
Інцидент доводить, що висновок Cornell Tech — не лабораторний артефакт: та сама техніка отруєння з 13 слів, масштабована за допомогою кількох гілок і сайту-підробки, успішно скомпрометувала промислові системи ШІ, якими користуються мільйони людей .
Обман вдався, тому що інструменти ШІ-пошуку не можуть надійно відрізнити справжнє обговорення користувачів від скоординованих кампаній з дезінформації, особливо коли фальшивий контент розміщується на кількох, на перший погляд незалежних, джерелах . Сайт WKNA News досі містить вигадані статті, що демонструє, наскільки стійким є цей отруєний контент в індексованому вебі
. DuckDuckGo і Brave визнали інцидент, але основна вразливість — агенти ШІ, які сприймають UGC як авторитетний — залишається незакритою на архітектурному рівні
.
Comments
0 comments