Кампания r/poisonai создала три уровня ложных доказательств, призванных выглядеть как реальное освещение событий:
Функция AI Search Assist от DuckDuckGo (Duck.ai) уверенно сообщала пользователям, что Трамп умер от бешенства 7 июня 2026 года, а Вэнс скончался ещё раньше . Система выдала полный ответ с уверенностью, цитируя фальшивые статьи WKNA News, а также несвязанную реальную статью ABC News о жертве бешенства в Огайо в качестве "доказательства"
. ИИ-поиск Brave также попался на эту удочку и повторил сфабрикованный нарратив
.
Обе ИИ-системы "скормили" размещённый контент с Reddit и фейкового новостного сайта, а затем выдали его за правду, потому что нарратив казался подтверждённым несколькими проиндексированными источниками .
Препринт исследователей Cornell Tech (Тинвэй Чжан, Харольд Триу и коллеги), опубликованный на arXiv в мае 2026 года, напрямую объясняет уязвимость, которую использовал r/poisonai . Статья под названием "Deep-Research Agents Can Be Poisoned via User-Generated Content" представила атаку WARP (Web Agent Retrieval Poisoning)
.
Ключевые выводы исследования:
Кампания r/poisonai — это реальная демонстрация той самой уязвимости, которую описывает статья Cornell Tech. Субреддит использовал тот же механизм — ИИ-агенты поиска широко "проглатывают" и доверяют пользовательскому контенту, не отличая его от авторитетных источников . Поскольку ИИ-агенты сканируют Reddit, сайты с низкой достоверностью и форумы как источники примерно в половине всех запросов, скоординированная кампания по размещению контента в нескольких ветках создала видимость консенсуса, который ИИ воспринял как подтверждение
.
Этот инцидент доказывает, что выводы Cornell Tech — не лабораторный артефакт: та же техника отравления 13 словами, масштабированная с помощью нескольких веток и сайта "pink slime", успешно скомпрометировала реальные ИИ-системы, которыми пользуются миллионы людей .
Обман удался, потому что ИИ-инструменты поиска не могут надёжно отличить реальное обсуждение от скоординированных дезинформационных кампаний, особенно когда ложный контент распространяется по нескольким, казалось бы, независимым источникам . Сайт WKNA News до сих пор содержит сфабрикованные статьи, демонстрируя, насколько устойчив этот отравленный контент в проиндексированном вебе
. И DuckDuckGo, и Brave признали инцидент, но основная уязвимость — ИИ-агенты, которые считают пользовательский контент авторитетным — остаётся незакрытой на архитектурном уровне
.
Comments
0 comments