Як один коментар на Reddit отруює розумних ШІ-помічників

Наступного разу, коли ви запитаєте в ШІ-помічника, який сервіс для побачень найкращий, як скасувати набридливу підписку чи викликати евакуатор, будьте обережні: відповідь міг підкинути шахрай. Для цього йому знадобилося всього лише сховати коротке речення в коментарі на Reddit.

Новий препринт від Cornell Tech, авторами якого є Тінвей Чжан, Гарольд Трідман і Віталій Шматіков, демонструє, що агентами глибокого дослідження зі штучним інтелектом тривожно легко маніпулювати за допомогою атаки, яку дослідники назвали WARP (Web Agent Retrieval Poisoning — Отруєння пошукової видачі веб-агента) .

Як працює атака WARP

Агенти глибокого дослідження, як-от STORM, Co-STORM та OmniThink, працюють за принципом формування безлічі пошукових запитів на задану тему та синтезу отриманої інформації у великий звіт. Дослідники з Cornell виявили критичне слабке місце: ці асистенти надзвичайно залежні від користувацького контенту (User-Generated Content, UGC). Від 54% до 71% усіх URL-адрес, які вони переглядають під час дослідницької сесії, ведуть на UGC-платформи, причому Reddit та Wikipedia є найчастішими джерелами .

Ця концентрація створює вразливу поверхню для атаки. Зловмиснику достатньо опублікувати спеціально створений коментар у вже популярній гілці на Reddit або ж непомітно відредагувати сторінку у Wikipedia. Мета — просунути якусь цільову сутність, наприклад, фейковий продукт чи шахрайський сервіс. Оскільки агенти постійно повертаються до одних і тих самих високорейтингових UGC-сторінок за різними, але тематично пов'язаними запитами, одна-єдина отруєна сторінка здатна заразити весь дослідницький контекст агента .

Мінімум зусиль — максимум успіху

Ефективність атаки вражає своєю простотою. Дослідження показало, що отруєного тексту завдовжки лише 13 слів було достатньо, щоб досягти частоти згадувань від 38% до 62%. Це означає, що цільова сутність зловмисника прямо цитувалася в остаточному звіті агента для цього діапазону запитів. У препринті підтверджується, що ця результативність зберігалася для різних кластерів запитів і різних архітектур агентів, що свідчить про структурний, а не поодинокий характер вразливості .

Важливо, що атака не робить загальний звіт безглуздим або низькоякісним. Впроваджений текст правдоподібно поєднується з легітимним контентом, що робить непомітне просування шахрайського продукту надзвичайно важким для виявлення як користувачами, так і автоматичними фільтрами .

Небезпечно сконцентрована поверхня атаки

Суть проблеми криється в пошуковому перекритті (retrieval overlap). Дослідники помітили, що одні й ті самі сторінки Reddit з'являлися в пошуковій видачі для аж 48% пов'язаних запитів у межах одного тематичного кластера. Це означає, що отруєння лише однієї популярної гілки на Reddit може вплинути на відповіді майже на половину всіх запитів користувачів на цю тему — від «найкраща служба допомоги на дорозі» до «як скасувати підписку» чи «найкращі додатки для знайомств». Така концентрація перетворює одну точку відмови на широкомасштабну вразливість .

Чому існуючі методи захисту не працюють

Дослідницька група протестувала три прямолінійні стратегії захисту і виявила, що кожна з них або неефективна, або шкодить самому агенту .

Повне блокування UGC-доменів негайно зупиняє атаку, видаляючи з пулу пошуку скомпрометовані сторінки Reddit та Wikipedia. Однак цей захист — ліки, гірші за хворобу: UGC-платформи надають той багатий, детальний та заснований на досвіді контент, який робить агентів глибокого дослідження цінними у першу чергу. Їх видалення позбавляє агентів можливості створювати ґрунтовні звіти, яких очікують користувачі .

Використання мовної моделі агента для попередньої перевірки джерел іноді може виявити очевидне отруєння, але цей метод фундаментально ненадійний. Майстерно створений отруєний текст, написаний у тому ж тоні, що й навколишні легітимні коментарі, легко оминає такі перевірки. До того ж, цей підхід суттєво збільшує затримку та вартість обробки без пропорційного підвищення безпеки .

Застосування перевірок правдоподібності до кінцевого результату може виявити деякі надто екстремальні або логічно суперечливі рекомендації. Проблема в тому, що атаки WARP створені так, щоб бути непомітними. Отруєне вкраплення коротке, контекстуально доречне і не погіршує загальну якість звіту. Кінцевий документ проходить перевірку на правдоподібність без жодних тривожних сигналів, хоча тепер він мовчки рекомендує обраний зловмисником продукт .

Висновок дослідження невтішний. Ця вразливість — не програмна помилка, яку можна виправити «латочкою»; це фундаментальний наслідок того, як спроєктовані ці агенти. Їхня надмірна залежність від невеликого набору постійно використовуваних UGC-сторінок створює концентровану, вразливу до експлуатації поверхню атаки, яку жоден існуючий захист не здатен закрити, не зламавши при цьому основну функціональність самих агентів .