A campanha do r/poisonai construiu três camadas de evidências falsas, projetadas para parecer um evento jornalístico legítimo:
O recurso AI Search Assist do DuckDuckGo (Duck.ai) disse com confiança aos usuários que Trump morreu de raiva em 7 de junho de 2026, e que Vance faleceu antes dele . Ele produziu uma caixa de resposta completa e confiante, citando os artigos falsos do WKNA News junto com um artigo real e não relacionado da ABC News sobre uma vítima de raiva em Ohio como "evidência"
. A busca por IA do Brave também caiu no mesmo golpe, repetindo a narrativa fabricada
.
Ambos os sistemas de IA ingeriram o conteúdo plantado do Reddit e do site de notícias falso e o apresentaram como verdade porque a narrativa parecia corroborada por várias fontes indexadas .
Um estudo preliminar (preprint) de pesquisadores da Cornell Tech (Tingwei Zhang, Harold Trieu e colegas), postado no arXiv em maio de 2026, explica diretamente a vulnerabilidade explorada pelo r/poisonai . O artigo — intitulado "Deep-Research Agents Can Be Poisoned via User-Generated Content" (Agentes de Pesquisa Profunda Podem Ser Envenenados por Conteúdo Gerado por Usuários) — apresentou um ataque chamado WARP (Web Agent Retrieval Poisoning)
.
As principais descobertas do estudo incluem:
A campanha do r/poisonai é uma demonstração no mundo real da vulnerabilidade exata que o artigo da Cornell Tech descreve. O subreddit usou o mesmo mecanismo — agentes de busca de IA que ingerem e confiam amplamente em conteúdo gerado por usuários sem distingui-lo de fontes confiáveis . Como os agentes de pesquisa de IA vasculham Reddit, sites de baixa credibilidade e fóruns como fontes em cerca de metade de todas as consultas, uma campanha de semeadura coordenada em várias threads criou a aparência de consenso, que a IA tratou como corroboração
.
O incidente prova que a descoberta da Cornell Tech não é um artefato de laboratório: a mesma técnica de envenenamento de 13 palavras, ampliada com várias threads e um site de notícias falso, comprometeu com sucesso sistemas de IA em produção usados por milhões de pessoas .
O golpe funcionou porque as ferramentas de busca de IA não conseguem distinguir de forma confiável entre discussão genuína de usuários e campanhas coordenadas de desinformação, especialmente quando o conteúdo falso é publicado de forma cruzada em várias fontes aparentemente independentes . O site WKNA News ainda hospeda os artigos fabricados, demonstrando o quão persistente esse conteúdo envenenado é na web indexada
. Tanto o DuckDuckGo quanto o Brave reconheceram o incidente, mas a vulnerabilidade subjacente — agentes de IA que tratam conteúdo gerado por usuários como autoritário — permanece sem correção em nível arquitetônico
.
Comments
0 comments