Wie der Hoax konstruiert wurde

Die r/poisonai-Kampagne baute drei Ebenen falscher Beweise auf, die wie ein legitimes Nachrichtenereignis aussehen sollten:

• Dutzende erfundener Reddit-Trauerbeiträge in mehreren Threads, die den Anschein einer breiten Diskussion und Trauer erweckten .
• Gefälschte Screenshots von Trumps Truth-Social-Konto, die wie offizielle Beiträge des Präsidenten aussahen .
• WKNA News, eine „Pink Slime“-Website, die sich als legitimer lokaler Sender aus West Virginia tarnte . Die Seite veröffentlichte mehrere erfundene Artikel mit Daten vom 9. bis 22. Juni 2026, mit Schlagzeilen wie „Tollwut-Prävention nach dem Tod von JD Vance betont“ und „Fragen zum Tod von J.D. Vance und zur Erkrankung im Weißen Haus“ . Die KI zitierte diese Seiten als glaubwürdige Quellen .

Welche KI-Systeme getäuscht wurden

DuckDuckGos KI-Suchfunktion Duck.ai teilte Nutzern selbstbewusst mit, dass Trump am 7. Juni 2026 an Tollwut gestorben und Vance vor ihm verstorben sei . Die Funktion erstellte ein vollständiges, selbstbewusstes Antwortfeld, das die gefälschten WKNA-News-Artikel sowie einen unabhängigen, echten ABC-News-Artikel über ein Tollwutopfer in Ohio als „Beweise“ aufführte . Auch die Brave-KI-Suche fiel auf denselben Hoax herein und gab die erfundene Erzählung wieder .

Beide KI-Systeme nahmen die platzierten Inhalte von Reddit und der gefälschten Nachrichtenseite auf und präsentierten sie als Wahrheit, da die Erzählung über mehrere indizierte Quellen hinweg bestätigt schien .

Warum es funktionierte: Der WARP-Angriff der Cornell Tech

Eine Vorabveröffentlichung von Forschern der Cornell Tech (Tingwei Zhang, Harold Trieu und Kollegen), die im Mai 2026 auf arXiv veröffentlicht wurde, erklärt direkt die Schwachstelle, die r/poisonai ausnutzte . Das Papier mit dem Titel „Deep-Research Agents Can Be Poisoned via User-Generated Content“ stellte einen Angriff namens WARP (Web Agent Retrieval Poisoning) vor .

Wichtige Ergebnisse der Studie:

• Ein einziger, etwa 13 Wörter umfassender vergifteter Absatz, der auf einer Seite mit nutzergenerierten Inhalten (Reddit, Wikipedia, Quora) platziert wird, reicht aus, um einen Deep-Research-KI-Agenten zu vom Angreifer gewählten Inhalten zu lenken .
• Erfundene Produkte erschienen in 38–62 % der KI-generierten Antworten, wenn der vergiftete Text über mehrere Threads verteilt war . In einem Test reichte ein 15-Wörter-Satz, der eine erfundene Kryptowährung namens „BananaCoin“ bewarb und in einen einzelnen Reddit-Thread eingefügt wurde, aus, damit KI-Agenten sie als echt empfahlen – und dabei den manipulierten Beitrag selbst als Quelle angaben .
• Deep-Research-Agenten beziehen 17–23 % aller Webseiten von Seiten mit nutzergenerierten Inhalten, was eine konzentrierte Angriffsfläche schafft . Ein Angreifer, der eine einzelne, häufig abgerufene UGC-Seite vergiftet, kann viele verwandte Suchanfragen beeinflussen .

Die direkte Verbindung

Die r/poisonai-Kampagne ist eine reale Demonstration der genauen Schwachstelle, die das Cornell-Tech-Papier beschreibt. Das Subreddit nutzte denselben Mechanismus – KI-Suchagenten, die nutzergenerierte Inhalte breit aufnehmen und ihnen vertrauen, ohne sie von autoritativen Quellen zu unterscheiden . Da KI-Recherche-Agenten Reddit, wenig glaubwürdige Seiten und Foren bei etwa der Hälfte aller Suchanfragen als Quellen verwenden, erzeugte eine koordinierte Kampagne über mehrere Threads hinweg den Anschein eines Konsenses, den die KI als Bestätigung behandelte .

Der Vorfall beweist, dass die Erkenntnisse der Cornell Tech kein Laborartefakt sind: Dieselbe 13-Wörter-Vergiftungstechnik, hochskaliert mit mehreren Threads und einer Pink-Slime-Seite, kompromittierte erfolgreich Produktions-KI-Systeme, die von Millionen Menschen genutzt werden .

Das anhaltende Problem

Der Hoax gelang, weil KI-Suchwerkzeuge nicht zuverlässig zwischen echter Nutzerdiskussion und koordinierten Desinformationskampagnen unterscheiden können, insbesondere wenn falscher Inhalt über mehrere scheinbar unabhängige Quellen hinweg verbreitet wird . Die WKNA-News-Seite hostet die erfundenen Artikel weiterhin, was zeigt, wie langlebig dieser vergiftete Inhalt im indizierten Web ist . Sowohl DuckDuckGo als auch Brave haben den Vorfall eingeräumt, aber die zugrunde liegende Schwachstelle – KI-Agenten, die UGC als autoritativ behandeln – bleibt auf architektonischer Ebene ungepatcht .

Wie der Hoax konstruiert wurde

Die r/poisonai-Kampagne baute drei Ebenen falscher Beweise auf, die wie ein legitimes Nachrichtenereignis aussehen sollten:

• Dutzende erfundener Reddit-Trauerbeiträge in mehreren Threads, die den Anschein einer breiten Diskussion und Trauer erweckten .
• Gefälschte Screenshots von Trumps Truth-Social-Konto, die wie offizielle Beiträge des Präsidenten aussahen .
• WKNA News, eine „Pink Slime“-Website, die sich als legitimer lokaler Sender aus West Virginia tarnte . Die Seite veröffentlichte mehrere erfundene Artikel mit Daten vom 9. bis 22. Juni 2026, mit Schlagzeilen wie „Tollwut-Prävention nach dem Tod von JD Vance betont“ und „Fragen zum Tod von J.D. Vance und zur Erkrankung im Weißen Haus“ . Die KI zitierte diese Seiten als glaubwürdige Quellen .

Welche KI-Systeme getäuscht wurden

DuckDuckGos KI-Suchfunktion Duck.ai teilte Nutzern selbstbewusst mit, dass Trump am 7. Juni 2026 an Tollwut gestorben und Vance vor ihm verstorben sei . Die Funktion erstellte ein vollständiges, selbstbewusstes Antwortfeld, das die gefälschten WKNA-News-Artikel sowie einen unabhängigen, echten ABC-News-Artikel über ein Tollwutopfer in Ohio als „Beweise“ aufführte . Auch die Brave-KI-Suche fiel auf denselben Hoax herein und gab die erfundene Erzählung wieder .

Beide KI-Systeme nahmen die platzierten Inhalte von Reddit und der gefälschten Nachrichtenseite auf und präsentierten sie als Wahrheit, da die Erzählung über mehrere indizierte Quellen hinweg bestätigt schien .

Warum es funktionierte: Der WARP-Angriff der Cornell Tech

Eine Vorabveröffentlichung von Forschern der Cornell Tech (Tingwei Zhang, Harold Trieu und Kollegen), die im Mai 2026 auf arXiv veröffentlicht wurde, erklärt direkt die Schwachstelle, die r/poisonai ausnutzte . Das Papier mit dem Titel „Deep-Research Agents Can Be Poisoned via User-Generated Content“ stellte einen Angriff namens WARP (Web Agent Retrieval Poisoning) vor .

Wichtige Ergebnisse der Studie:

• Ein einziger, etwa 13 Wörter umfassender vergifteter Absatz, der auf einer Seite mit nutzergenerierten Inhalten (Reddit, Wikipedia, Quora) platziert wird, reicht aus, um einen Deep-Research-KI-Agenten zu vom Angreifer gewählten Inhalten zu lenken .
• Erfundene Produkte erschienen in 38–62 % der KI-generierten Antworten, wenn der vergiftete Text über mehrere Threads verteilt war . In einem Test reichte ein 15-Wörter-Satz, der eine erfundene Kryptowährung namens „BananaCoin“ bewarb und in einen einzelnen Reddit-Thread eingefügt wurde, aus, damit KI-Agenten sie als echt empfahlen – und dabei den manipulierten Beitrag selbst als Quelle angaben .
• Deep-Research-Agenten beziehen 17–23 % aller Webseiten von Seiten mit nutzergenerierten Inhalten, was eine konzentrierte Angriffsfläche schafft . Ein Angreifer, der eine einzelne, häufig abgerufene UGC-Seite vergiftet, kann viele verwandte Suchanfragen beeinflussen .

Die direkte Verbindung

Die r/poisonai-Kampagne ist eine reale Demonstration der genauen Schwachstelle, die das Cornell-Tech-Papier beschreibt. Das Subreddit nutzte denselben Mechanismus – KI-Suchagenten, die nutzergenerierte Inhalte breit aufnehmen und ihnen vertrauen, ohne sie von autoritativen Quellen zu unterscheiden . Da KI-Recherche-Agenten Reddit, wenig glaubwürdige Seiten und Foren bei etwa der Hälfte aller Suchanfragen als Quellen verwenden, erzeugte eine koordinierte Kampagne über mehrere Threads hinweg den Anschein eines Konsenses, den die KI als Bestätigung behandelte .

Der Vorfall beweist, dass die Erkenntnisse der Cornell Tech kein Laborartefakt sind: Dieselbe 13-Wörter-Vergiftungstechnik, hochskaliert mit mehreren Threads und einer Pink-Slime-Seite, kompromittierte erfolgreich Produktions-KI-Systeme, die von Millionen Menschen genutzt werden .

Das anhaltende Problem

Der Hoax gelang, weil KI-Suchwerkzeuge nicht zuverlässig zwischen echter Nutzerdiskussion und koordinierten Desinformationskampagnen unterscheiden können, insbesondere wenn falscher Inhalt über mehrere scheinbar unabhängige Quellen hinweg verbreitet wird . Die WKNA-News-Seite hostet die erfundenen Artikel weiterhin, was zeigt, wie langlebig dieser vergiftete Inhalt im indizierten Web ist . Sowohl DuckDuckGo als auch Brave haben den Vorfall eingeräumt, aber die zugrunde liegende Schwachstelle – KI-Agenten, die UGC als autoritativ behandeln – bleibt auf architektonischer Ebene ungepatcht .