r/poisonai呢個行動整咗三層假證據,睇起上嚟就好似真新聞一樣:
DuckDuckGo嘅AI搜尋輔助功能(Duck.ai)好有信心咁同用戶講,話特朗普喺2026年6月7號死咗,Vance仲早過佢走 。佢出咗一個好完整、好肯定嘅答案框,引用咗假嘅WKNA News文章,仲夾雜咗一篇無關嘅真ABC新聞——關於俄亥俄州一個瘋狗症受害者——當做「證據」 。Brave嘅AI搜尋一樣中咗招,都係照樣重複個作故仔嘅講法 。
兩個AI系統都吸咗Reddit同假新聞網站嘅內容,然後當真話咁攞出嚟,原因係呢個故仔喺多個來源入面都「睇起嚟有共識」 。
一篇由康奈爾理工學院研究者(Tingwei Zhang、Harold Trieu同其他人)嘅預印本研究,2026年5月上載到arXiv,直接解釋咗r/poisonai利用嘅漏洞 。呢篇報告叫「Deep-Research Agents Can Be Poisoned via User-Generated Content」,介紹咗一個叫**WARP(Web Agent Retrieval Poisoning,網絡代理人檢索下毒)**嘅攻擊 。
研究嘅主要發現包括:
r/poisonai呢次行動,正正係康奈爾理工學院篇報告講嘅漏洞嘅真實示範。佢哋用嘅機制一模一樣——AI搜尋代理人大量吸納用戶生成內容,當正佢哋係權威來源,完全唔識分真假 。因為AI研究代理人喺差唔多一半嘅查詢入面都會去Reddit、低可信度網站同論壇度搵料,一個有組織嘅佈局,用多個討論營造出共識假象,AI就當係「多方證實」 。
呢件事證明咗康奈爾嘅研究唔係淨係實驗室入面嘅空想:同一招13個字落毒技巧,只要放大規模,整多幾個討論串同一個粉紅肉漿網站,就成功呃到幾百萬人用緊嘅生產級AI系統 。
個惡作劇成功,係因為AI搜尋工具冇辦法可靠咁分辨真嘅用戶討論同有組織嘅虛假資訊行動,尤其係當假內容喺多個睇起嚟無關嘅來源之間交叉出現 。WKNA News個網站仲保留住啲假報道,顯示呢啲落毒內容喺索引網絡入面有好持久嘅影響 。DuckDuckGo同Brave都話知道呢件事,但係底層嘅漏洞——AI代理人當用戶生成內容係權威——喺結構層面上仲未修補到 。
r/poisonai呢個行動整咗三層假證據,睇起上嚟就好似真新聞一樣:
DuckDuckGo嘅AI搜尋輔助功能(Duck.ai)好有信心咁同用戶講,話特朗普喺2026年6月7號死咗,Vance仲早過佢走 。佢出咗一個好完整、好肯定嘅答案框,引用咗假嘅WKNA News文章,仲夾雜咗一篇無關嘅真ABC新聞——關於俄亥俄州一個瘋狗症受害者——當做「證據」 。Brave嘅AI搜尋一樣中咗招,都係照樣重複個作故仔嘅講法 。
兩個AI系統都吸咗Reddit同假新聞網站嘅內容,然後當真話咁攞出嚟,原因係呢個故仔喺多個來源入面都「睇起嚟有共識」 。
一篇由康奈爾理工學院研究者(Tingwei Zhang、Harold Trieu同其他人)嘅預印本研究,2026年5月上載到arXiv,直接解釋咗r/poisonai利用嘅漏洞 。呢篇報告叫「Deep-Research Agents Can Be Poisoned via User-Generated Content」,介紹咗一個叫**WARP(Web Agent Retrieval Poisoning,網絡代理人檢索下毒)**嘅攻擊 。
研究嘅主要發現包括:
r/poisonai呢次行動,正正係康奈爾理工學院篇報告講嘅漏洞嘅真實示範。佢哋用嘅機制一模一樣——AI搜尋代理人大量吸納用戶生成內容,當正佢哋係權威來源,完全唔識分真假 。因為AI研究代理人喺差唔多一半嘅查詢入面都會去Reddit、低可信度網站同論壇度搵料,一個有組織嘅佈局,用多個討論營造出共識假象,AI就當係「多方證實」 。
呢件事證明咗康奈爾嘅研究唔係淨係實驗室入面嘅空想:同一招13個字落毒技巧,只要放大規模,整多幾個討論串同一個粉紅肉漿網站,就成功呃到幾百萬人用緊嘅生產級AI系統 。
個惡作劇成功,係因為AI搜尋工具冇辦法可靠咁分辨真嘅用戶討論同有組織嘅虛假資訊行動,尤其係當假內容喺多個睇起嚟無關嘅來源之間交叉出現 。WKNA News個網站仲保留住啲假報道,顯示呢啲落毒內容喺索引網絡入面有好持久嘅影響 。DuckDuckGo同Brave都話知道呢件事,但係底層嘅漏洞——AI代理人當用戶生成內容係權威——喺結構層面上仲未修補到 。