Macam Mana Satu Komuniti Reddit Berjaya 'Racun' AI Carian?

Bagaimana Pembohongan Itu Dibina

Kempen r/poisonai membina tiga lapisan bukti palsu yang direka untuk kelihatan seperti peristiwa berita tulen:

• Puluhan catatan duka palsu Reddit di pelbagai utas, mewujudkan gambaran perbincangan dan kesedihan yang meluas .
• Tangkapan skrin palsu Truth Social Trump, direka untuk kelihatan seperti siaran rasmi daripada akaun Presiden .
• WKNA News, sebuah laman web 'pink slime' yang menyamar sebagai penyiar tempatan West Virginia yang sah . Laman ini menerbitkan pelbagai artikel rekaan bertarikh 9–22 Jun 2026, dengan tajuk seperti "Kesedaran rabies ditekankan selepas kematian JD Vance" dan "Soalan mengelilingi kematian J.D. Vance dan penyakit di Rumah Putih" . AI memetik halaman ini sebagai sumber yang boleh dipercayai .

Sistem AI Yang Mana Tertipu

Ciri Carian AI DuckDuckGo (Duck.ai) dengan yakin memberitahu pengguna bahawa Trump meninggal akibat rabies pada 7 Jun 2026, dan bahawa Vance meninggal mendahuluinya . Ia menghasilkan kotak jawapan penuh dan yakin yang memetik artikel palsu WKNA News bersama artikel ABC News yang tidak berkaitan tentang mangsa rabies di Ohio sebagai 'bukti' . Carian AI Brave juga terperangkap dengan pembohongan yang sama, mengulangi naratif rekaan itu .

Kedua-dua sistem AI menelan kandungan yang ditanam dari Reddit dan laman web berita palsu itu, lalu menyajikannya sebagai kebenaran kerana naratif itu kelihatan disahkan merentas pelbagai sumber yang diindeks .

Kenapa Ia Berjaya: Serangan WARP Cornell Tech

Satu kajian awal daripada penyelidik Cornell Tech (Tingwei Zhang, Harold Trieu, dan rakan-rakan), yang dimuat naik ke arXiv pada Mei 2026, secara langsung menerangkan kelemahan yang dieksploitasi oleh r/poisonai . Kertas kerja yang bertajuk "Ejen Penyelidikan Mendalam Boleh Diracun melalui Kandungan Dihasilkan Pengguna" itu memperkenalkan serangan yang dipanggil WARP (Web Agent Retrieval Poisoning) .

Penemuan utama daripada kajian itu termasuk:

• Satu petikan diracun kira-kira 13 patah perkataan yang ditanam dalam halaman kandungan dihasilkan pengguna (Reddit, Wikipedia, Quora) sudah cukup untuk mengarahkan ejen AI penyelidikan mendalam ke arah kandungan pilihan penyerang .
• Produk rekaan muncul dalam 38–62% respons janakuasa AI apabila teks diracun itu tersebar di pelbagai utas . Dalam satu ujian, ayat 15 patah perkataan yang mempromosikan mata wang kripto rekaan bernama 'BananaCoin' yang dimasukkan ke dalam satu utas Reddit menyebabkan ejen AI mengesyorkannya sebagai nyata, memetik siaran yang dimanipulasi itu sendiri sebagai sumber .
• Ejen penyelidikan mendalam menarik 17–23% daripada semua halaman web dari tapak kandungan dihasilkan pengguna, mewujudkan permukaan serangan yang tertumpu . Penyerang yang meracuni satu halaman UGC yang kerap diambil boleh menjejaskan banyak pertanyaan yang berkaitan .

Hubungan Langsung

Kempen r/poisonai adalah demonstrasi dunia sebenar tentang kelemahan tepat yang diterangkan dalam kertas kerja Cornell Tech. Subreddit itu menggunakan mekanisme yang sama — ejen carian AI yang menelan dan mempercayai kandungan dihasilkan pengguna secara meluas tanpa membezakannya daripada sumber berwibawa . Memandangkan ejen penyelidikan AI mengikis Reddit, tapak kredibiliti rendah, dan forum sebagai sumber dalam kira-kira separuh daripada semua pertanyaan, kempen penyemaian yang diselaraskan merentas pelbagai utas mewujudkan gambaran konsensus, yang dianggap oleh AI sebagai pengukuhan .

Insiden ini membuktikan bahawa penemuan Cornell Tech bukanlah artifak makmal: teknik peracunan 13 patah perkataan yang sama, diperbesarkan dengan pelbagai utas dan laman web pink slime, berjaya menjejaskan sistem AI pengeluaran yang digunakan oleh berjuta-juta orang .

Masalah Berterusan

Pembohongan itu berjaya kerana alat carian AI tidak boleh membezakan dengan pasti antara perbincangan pengguna tulen dan kempen maklumat palsu yang terancang, terutamanya apabila kandungan palsu disiarkan silang merentas pelbagai sumber yang nampaknya bebas . Laman web WKNA News masih mengehoskan artikel rekaan itu, menunjukkan betapa berterusannya kandungan yang diracun ini dalam web yang diindeks . Kedua-dua DuckDuckGo dan Brave telah mengakui insiden itu, tetapi kelemahan asas — ejen AI yang menganggap UGC sebagai berwibawa — kekal tidak ditambal pada peringkat seni bina .