Bagaimana Hoaks Itu Dibangun

Kampanye r/poisonai membangun tiga lapis bukti palsu yang dirancang agar terlihat seperti peristiwa berita yang sah:

• Puluhan postingan duka palsu di Reddit di berbagai utas, menciptakan kesan diskusi dan duka cita yang meluas .
• Tangkapan layar Truth Social palsu milik Trump, yang dirancang agar terlihat seperti unggahan resmi dari akun Presiden .
• WKNA News, sebuah situs "pink slime" yang menyamar sebagai stasiun penyiaran lokal West Virginia yang sah . Situs ini menerbitkan beberapa artikel palsu bertanggal 9–22 Juni 2026, dengan judul seperti "Rabies awareness emphasized following death of JD Vance" dan "Questions surrounding death of J.D. Vance and White House illness" . AI mengutip halaman-halaman ini sebagai sumber yang kredibel .

Sistem AI Mana yang Tertipu

Fitur AI Search Assist milik DuckDuckGo (Duck.ai) dengan percaya diri memberi tahu pengguna bahwa Trump meninggal karena rabies pada 7 Juni 2026, dan bahwa Vance meninggal mendahuluinya . Sistem ini menghasilkan kotak jawaban penuh yang mengutip artikel palsu WKNA News di samping artikel ABC News asli yang tidak terkait tentang korban rabies di Ohio sebagai "bukti" . Pencarian AI Brave juga jatuh pada hoaks yang sama, mengulangi narasi palsu tersebut .

Kedua sistem AI menelan konten yang ditanam dari Reddit dan situs berita palsu, lalu menyajikannya sebagai kebenaran karena narasi tersebut tampak terkonfirmasi di beberapa sumber yang terindeks .

Mengapa Ini Berhasil: Serangan WARP dari Cornell Tech

Sebuah pracetak dari peneliti Cornell Tech (Tingwei Zhang, Harold Trieu, dan rekan-rekan), yang diposting ke arXiv pada Mei 2026, secara langsung menjelaskan kerentanan yang dieksploitasi oleh r/poisonai . Makalah yang berjudul "Deep-Research Agents Can Be Poisoned via User-Generated Content" ini memperkenalkan serangan yang disebut WARP (Web Agent Retrieval Poisoning) .

Temuan utama dari studi ini meliputi:

• Satu bagian teks racun yang hanya ~13 kata yang ditanam di halaman konten buatan pengguna (Reddit, Wikipedia, Quora) sudah cukup untuk mengarahkan agen riset AI yang dalam menuju konten yang dipilih penyerang .
• Produk fiktif muncul di 38–62% respons yang dihasilkan AI ketika teks racun disebar di beberapa utas . Dalam satu pengujian, sebuah kalimat sepanjang 15 kata yang mempromosikan mata uang kripto palsu bernama "BananaCoin" yang disisipkan ke dalam satu utas Reddit menyebabkan agen AI merekomendasikannya sebagai asli, mengutip pos yang dimanipulasi itu sendiri sebagai sumber .
• Agen riset yang dalam mengambil 17–23% dari semua halaman web dari situs konten buatan pengguna, menciptakan permukaan serangan yang terkonsentrasi . Seorang penyerang yang meracuni satu halaman UGC yang sering diambil dapat memengaruhi banyak kueri terkait .

Hubungan Langsung

Kampanye r/poisonai adalah demonstrasi dunia nyata dari kerentanan persis yang dijelaskan dalam makalah Cornell Tech. Subreddit ini mempersenjatai mekanisme yang sama—agen pencarian AI yang secara luas menelan dan memercayai konten buatan pengguna tanpa membedakannya dari sumber otoritatif . Karena agen riset AI mengeruk Reddit, situs kredibilitas rendah, dan forum sebagai sumber di sekitar setengah dari semua kueri, kampanye penyemaian terkoordinasi di beberapa utas menciptakan kesan konsensus, yang diperlakukan AI sebagai konfirmasi .

Insiden ini membuktikan bahwa temuan Cornell Tech bukan sekadar artefak laboratorium: teknik peracunan 13 kata yang sama, jika ditingkatkan dengan beberapa utas dan situs pink slime, berhasil mengompromikan sistem AI produksi yang digunakan oleh jutaan orang .

Masalah yang Berkelanjutan

Hoaks ini berhasil karena alat pencarian AI tidak dapat membedakan secara andal antara diskusi pengguna yang asli dan kampanye disinformasi terkoordinasi, terutama ketika konten palsu diposkan silang di beberapa sumber yang tampaknya independen . Situs WKNA News masih menghosting artikel-artikel palsu tersebut, menunjukkan betapa persistennya konten beracun ini di web yang terindeks . Baik DuckDuckGo maupun Brave telah mengakui insiden tersebut, tetapi kerentanan yang mendasarinya—agen AI yang memperlakukan UGC sebagai otoritatif—masih belum ditambal pada tingkat arsitektural .

Bagaimana Hoaks Itu Dibangun

Kampanye r/poisonai membangun tiga lapis bukti palsu yang dirancang agar terlihat seperti peristiwa berita yang sah:

• Puluhan postingan duka palsu di Reddit di berbagai utas, menciptakan kesan diskusi dan duka cita yang meluas .
• Tangkapan layar Truth Social palsu milik Trump, yang dirancang agar terlihat seperti unggahan resmi dari akun Presiden .
• WKNA News, sebuah situs "pink slime" yang menyamar sebagai stasiun penyiaran lokal West Virginia yang sah . Situs ini menerbitkan beberapa artikel palsu bertanggal 9–22 Juni 2026, dengan judul seperti "Rabies awareness emphasized following death of JD Vance" dan "Questions surrounding death of J.D. Vance and White House illness" . AI mengutip halaman-halaman ini sebagai sumber yang kredibel .

Sistem AI Mana yang Tertipu

Fitur AI Search Assist milik DuckDuckGo (Duck.ai) dengan percaya diri memberi tahu pengguna bahwa Trump meninggal karena rabies pada 7 Juni 2026, dan bahwa Vance meninggal mendahuluinya . Sistem ini menghasilkan kotak jawaban penuh yang mengutip artikel palsu WKNA News di samping artikel ABC News asli yang tidak terkait tentang korban rabies di Ohio sebagai "bukti" . Pencarian AI Brave juga jatuh pada hoaks yang sama, mengulangi narasi palsu tersebut .

Kedua sistem AI menelan konten yang ditanam dari Reddit dan situs berita palsu, lalu menyajikannya sebagai kebenaran karena narasi tersebut tampak terkonfirmasi di beberapa sumber yang terindeks .

Mengapa Ini Berhasil: Serangan WARP dari Cornell Tech

Sebuah pracetak dari peneliti Cornell Tech (Tingwei Zhang, Harold Trieu, dan rekan-rekan), yang diposting ke arXiv pada Mei 2026, secara langsung menjelaskan kerentanan yang dieksploitasi oleh r/poisonai . Makalah yang berjudul "Deep-Research Agents Can Be Poisoned via User-Generated Content" ini memperkenalkan serangan yang disebut WARP (Web Agent Retrieval Poisoning) .

Temuan utama dari studi ini meliputi:

• Satu bagian teks racun yang hanya ~13 kata yang ditanam di halaman konten buatan pengguna (Reddit, Wikipedia, Quora) sudah cukup untuk mengarahkan agen riset AI yang dalam menuju konten yang dipilih penyerang .
• Produk fiktif muncul di 38–62% respons yang dihasilkan AI ketika teks racun disebar di beberapa utas . Dalam satu pengujian, sebuah kalimat sepanjang 15 kata yang mempromosikan mata uang kripto palsu bernama "BananaCoin" yang disisipkan ke dalam satu utas Reddit menyebabkan agen AI merekomendasikannya sebagai asli, mengutip pos yang dimanipulasi itu sendiri sebagai sumber .
• Agen riset yang dalam mengambil 17–23% dari semua halaman web dari situs konten buatan pengguna, menciptakan permukaan serangan yang terkonsentrasi . Seorang penyerang yang meracuni satu halaman UGC yang sering diambil dapat memengaruhi banyak kueri terkait .

Hubungan Langsung

Kampanye r/poisonai adalah demonstrasi dunia nyata dari kerentanan persis yang dijelaskan dalam makalah Cornell Tech. Subreddit ini mempersenjatai mekanisme yang sama—agen pencarian AI yang secara luas menelan dan memercayai konten buatan pengguna tanpa membedakannya dari sumber otoritatif . Karena agen riset AI mengeruk Reddit, situs kredibilitas rendah, dan forum sebagai sumber di sekitar setengah dari semua kueri, kampanye penyemaian terkoordinasi di beberapa utas menciptakan kesan konsensus, yang diperlakukan AI sebagai konfirmasi .

Insiden ini membuktikan bahwa temuan Cornell Tech bukan sekadar artefak laboratorium: teknik peracunan 13 kata yang sama, jika ditingkatkan dengan beberapa utas dan situs pink slime, berhasil mengompromikan sistem AI produksi yang digunakan oleh jutaan orang .

Masalah yang Berkelanjutan

Hoaks ini berhasil karena alat pencarian AI tidak dapat membedakan secara andal antara diskusi pengguna yang asli dan kampanye disinformasi terkoordinasi, terutama ketika konten palsu diposkan silang di beberapa sumber yang tampaknya independen . Situs WKNA News masih menghosting artikel-artikel palsu tersebut, menunjukkan betapa persistennya konten beracun ini di web yang terindeks . Baik DuckDuckGo maupun Brave telah mengakui insiden tersebut, tetapi kerentanan yang mendasarinya—agen AI yang memperlakukan UGC sebagai otoritatif—masih belum ditambal pada tingkat arsitektural .