การพึ่งพาอย่างหนาแน่นนี้ได้สร้างพื้นผิวการโจมตีที่ง่ายต่อการถูกใช้ประโยชน์ ผู้โจมตีแค่เพียงโพสต์ข้อความที่สร้างขึ้นเป็นพิเศษลงในกระทู้ Reddit ยอดนิยมที่มีอยู่แล้ว หรือแอบแก้ไขหน้า Wikipedia อย่างแนบเนียน โดยมีเป้าหมายเพื่อโปรโมตสิ่งที่ตนต้องการ เช่น สินค้าปลอมหรือบริการฉ้อโกง เนื่องจากเอไอมักจะกลับไปดึงหน้า UGC ยอดนิยมเดิมๆ ซ้ำแล้วซ้ำเล่าในการค้นหาที่หลากหลายเกี่ยวกับหัวข้อนั้นๆ การวางยาพิษเพียงหน้าเดียวจึงสามารถแพร่เชื้อไปยังบริบทการวิจัยทั้งหมดของเอไอได้

ความพยายามเพียงน้อยนิด แต่อัตราความสำเร็จสูงลิบ

ผลลัพธ์ที่ได้นั้นมีประสิทธิภาพอย่างน่าทึ่ง งานวิจัยพบว่าข้อความพิษที่สั้นเพียง 13 คำ ก็สามารถสร้างอัตราการปรากฏ (Mention Rate) ได้ถึง 38% ถึง 62% แล้ว นั่นหมายความว่า สิ่งที่ผู้โจมตีต้องการให้เอไอพูดถึง ถูกอ้างอิงโดยตรงในผลลัพธ์สุดท้ายของเอไอสำหรับกลุ่มคำถามนั้นๆ ในสัดส่วนดังกล่าว เอกสารยืนยันว่าประสิทธิภาพนี้เกิดขึ้นจริงในชุดคำถาม (Query Clusters) ที่หลากหลาย และบนสถาปัตยกรรมของ agent ที่แตกต่างกัน แสดงให้เห็นว่าช่องโหว่นี้เป็นปัญหาเชิงโครงสร้าง ไม่ได้จำกัดอยู่แค่ในระบบเดียว

ที่น่ากลัวคือ การโจมตีนี้ไม่ได้ทำให้รายงานโดยรวมดูไร้สาระหรือมีคุณภาพต่ำลงแต่อย่างใด ข้อความที่ถูกแทรกเข้าไปนั้นกลมกลืนไปกับเนื้อหาที่ถูกต้องตามกฎหมายได้อย่างแนบเนียน ทำให้ทั้งผู้ใช้และระบบกรองอัตโนมัติยากที่จะสังเกตเห็นการโปรโมตสินค้าหลอกลวงที่แนบมากับข้อมูล

พื้นผิวการโจมตีที่รวมศูนย์อย่างอันตราย

หัวใจของปัญหาอยู่ที่

การพึ่งพาอย่างหนาแน่นนี้ได้สร้างพื้นผิวการโจมตีที่ง่ายต่อการถูกใช้ประโยชน์ ผู้โจมตีแค่เพียงโพสต์ข้อความที่สร้างขึ้นเป็นพิเศษลงในกระทู้ Reddit ยอดนิยมที่มีอยู่แล้ว หรือแอบแก้ไขหน้า Wikipedia อย่างแนบเนียน โดยมีเป้าหมายเพื่อโปรโมตสิ่งที่ตนต้องการ เช่น สินค้าปลอมหรือบริการฉ้อโกง เนื่องจากเอไอมักจะกลับไปดึงหน้า UGC ยอดนิยมเดิมๆ ซ้ำแล้วซ้ำเล่าในการค้นหาที่หลากหลายเกี่ยวกับหัวข้อนั้นๆ การวางยาพิษเพียงหน้าเดียวจึงสามารถแพร่เชื้อไปยังบริบทการวิจัยทั้งหมดของเอไอได้

ความพยายามเพียงน้อยนิด แต่อัตราความสำเร็จสูงลิบ

ผลลัพธ์ที่ได้นั้นมีประสิทธิภาพอย่างน่าทึ่ง งานวิจัยพบว่าข้อความพิษที่สั้นเพียง 13 คำ ก็สามารถสร้างอัตราการปรากฏ (Mention Rate) ได้ถึง 38% ถึง 62% แล้ว นั่นหมายความว่า สิ่งที่ผู้โจมตีต้องการให้เอไอพูดถึง ถูกอ้างอิงโดยตรงในผลลัพธ์สุดท้ายของเอไอสำหรับกลุ่มคำถามนั้นๆ ในสัดส่วนดังกล่าว เอกสารยืนยันว่าประสิทธิภาพนี้เกิดขึ้นจริงในชุดคำถาม (Query Clusters) ที่หลากหลาย และบนสถาปัตยกรรมของ agent ที่แตกต่างกัน แสดงให้เห็นว่าช่องโหว่นี้เป็นปัญหาเชิงโครงสร้าง ไม่ได้จำกัดอยู่แค่ในระบบเดียว

ที่น่ากลัวคือ การโจมตีนี้ไม่ได้ทำให้รายงานโดยรวมดูไร้สาระหรือมีคุณภาพต่ำลงแต่อย่างใด ข้อความที่ถูกแทรกเข้าไปนั้นกลมกลืนไปกับเนื้อหาที่ถูกต้องตามกฎหมายได้อย่างแนบเนียน ทำให้ทั้งผู้ใช้และระบบกรองอัตโนมัติยากที่จะสังเกตเห็นการโปรโมตสินค้าหลอกลวงที่แนบมากับข้อมูล

พื้นผิวการโจมตีที่รวมศูนย์อย่างอันตราย

หัวใจของปัญหาอยู่ที่