Sự tập trung này tạo ra một bề mặt tấn công cực kỳ hấp dẫn. Kẻ tấn công chỉ cần đăng một bình luận đã được soạn sẵn vào một chủ đề (thread) Reddit nổi tiếng, hoặc kín đáo chỉnh sửa một trang Wikipedia, với mục tiêu quảng bá một thực thể nhất định, chẳng hạn như một sản phẩm giả mạo hay dịch vụ lừa đảo. Vì các tác nhân AI liên tục truy xuất lặp lại cùng một trang UGC có thứ hạng cao cho nhiều truy vấn khác nhau về một chủ đề, một trang độc hại duy nhất có thể đầu độc toàn bộ ngữ cảnh nghiên cứu của AI .
Kết quả của cuộc tấn công thực sự gây sốc vì sự đơn giản và hiệu quả của nó. Nghiên cứu cho thấy một đoạn văn bản độc hại chỉ dài vỏn vẹn 13 từ cũng đủ sức đạt tỉ lệ được nhắc đến từ 38% đến 62%. Điều này đồng nghĩa với việc trong 38-62% số truy vấn, thực thể mục tiêu của kẻ tấn công đã được trích dẫn trực tiếp trong báo cáo cuối cùng của AI. Bài nghiên cứu xác nhận hiệu quả này được giữ nguyên trên nhiều cụm truy vấn và các kiến trúc AI khác nhau, chứng minh rằng lỗ hổng này mang tính cấu trúc, chứ không giới hạn ở một hệ thống đơn lẻ .
Điều đáng sợ hơn là cuộc tấn công không làm cho báo cáo tổng thể trở nên vô nghĩa hay kém chất lượng. Đoạn văn bản được cấy ghép hòa lẫn một cách tự nhiên với nội dung hợp pháp, khiến việc quảng bá ngầm cho một sản phẩm lừa đảo trở nên cực kỳ khó bị phát hiện, dù là với người dùng thông thường hay các bộ lọc tự động .
Gốc rễ của vấn đề nằm ở sự trùng lặp trong quá trình truy xuất thông tin. Các nhà nghiên cứu quan sát thấy rằng, trong cùng một cụm chủ đề, các trang Reddit giống hệt nhau xuất hiện trong kết quả tìm kiếm cho tới 48% số truy vấn liên quan. Điều này có nghĩa là chỉ cần đầu độc một chủ đề Reddit được truy cập nhiều, kẻ xấu có thể tác động đến gần một nửa số câu hỏi của người dùng về chủ đề đó, từ "dịch vụ cứu hộ đường bộ tốt nhất", "cách hủy thuê bao" cho đến "ứng dụng hẹn hò được đánh giá cao" . Sự tập trung này biến một điểm lỗi duy nhất thành một lỗ hổng bảo mật trên diện rộng.
Nhóm nghiên cứu đã thử nghiệm ba chiến lược phòng thủ trực tiếp và nhận thấy chúng đều không hiệu quả hoặc tự phản tác dụng .
Chặn toàn bộ tên miền UGC: Phương án này chặn đứng cuộc tấn công ngay lập tức bằng cách loại bỏ các trang Reddit và Wikipedia bị nhiễm độc khỏi nguồn truy xuất. Tuy nhiên, đây là liệu pháp còn độc hại hơn cả căn bệnh: chính các nền tảng UGC này cung cấp những thông tin phong phú, chi tiết và mang tính trải nghiệm thực tế, thứ tạo nên giá trị cho các trợ lý nghiên cứu chuyên sâu. Nếu loại bỏ chúng, AI sẽ không thể tạo ra những báo cáo chuyên sâu và đầy đủ như người dùng mong đợi .
Sử dụng chính mô hình ngôn ngữ của AI để sàng lọc nguồn: Cách làm này đôi khi bắt được những nỗ lực đầu độc thô thiển, nhưng về cơ bản là không đáng tin cậy. Một đoạn văn bản độc hại được soạn thảo tinh vi, mô phỏng giọng điệu của các bình luận hợp pháp xung quanh, có thể dễ dàng qua mặt các vòng kiểm tra này. Hơn nữa, cách tiếp cận này còn làm tăng đáng kể độ trễ và chi phí xử lý mà không mang lại lợi ích bảo mật tương xứng .
Áp dụng các bước kiểm tra tính hợp lý cho báo cáo cuối: Phương pháp này có thể gắn cờ một số đề xuất cực đoan hoặc phi logic. Tuy nhiên, vấn đề là các cuộc tấn công WARP được thiết kế để trở nên tinh vi và khó nhận biết. Phần nội dung cấy ghép rất ngắn, phù hợp ngữ cảnh và không làm giảm chất lượng tổng thể của báo cáo. Tài liệu cuối cùng sẽ vượt qua các kỳ đánh giá về tính hợp lý một cách dễ dàng, không có bất kỳ dấu hiệu cảnh báo rõ ràng nào, dù cho lúc này nó đang ngầm giới thiệu một sản phẩm do kẻ tấn công lựa chọn .
Kết luận của nghiên cứu thật đáng lo ngại. Lỗ hổng này không phải là một lỗi phần mềm có thể vá lại được; nó là hệ quả tất yếu trong chính cách thức các tác nhân AI này được thiết kế để vận hành. Sự phụ thuộc quá lớn vào một nhóm nhỏ các trang UGC liên tục bị truy xuất lặp lại đã tạo ra một bề mặt tấn công tập trung và đầy sơ hở mà không một hệ thống phòng thủ hiện tại nào có thể bịt kín nếu không đồng thời phá hỏng chức năng cốt lõi của chúng .
Sự tập trung này tạo ra một bề mặt tấn công cực kỳ hấp dẫn. Kẻ tấn công chỉ cần đăng một bình luận đã được soạn sẵn vào một chủ đề (thread) Reddit nổi tiếng, hoặc kín đáo chỉnh sửa một trang Wikipedia, với mục tiêu quảng bá một thực thể nhất định, chẳng hạn như một sản phẩm giả mạo hay dịch vụ lừa đảo. Vì các tác nhân AI liên tục truy xuất lặp lại cùng một trang UGC có thứ hạng cao cho nhiều truy vấn khác nhau về một chủ đề, một trang độc hại duy nhất có thể đầu độc toàn bộ ngữ cảnh nghiên cứu của AI .
Kết quả của cuộc tấn công thực sự gây sốc vì sự đơn giản và hiệu quả của nó. Nghiên cứu cho thấy một đoạn văn bản độc hại chỉ dài vỏn vẹn 13 từ cũng đủ sức đạt tỉ lệ được nhắc đến từ 38% đến 62%. Điều này đồng nghĩa với việc trong 38-62% số truy vấn, thực thể mục tiêu của kẻ tấn công đã được trích dẫn trực tiếp trong báo cáo cuối cùng của AI. Bài nghiên cứu xác nhận hiệu quả này được giữ nguyên trên nhiều cụm truy vấn và các kiến trúc AI khác nhau, chứng minh rằng lỗ hổng này mang tính cấu trúc, chứ không giới hạn ở một hệ thống đơn lẻ .
Điều đáng sợ hơn là cuộc tấn công không làm cho báo cáo tổng thể trở nên vô nghĩa hay kém chất lượng. Đoạn văn bản được cấy ghép hòa lẫn một cách tự nhiên với nội dung hợp pháp, khiến việc quảng bá ngầm cho một sản phẩm lừa đảo trở nên cực kỳ khó bị phát hiện, dù là với người dùng thông thường hay các bộ lọc tự động .
Gốc rễ của vấn đề nằm ở sự trùng lặp trong quá trình truy xuất thông tin. Các nhà nghiên cứu quan sát thấy rằng, trong cùng một cụm chủ đề, các trang Reddit giống hệt nhau xuất hiện trong kết quả tìm kiếm cho tới 48% số truy vấn liên quan. Điều này có nghĩa là chỉ cần đầu độc một chủ đề Reddit được truy cập nhiều, kẻ xấu có thể tác động đến gần một nửa số câu hỏi của người dùng về chủ đề đó, từ "dịch vụ cứu hộ đường bộ tốt nhất", "cách hủy thuê bao" cho đến "ứng dụng hẹn hò được đánh giá cao" . Sự tập trung này biến một điểm lỗi duy nhất thành một lỗ hổng bảo mật trên diện rộng.
Nhóm nghiên cứu đã thử nghiệm ba chiến lược phòng thủ trực tiếp và nhận thấy chúng đều không hiệu quả hoặc tự phản tác dụng .
Chặn toàn bộ tên miền UGC: Phương án này chặn đứng cuộc tấn công ngay lập tức bằng cách loại bỏ các trang Reddit và Wikipedia bị nhiễm độc khỏi nguồn truy xuất. Tuy nhiên, đây là liệu pháp còn độc hại hơn cả căn bệnh: chính các nền tảng UGC này cung cấp những thông tin phong phú, chi tiết và mang tính trải nghiệm thực tế, thứ tạo nên giá trị cho các trợ lý nghiên cứu chuyên sâu. Nếu loại bỏ chúng, AI sẽ không thể tạo ra những báo cáo chuyên sâu và đầy đủ như người dùng mong đợi .
Sử dụng chính mô hình ngôn ngữ của AI để sàng lọc nguồn: Cách làm này đôi khi bắt được những nỗ lực đầu độc thô thiển, nhưng về cơ bản là không đáng tin cậy. Một đoạn văn bản độc hại được soạn thảo tinh vi, mô phỏng giọng điệu của các bình luận hợp pháp xung quanh, có thể dễ dàng qua mặt các vòng kiểm tra này. Hơn nữa, cách tiếp cận này còn làm tăng đáng kể độ trễ và chi phí xử lý mà không mang lại lợi ích bảo mật tương xứng .
Áp dụng các bước kiểm tra tính hợp lý cho báo cáo cuối: Phương pháp này có thể gắn cờ một số đề xuất cực đoan hoặc phi logic. Tuy nhiên, vấn đề là các cuộc tấn công WARP được thiết kế để trở nên tinh vi và khó nhận biết. Phần nội dung cấy ghép rất ngắn, phù hợp ngữ cảnh và không làm giảm chất lượng tổng thể của báo cáo. Tài liệu cuối cùng sẽ vượt qua các kỳ đánh giá về tính hợp lý một cách dễ dàng, không có bất kỳ dấu hiệu cảnh báo rõ ràng nào, dù cho lúc này nó đang ngầm giới thiệu một sản phẩm do kẻ tấn công lựa chọn .
Kết luận của nghiên cứu thật đáng lo ngại. Lỗ hổng này không phải là một lỗi phần mềm có thể vá lại được; nó là hệ quả tất yếu trong chính cách thức các tác nhân AI này được thiết kế để vận hành. Sự phụ thuộc quá lớn vào một nhóm nhỏ các trang UGC liên tục bị truy xuất lặp lại đã tạo ra một bề mặt tấn công tập trung và đầy sơ hở mà không một hệ thống phòng thủ hiện tại nào có thể bịt kín nếu không đồng thời phá hỏng chức năng cốt lõi của chúng .