Quy mô của sự giả mạo: 89% trích dẫn có vấn đề

Kết quả quét của GPTZero trên 45 trích dẫn của báo cáo cho thấy một sự thất bại có hệ thống trong việc xác minh :

• Chỉ có 5 trích dẫn chính xác trỏ đến các nguồn thực tế, có liên quan.
• 28 trích dẫn có tiêu đề được diễn giải hoặc thay đổi, với các thành phần giả mạo được ghép vào các ấn phẩm thực tế.
• 12 trích dẫn quá mơ hồ hoặc không nhất quán để truy xuất nguồn gốc.
• Khoảng một nửa các tuyên bố quan trọng của báo cáo dựa trên các trích dẫn này dường như là giả mạo hoặc sai nguồn.

Nhìn chung, 89% tài liệu tham khảo bị gắn cờ là có vấn đề. Công cụ phát hiện AI của GPTZero còn thêm một lớp đáng lo ngại, đánh giá tài liệu 56% là "hỗn hợp," cho thấy nó có khả năng được tạo ra hoặc hỗ trợ nhiều bởi AI mà không qua kiểm duyệt đáng kể của con người .

Ai đã bị trích dẫn sai và báo cáo đã tuyên bố gì?

Cuộc điều tra đã xác định bốn tổ chức nổi bật bị trích dẫn với các nghiên cứu tình huống giả mạo về việc triển khai "agentic AI" :

• UBS: Báo cáo tuyên bố ngân hàng này đang triển khai AI để cung cấp thông tin chi tiết về quản lý tài sản cá nhân hóa, nhưng không có nguồn nào có thể kiểm chứng tồn tại.
• NHS Greater Manchester: Báo cáo khẳng định tổ chức y tế này đang sử dụng AI để điều phối hành trình bệnh nhân, một tuyên bố không được hỗ trợ bởi tài liệu thực tế.
• Transport for London (TfL): TfL được trích dẫn như một ví dụ về tối ưu hóa trải nghiệm khách hàng theo thời gian thực nhờ AI, nhưng tuyên bố này không thể được chứng thực.
• Swiss Federal Railways (SBB): Báo cáo đưa ra một nghiên cứu tình huống về việc SBB sử dụng AI cho các điểm tiếp xúc khách hàng tích hợp, nhưng không có sáng kiến nào như vậy được xác minh trong các tài liệu được trích dẫn.

Trong mỗi trường hợp, các trích dẫn đều trỏ đến các báo cáo không tồn tại, tiêu đề của các ấn phẩm thực tế không liên quan đã bị diễn giải lại, hoặc các tham chiếu quá mơ hồ đến mức trở nên vô dụng .

Nguyên nhân gốc rễ: Công cụ AI hoạt động ngoài tầm kiểm soát mà không có xác minh

Phân tích của GPTZero kết luận rằng các lỗi này có khả năng là kết quả của một công cụ nghiên cứu AI đã tuân thủ quá mức yêu cầu tìm các ví dụ thực tế về "agentic AI." Công cụ này đã tạo ra các nghiên cứu tình huống và trích dẫn nghe có vẻ hợp lý nhưng hoàn toàn hư cấu, sau đó lọt qua quy trình xem xét của KPMG mà không được sửa chữa .

Sự cố này nhấn mạnh một lỗ hổng nghiêm trọng: khi nghiên cứu do AI tạo ra được công bố mà không có sự xác minh nghiêm ngặt của con người, nó có thể tạo ra những thông tin vô nghĩa nhưng nghe có vẻ có thẩm quyền, gây tổn hại đến uy tín của tổ chức .

Một mô hình ngày càng gia tăng của các ảo giác AI trong dịch vụ chuyên nghiệp

Báo cáo bị rút của KPMG không phải là một sự cố cá biệt. Nó nằm trong một xu hướng ngày càng mở rộng của các lỗi trích dẫn liên quan đến AI trên khắp các công ty tư vấn và luật lớn :

• Deloitte Australia đã phải ban hành lại một báo cáo của chính phủ trị giá $440.000 sau khi báo cáo này bị phát hiện chứa các tài liệu tham khảo học thuật hư cấu và một trích dẫn bịa đặt từ một bản án của tòa án liên bang . Công ty đã phải hoàn trả một phần phí và hứng chịu sự giám sát của công chúng .
• Ernst & Young (EY) đã sản xuất một báo cáo về gian lận lòng trung thành, nơi cuộc điều tra của GPTZero phát hiện ra rằng hầu như tất cả các URL đều bị hỏng hoặc giả mạo, và hơn một nửa số tiêu đề không tương ứng với các nguồn thực tế .
• Các vấn đề tương tự cũng đã xuất hiện trong các hồ sơ pháp lý liên quan đến các công ty lớn như Sullivan & Cromwell .

Những thất bại lặp đi lặp lại này làm nổi bật một rủi ro mang tính hệ thống: nếu không có sự giám sát chặt chẽ của con người, các công cụ nghiên cứu AI đang tạo ra bằng chứng trông có vẻ đáng tin cậy nhưng lại tan rã dưới sự xem xét kỹ lưỡng. Đối với một ngành công nghiệp bán niềm tin và chuyên môn, cái giá của việc sai lầm được tính bằng đô la, danh tiếng và sự chú ý của các cơ quan quản lý. Trường hợp của KPMG là một lời cảnh báo rõ ràng rằng "sự kiểm tra" trong quy trình làm việc có sự hỗ trợ của AI phải là thật, kỹ lưỡng và do con người thực hiện.

Quy mô của sự giả mạo: 89% trích dẫn có vấn đề

Kết quả quét của GPTZero trên 45 trích dẫn của báo cáo cho thấy một sự thất bại có hệ thống trong việc xác minh :

• Chỉ có 5 trích dẫn chính xác trỏ đến các nguồn thực tế, có liên quan.
• 28 trích dẫn có tiêu đề được diễn giải hoặc thay đổi, với các thành phần giả mạo được ghép vào các ấn phẩm thực tế.
• 12 trích dẫn quá mơ hồ hoặc không nhất quán để truy xuất nguồn gốc.
• Khoảng một nửa các tuyên bố quan trọng của báo cáo dựa trên các trích dẫn này dường như là giả mạo hoặc sai nguồn.

Nhìn chung, 89% tài liệu tham khảo bị gắn cờ là có vấn đề. Công cụ phát hiện AI của GPTZero còn thêm một lớp đáng lo ngại, đánh giá tài liệu 56% là "hỗn hợp," cho thấy nó có khả năng được tạo ra hoặc hỗ trợ nhiều bởi AI mà không qua kiểm duyệt đáng kể của con người .

Ai đã bị trích dẫn sai và báo cáo đã tuyên bố gì?

Cuộc điều tra đã xác định bốn tổ chức nổi bật bị trích dẫn với các nghiên cứu tình huống giả mạo về việc triển khai "agentic AI" :

• UBS: Báo cáo tuyên bố ngân hàng này đang triển khai AI để cung cấp thông tin chi tiết về quản lý tài sản cá nhân hóa, nhưng không có nguồn nào có thể kiểm chứng tồn tại.
• NHS Greater Manchester: Báo cáo khẳng định tổ chức y tế này đang sử dụng AI để điều phối hành trình bệnh nhân, một tuyên bố không được hỗ trợ bởi tài liệu thực tế.
• Transport for London (TfL): TfL được trích dẫn như một ví dụ về tối ưu hóa trải nghiệm khách hàng theo thời gian thực nhờ AI, nhưng tuyên bố này không thể được chứng thực.
• Swiss Federal Railways (SBB): Báo cáo đưa ra một nghiên cứu tình huống về việc SBB sử dụng AI cho các điểm tiếp xúc khách hàng tích hợp, nhưng không có sáng kiến nào như vậy được xác minh trong các tài liệu được trích dẫn.

Trong mỗi trường hợp, các trích dẫn đều trỏ đến các báo cáo không tồn tại, tiêu đề của các ấn phẩm thực tế không liên quan đã bị diễn giải lại, hoặc các tham chiếu quá mơ hồ đến mức trở nên vô dụng .

Nguyên nhân gốc rễ: Công cụ AI hoạt động ngoài tầm kiểm soát mà không có xác minh

Phân tích của GPTZero kết luận rằng các lỗi này có khả năng là kết quả của một công cụ nghiên cứu AI đã tuân thủ quá mức yêu cầu tìm các ví dụ thực tế về "agentic AI." Công cụ này đã tạo ra các nghiên cứu tình huống và trích dẫn nghe có vẻ hợp lý nhưng hoàn toàn hư cấu, sau đó lọt qua quy trình xem xét của KPMG mà không được sửa chữa .

Sự cố này nhấn mạnh một lỗ hổng nghiêm trọng: khi nghiên cứu do AI tạo ra được công bố mà không có sự xác minh nghiêm ngặt của con người, nó có thể tạo ra những thông tin vô nghĩa nhưng nghe có vẻ có thẩm quyền, gây tổn hại đến uy tín của tổ chức .

Một mô hình ngày càng gia tăng của các ảo giác AI trong dịch vụ chuyên nghiệp

Báo cáo bị rút của KPMG không phải là một sự cố cá biệt. Nó nằm trong một xu hướng ngày càng mở rộng của các lỗi trích dẫn liên quan đến AI trên khắp các công ty tư vấn và luật lớn :

• Deloitte Australia đã phải ban hành lại một báo cáo của chính phủ trị giá $440.000 sau khi báo cáo này bị phát hiện chứa các tài liệu tham khảo học thuật hư cấu và một trích dẫn bịa đặt từ một bản án của tòa án liên bang . Công ty đã phải hoàn trả một phần phí và hứng chịu sự giám sát của công chúng .
• Ernst & Young (EY) đã sản xuất một báo cáo về gian lận lòng trung thành, nơi cuộc điều tra của GPTZero phát hiện ra rằng hầu như tất cả các URL đều bị hỏng hoặc giả mạo, và hơn một nửa số tiêu đề không tương ứng với các nguồn thực tế .
• Các vấn đề tương tự cũng đã xuất hiện trong các hồ sơ pháp lý liên quan đến các công ty lớn như Sullivan & Cromwell .

Những thất bại lặp đi lặp lại này làm nổi bật một rủi ro mang tính hệ thống: nếu không có sự giám sát chặt chẽ của con người, các công cụ nghiên cứu AI đang tạo ra bằng chứng trông có vẻ đáng tin cậy nhưng lại tan rã dưới sự xem xét kỹ lưỡng. Đối với một ngành công nghiệp bán niềm tin và chuyên môn, cái giá của việc sai lầm được tính bằng đô la, danh tiếng và sự chú ý của các cơ quan quản lý. Trường hợp của KPMG là một lời cảnh báo rõ ràng rằng "sự kiểm tra" trong quy trình làm việc có sự hỗ trợ của AI phải là thật, kỹ lưỡng và do con người thực hiện.