تقرير KPMG الملوث بالذكاء الاصطناعي: 89% من الاستشهادات كانت ملفقة

حجم التلفيق: 89% من الاستشهادات معيبة

كشف فحص GPTZero لـ 45 استشهاداً في التقرير عن فشل منهجي في التحقق :

• 5 استشهادات فقط كانت تشير بدقة إلى مصادر حقيقية وذات صلة.
• 28 استشهاداً تحتوي على عناوين معاد صياغتها أو مُعدّلة، مع إضافة أجزاء وهمية إلى منشورات حقيقية.
• 12 استشهاداً كانت غامضة جداً أو غير متسقة بحيث لا يمكن تتبعها لأي مصدر موجود.
• ما يقرب من نصف الادعاءات الجوهرية في التقرير التي اعتمدت على هذه الاستشهادات بدت وكأنها مزيفة أو منسوبة بشكل خاطئ.

بشكل عام، تم الإبلاغ عن 89% من قائمة المراجع على أنها معيبة. وأضاف فحص كشف الذكاء الاصطناعي من GPTZero طبقة أخرى من القلق، حيث صنف الوثيقة بأنها "مختلطة" بنسبة 56%، مما يشير إلى أنها على الأرجح محتوى من إنتاج الذكاء الاصطناعي أو بمساعدة كثيفة منه دون مراجعة بشرية جوهرية .

من الذي تم الاستشهاد به زوراً، وماذا ادعى التقرير؟

حدد التحقيق أربع مؤسسات بارزة تم الاستشهاد بها بدراسات حالة ملفقة حول نشر "الذكاء الاصطناعي العامِل" :

• UBS (بنك يو بي إس): ادعى التقرير أن البنك ينشر الذكاء الاصطناعي العامِل لتقديم رؤى مخصصة لإدارة الثروات، لكن لم يتم العثور على أي مصدر موثوق.
• NHS مانشستر الكبرى (هيئة الصحة البريطانية): زعم التقرير أن الهيئة تستخدم الذكاء الاصطناعي لتنسيق رحلة المريض، وهو ادعاء لا تدعمه أي وثائق حقيقية.
• هيئة النقل في لندن (TfL): تم الاستشهاد بالهيئة كمثال على تحسين تجربة العملاء في الوقت الفعلي باستخدام الذكاء الاصطناعي، لكن لم يمكن تأكيد هذا الادعاء.
• السكك الحديدية الفيدرالية السويسرية (SBB): قدم التقرير دراسة حالة عن استخدام الهيئة للذكاء الاصطناعي العامِل لنقاط الاتصال المتكاملة مع العملاء، لكن لم يتم التحقق من أي مبادرة من هذا القبيل في المواد التي تم الاستشهاد بها.

في كل حالة، كانت الاستشهادات تشير إلى تقارير غير موجودة، أو عناوين مُعاد صياغتها لمنشورات حقيقية غير ذات صلة، أو مراجع غامضة جداً لدرجة أنها كانت عديمة الفائدة عملياً .

السبب الجذري: أدوات الذكاء الاصطناعي تعمل دون تحقق

خلص تحليل GPTZero إلى أن الأخطاء كانت على الأرجح نتيجة لأداة بحث ذكاء اصطناعي امتثلت بشكل مفرط لأمر العثور على أمثلة واقعية لـ "الذكاء الاصطناعي العامِل". قامت الأداة بتوليد دراسات حالة واستشهادات تبدو معقولة ولكنها خيالية تماماً، ثم انزلقت عبر عملية المراجعة في KPMG دون تصحيح .

تسلط الحادثة الضوء على ثغرة خطيرة: عندما يُنشر بحث مولّد بالذكاء الاصطناعي دون تحقق بشري صارم، فإنه يمكن أن ينتج هراءً واثقاً وموثوقاً يضر بمصداقية المؤسسات .

نمط متزايد من هلوسات الذكاء الاصطناعي في الخدمات المهنية

تقرير KPMG المسحوب ليس حادثة منعزلة بأي حال. إنه يندرج ضمن نمط متزايد من إخفاقات الاستشهاد المتعلقة بالذكاء الاصطناعي عبر شركات الاستشارات والمحاماة الكبرى :

• ديلويت أستراليا اضطرت إلى إعادة إصدار تقرير حكومي بقيمة 440,000 دولار أسترالي بعد اكتشاف احتوائه على مراجع أكاديمية وهمية واقتباس ملفق من حكم محكمة فيدرالية . أصدرت الشركة استرداداً جزئياً وواجهت تدقيقاً عاماً، حيث وصف مراقب التقرير بأنه "مليء بأخطاء الاستشهاد" .
• إرنست ويونغ (EY) أنتجت تقريراً عن الاحتيال في برامج الولاء، حيث وجد تحقيق GPTZero أن جميع الروابط تقريباً كانت معطلة أو مزيفة، وأكثر من نصف العناوين لم تتوافق مع مصادر حقيقية .
• ظهرت مشكلات مماثلة في ملفات قانونية شملت شركات كبرى مثل سوليفان آند كرومويل .

تسلط حالات الفشل المتكررة هذه الضوء على مخاطر منهجية: بدون إشراف بشري صارم، تنتج أدوات البحث بالذكاء الاصطناعي أدلة تبدو موثوقة ولكنها تذوب تحت التدقيق. بالنسبة لصناعة تبيع الثقة والخبرة، فإن ثمن الخطأ يُقاس بالدولار والسمعة والاهتمام التنظيمي. تشكل قضية KPMG تحذيراً واضحاً بأن "الفحص" في سير العمل المدعوم بالذكاء الاصطناعي يجب أن يكون حقيقياً وشاملاً وبشرياً.