89% ของรายการอ้างอิงมีข้อผิดพลาด

จากรายการอ้างอิงทั้งหมด 45 รายการ GPTZero ระบุว่า

• มีเพียง 5 รายการ ที่อ้างถึงแหล่งข้อมูลจริงและตรงประเด็น
• 28 รายการ ใช้ชื่อเรื่องที่ถูกเปลี่ยนแปลงหรือถอดความ โดยมีส่วนประกอบที่ไม่ตรงกับต้นฉบับจริง
• 12 รายการ คลุมเครือหรือมีข้อมูลไม่สอดคล้องกัน จนไม่สามารถตรวจสอบย้อนกลับไปยังแหล่งข้อมูลที่มีอยู่ได้
• ราว ครึ่งหนึ่งของข้อกล่าวอ้างสำคัญ ที่อาศัยรายการอ้างอิงเหล่านี้ ดูเหมือนจะเป็นข้อมูลที่แต่งขึ้นหรือระบุแหล่งที่มาผิด

โดยรวมแล้ว GPTZero ทำเครื่องหมายว่า 89% ของบรรณานุกรมมีข้อบกพร่อง นอกจากนี้ การสแกนเพื่อตรวจจับเนื้อหาที่สร้างโดย AI ให้ผลเป็น “ผสม” 56% ซึ่งสื่อว่าเอกสารอาจสร้างด้วย AI หรือใช้ AI ช่วยอย่างมาก แต่ไม่ผ่านการตรวจสอบโดยมนุษย์อย่างเพียงพอ

4 องค์กรที่ถูกนำไปอ้างเป็นกรณีศึกษา AI

รายงานของ KPMG ยกองค์กรชื่อดัง 4 แห่งมาเป็นตัวอย่างการนำ agentic AI ไปใช้งาน แต่ GPTZero ไม่พบหลักฐานที่ยืนยันกรณีศึกษาเหล่านี้ได้

• UBS — รายงานอ้างว่าธนาคารกำลังใช้ agentic AI เพื่อสร้างข้อมูลเชิงลึกด้านการบริหารความมั่งคั่งแบบเฉพาะบุคคล แต่ไม่พบแหล่งข้อมูลที่ตรวจสอบได้
• NHS Greater Manchester — รายงานระบุว่าองค์กรด้านบริการสุขภาพของอังกฤษใช้ AI เพื่อประสานและจัดการเส้นทางการเดินทางของผู้ป่วย ทว่าข้อกล่าวอ้างนี้ไม่มีเอกสารจริงรองรับ
• Transport for London (TfL) — ถูกนำเสนอเป็นตัวอย่างการใช้ AI เพิ่มประสิทธิภาพประสบการณ์ลูกค้าแบบเรียลไทม์ แต่ไม่สามารถตรวจสอบยืนยันได้
• Swiss Federal Railways (SBB) — รายงานกล่าวถึงการใช้ agentic AI เพื่อเชื่อมโยงจุดสัมผัสต่าง ๆ ของลูกค้า แต่ไม่พบหลักฐานของโครงการดังกล่าวในเอกสารที่อ้างถึง

ในแต่ละกรณี รายการอ้างอิงนำไปสู่รายงานที่ไม่มีอยู่จริง ชื่อเรื่องที่ดัดแปลงจากสิ่งพิมพ์จริงแต่ไม่เกี่ยวข้อง หรือข้อมูลที่กว้างและคลุมเครือจนแทบไม่มีประโยชน์ในการตรวจสอบ

ต้นตออาจมาจาก AI ค้นคว้าที่ไม่มีคนตรวจ

บทวิเคราะห์ของ GPTZero สรุปว่า ความผิดพลาดน่าจะเกิดจากเครื่องมือวิจัย AI ที่พยายามทำตามคำสั่งค้นหาตัวอย่างการใช้ “agentic AI” ในโลกจริงมากเกินไป เครื่องมือจึงสร้างกรณีศึกษาที่ฟังดูน่าเชื่อถือ พร้อมแหล่งอ้างอิงที่แต่งขึ้น แต่ข้อมูลเหล่านี้กลับหลุดผ่านกระบวนการตรวจทานของ KPMG

กรณีนี้ชี้ให้เห็นจุดเปราะบางสำคัญของการทำงานร่วมกับ AI นั่นคือ เนื้อหาที่เขียนด้วยน้ำเสียงมั่นใจและมีรูปแบบเหมือนงานวิจัย อาจเป็นเรื่องที่ไม่จริงได้ หากไม่มีมนุษย์ตรวจสอบเอกสารต้นทางทีละรายการก่อนเผยแพร่

ไม่ใช่เหตุการณ์เดียวในวงการที่ปรึกษา

ปัญหาของ KPMG เกิดขึ้นท่ามกลางเหตุการณ์ลักษณะเดียวกันในอุตสาหกรรมบริการวิชาชีพ ซึ่งมีทั้งบริษัทที่ปรึกษา สำนักงานบัญชี และสำนักงานกฎหมายใช้เนื้อหาจาก AI แล้วพบการอ้างอิงที่ตรวจสอบไม่ได้

• Deloitte Australia ต้องจัดทำรายงานให้รัฐบาลใหม่ หลังฉบับเดิมพบข้อผิดพลาดที่เกี่ยวข้องกับ AI รวมถึงการอ้างงานวิชาการที่ไม่มีอยู่จริงและคำพูดปลอมจากคำพิพากษาของศาลรัฐบาลกลาง บริษัทเผชิญแรงกดดันจากสาธารณะและต้องคืนเงินบางส่วน
• Ernst & Young (EY) ถูก GPTZero ตรวจสอบรายงานเรื่องการทุจริตด้านโปรแกรมสะสมคะแนน โดยพบว่า URL เกือบทั้งหมดใช้การไม่ได้หรือเป็นของปลอม และชื่อเรื่องมากกว่าครึ่งไม่ตรงกับแหล่งข้อมูลจริง
• ปัญหาคล้ายกันยังปรากฏในเอกสารทางกฎหมายที่เกี่ยวข้องกับสำนักงานอย่าง Sullivan & Cromwell

ความล้มเหลวที่เกิดซ้ำทำให้เห็นว่า นี่ไม่ใช่เพียงความผิดพลาดเล็ก ๆ ของเครื่องมือ แต่เป็นความเสี่ยงเชิงระบบ เมื่อ AI สร้างหลักฐานที่ดูน่าเชื่อถือโดยไม่มีการควบคุมจากมนุษย์อย่างจริงจัง ความเสียหายอาจลุกลามไปถึงความน่าเชื่อถือขององค์กร เงินทุน และการตรวจสอบจากหน่วยงานกำกับดูแล

บทเรียนจากรายงาน KPMG จึงไม่ใช่การเลิกใช้ AI แต่คือการทำให้คำว่า “ตรวจสอบ” ในกระบวนการทำงานที่มี AI ช่วยนั้นเกิดขึ้นจริง ตรวจสอบแหล่งข้อมูลต้นทางทุกข้อกล่าวอ้าง และต้องมีมนุษย์ผู้รับผิดชอบก่อนเอกสารจะออกสู่สาธารณะ

89% ของรายการอ้างอิงมีข้อผิดพลาด

จากรายการอ้างอิงทั้งหมด 45 รายการ GPTZero ระบุว่า

• มีเพียง 5 รายการ ที่อ้างถึงแหล่งข้อมูลจริงและตรงประเด็น
• 28 รายการ ใช้ชื่อเรื่องที่ถูกเปลี่ยนแปลงหรือถอดความ โดยมีส่วนประกอบที่ไม่ตรงกับต้นฉบับจริง
• 12 รายการ คลุมเครือหรือมีข้อมูลไม่สอดคล้องกัน จนไม่สามารถตรวจสอบย้อนกลับไปยังแหล่งข้อมูลที่มีอยู่ได้
• ราว ครึ่งหนึ่งของข้อกล่าวอ้างสำคัญ ที่อาศัยรายการอ้างอิงเหล่านี้ ดูเหมือนจะเป็นข้อมูลที่แต่งขึ้นหรือระบุแหล่งที่มาผิด

โดยรวมแล้ว GPTZero ทำเครื่องหมายว่า 89% ของบรรณานุกรมมีข้อบกพร่อง นอกจากนี้ การสแกนเพื่อตรวจจับเนื้อหาที่สร้างโดย AI ให้ผลเป็น “ผสม” 56% ซึ่งสื่อว่าเอกสารอาจสร้างด้วย AI หรือใช้ AI ช่วยอย่างมาก แต่ไม่ผ่านการตรวจสอบโดยมนุษย์อย่างเพียงพอ

4 องค์กรที่ถูกนำไปอ้างเป็นกรณีศึกษา AI

รายงานของ KPMG ยกองค์กรชื่อดัง 4 แห่งมาเป็นตัวอย่างการนำ agentic AI ไปใช้งาน แต่ GPTZero ไม่พบหลักฐานที่ยืนยันกรณีศึกษาเหล่านี้ได้

• UBS — รายงานอ้างว่าธนาคารกำลังใช้ agentic AI เพื่อสร้างข้อมูลเชิงลึกด้านการบริหารความมั่งคั่งแบบเฉพาะบุคคล แต่ไม่พบแหล่งข้อมูลที่ตรวจสอบได้
• NHS Greater Manchester — รายงานระบุว่าองค์กรด้านบริการสุขภาพของอังกฤษใช้ AI เพื่อประสานและจัดการเส้นทางการเดินทางของผู้ป่วย ทว่าข้อกล่าวอ้างนี้ไม่มีเอกสารจริงรองรับ
• Transport for London (TfL) — ถูกนำเสนอเป็นตัวอย่างการใช้ AI เพิ่มประสิทธิภาพประสบการณ์ลูกค้าแบบเรียลไทม์ แต่ไม่สามารถตรวจสอบยืนยันได้
• Swiss Federal Railways (SBB) — รายงานกล่าวถึงการใช้ agentic AI เพื่อเชื่อมโยงจุดสัมผัสต่าง ๆ ของลูกค้า แต่ไม่พบหลักฐานของโครงการดังกล่าวในเอกสารที่อ้างถึง

ในแต่ละกรณี รายการอ้างอิงนำไปสู่รายงานที่ไม่มีอยู่จริง ชื่อเรื่องที่ดัดแปลงจากสิ่งพิมพ์จริงแต่ไม่เกี่ยวข้อง หรือข้อมูลที่กว้างและคลุมเครือจนแทบไม่มีประโยชน์ในการตรวจสอบ

ต้นตออาจมาจาก AI ค้นคว้าที่ไม่มีคนตรวจ

บทวิเคราะห์ของ GPTZero สรุปว่า ความผิดพลาดน่าจะเกิดจากเครื่องมือวิจัย AI ที่พยายามทำตามคำสั่งค้นหาตัวอย่างการใช้ “agentic AI” ในโลกจริงมากเกินไป เครื่องมือจึงสร้างกรณีศึกษาที่ฟังดูน่าเชื่อถือ พร้อมแหล่งอ้างอิงที่แต่งขึ้น แต่ข้อมูลเหล่านี้กลับหลุดผ่านกระบวนการตรวจทานของ KPMG

กรณีนี้ชี้ให้เห็นจุดเปราะบางสำคัญของการทำงานร่วมกับ AI นั่นคือ เนื้อหาที่เขียนด้วยน้ำเสียงมั่นใจและมีรูปแบบเหมือนงานวิจัย อาจเป็นเรื่องที่ไม่จริงได้ หากไม่มีมนุษย์ตรวจสอบเอกสารต้นทางทีละรายการก่อนเผยแพร่

ไม่ใช่เหตุการณ์เดียวในวงการที่ปรึกษา

ปัญหาของ KPMG เกิดขึ้นท่ามกลางเหตุการณ์ลักษณะเดียวกันในอุตสาหกรรมบริการวิชาชีพ ซึ่งมีทั้งบริษัทที่ปรึกษา สำนักงานบัญชี และสำนักงานกฎหมายใช้เนื้อหาจาก AI แล้วพบการอ้างอิงที่ตรวจสอบไม่ได้

• Deloitte Australia ต้องจัดทำรายงานให้รัฐบาลใหม่ หลังฉบับเดิมพบข้อผิดพลาดที่เกี่ยวข้องกับ AI รวมถึงการอ้างงานวิชาการที่ไม่มีอยู่จริงและคำพูดปลอมจากคำพิพากษาของศาลรัฐบาลกลาง บริษัทเผชิญแรงกดดันจากสาธารณะและต้องคืนเงินบางส่วน
• Ernst & Young (EY) ถูก GPTZero ตรวจสอบรายงานเรื่องการทุจริตด้านโปรแกรมสะสมคะแนน โดยพบว่า URL เกือบทั้งหมดใช้การไม่ได้หรือเป็นของปลอม และชื่อเรื่องมากกว่าครึ่งไม่ตรงกับแหล่งข้อมูลจริง
• ปัญหาคล้ายกันยังปรากฏในเอกสารทางกฎหมายที่เกี่ยวข้องกับสำนักงานอย่าง Sullivan & Cromwell

ความล้มเหลวที่เกิดซ้ำทำให้เห็นว่า นี่ไม่ใช่เพียงความผิดพลาดเล็ก ๆ ของเครื่องมือ แต่เป็นความเสี่ยงเชิงระบบ เมื่อ AI สร้างหลักฐานที่ดูน่าเชื่อถือโดยไม่มีการควบคุมจากมนุษย์อย่างจริงจัง ความเสียหายอาจลุกลามไปถึงความน่าเชื่อถือขององค์กร เงินทุน และการตรวจสอบจากหน่วยงานกำกับดูแล

บทเรียนจากรายงาน KPMG จึงไม่ใช่การเลิกใช้ AI แต่คือการทำให้คำว่า “ตรวจสอบ” ในกระบวนการทำงานที่มี AI ช่วยนั้นเกิดขึ้นจริง ตรวจสอบแหล่งข้อมูลต้นทางทุกข้อกล่าวอ้าง และต้องมีมนุษย์ผู้รับผิดชอบก่อนเอกสารจะออกสู่สาธารณะ