• רק 5 ציטוטים הפנו במדויק למקורות אמיתיים ורלוונטיים.
• 28 ציטוטים כללו כותרות שעברו ניסוח מחדש או שונו, ולעיתים צורפו אליהן פרטים שלא הופיעו בפרסום המקורי.
• 12 ציטוטים היו מעורפלים או לא עקביים, ולכן לא ניתן היה לאתר באמצעותם מקור קיים.
• כ-מחצית מהטענות המהותיות שנשענו על הציטוטים הללו נראו מזויפות או משויכות למקור הלא נכון.

בסך הכול, כ-89% מהביבליוגרפיה סומנו כפגומים. סריקת זיהוי ה-AI של GPTZero דירגה את המסמך כ-56% "מעורב", ממצא המתיישב עם תוכן שנוצר בעזרת AI או בסיוע משמעותי שלו — ועבר, לכאורה, ביקורת אנושית שלא הצליחה לאתר את הבעיות .

הארגונים שהוצגו במקרי בוחן שלא ניתן היה לאמת

הבדיקה זיהתה ארבעה ארגונים מוכרים שהדו״ח הציג אותם כדוגמאות להפעלה של AI סוכני, אף שלא נמצא תיעוד מאמת לטענות שהופנו אליהם :

• UBS — הדו״ח טען שהבנק משתמש ב-AI סוכני כדי להפיק תובנות מותאמות אישית בתחום ניהול העושר. לפי הבדיקה, לא נמצא מקור שניתן לאמת עבור המקרה הזה.
• NHS Greater Manchester — הדו״ח תיאר שימוש ב-AI לתיאום ולניהול מסע המטופל, אך הטענה לא נתמכה בתיעוד אמיתי שניתן לאתר.
• Transport for London ‏(TfL) — רשות התחבורה הלונדונית הוצגה כדוגמה לאופטימיזציה בזמן אמת של חוויית הלקוח באמצעות AI, אולם לא נמצא אישור לטענה.
• Swiss Federal Railways ‏(SBB) — הדו״ח הציג מקרה בוחן של שימוש ב-AI סוכני לניהול נקודות מגע משולבות עם הלקוחות, אך גם יוזמה זו לא אומתה בחומרים שאליהם הופנה הקורא.

במקרים הללו, ההפניות הובילו לדו״חות שלא היו קיימים, לכותרות ששונו על בסיס פרסומים אמיתיים אך לא קשורים, או למקורות כלליים מדי מכדי שאפשר יהיה לבדוק אותם .

ההסבר הסביר: כלי מחקר שנענה לפקודה — בלי בדיקה מספקת

המסקנה של GPTZero הייתה שהשגיאות נבעו ככל הנראה מכלי מחקר מבוסס AI שניסה למלא בקפדנות יתרה בקשה למצוא דוגמאות אמיתיות לשימוש ב-AI סוכני . במקום להסתפק במידע שניתן לאמת, הכלי יצר מקרי בוחן והפניות שנשמעו סבירים — אך היו בדויים או פגומים.

החלק המדאיג הוא לא רק עצם היכולת של המערכת להמציא מידע, אלא העובדה שהמידע עבר את תהליך הבדיקה והגיע לפרסום ללא אימות יסודי של המקורות . בעולם הייעוץ, שבו האמינות היא חלק מרכזי מהמוצר, טעות כזו עלולה לפגוע בכסף, במוניטין ובאמון הציבור.

לא מקרה חד-פעמי בתעשיית השירותים המקצועיים

הדו״ח של KPMG מצטרף לשורה רחבה יותר של תקלות ציטוט הקשורות ל-AI בחברות ייעוץ ובמשרדי עורכי דין .

• Deloitte Australia נדרשה לפרסם מחדש דו״ח ממשלתי בשווי שדווח כ-440 אלף דולר, לאחר שהתגלו בו הפניות למאמרים אקדמיים שלא היו קיימים וציטוט מומצא מפסק דין של בית משפט פדרלי . החברה נאלצה גם להעניק החזר חלקי, והדו״ח המקורי ספג ביקורת על כך שהיה "גדוש בשגיאות ציטוט" .
• Ernst & Young ‏(EY) פרסמה דו״ח בנושא הונאות בתחום הנאמנות, שבו בדיקת GPTZero מצאה שכמעט כל כתובות האינטרנט היו שבורות או מזויפות, ויותר ממחצית מהכותרות לא תאמו מקורות אמיתיים .
• תקלות דומות הופיעו גם בהליכים משפטיים שבהם היו מעורבים משרדים גדולים, בהם Sullivan & Cromwell .

המסר אינו בהכרח שצריך להפסיק להשתמש ב-AI למחקר או לכתיבה. הלקח הוא שכל טענה, מספר, ציטוט וקישור שנוצרו בעזרת מערכת כזו חייבים להיבדק מול מקור ראשוני שניתן לאמת — לפני שהם יוצאים מהארגון.

במילים פשוטות: הבעיה אינה רק שה-AI עלול "להזות". הבעיה מתחילה כאשר אף אדם לא בודק אם מה שנכתב אכן קרה.

• רק 5 ציטוטים הפנו במדויק למקורות אמיתיים ורלוונטיים.
• 28 ציטוטים כללו כותרות שעברו ניסוח מחדש או שונו, ולעיתים צורפו אליהן פרטים שלא הופיעו בפרסום המקורי.
• 12 ציטוטים היו מעורפלים או לא עקביים, ולכן לא ניתן היה לאתר באמצעותם מקור קיים.
• כ-מחצית מהטענות המהותיות שנשענו על הציטוטים הללו נראו מזויפות או משויכות למקור הלא נכון.

בסך הכול, כ-89% מהביבליוגרפיה סומנו כפגומים. סריקת זיהוי ה-AI של GPTZero דירגה את המסמך כ-56% "מעורב", ממצא המתיישב עם תוכן שנוצר בעזרת AI או בסיוע משמעותי שלו — ועבר, לכאורה, ביקורת אנושית שלא הצליחה לאתר את הבעיות .

הארגונים שהוצגו במקרי בוחן שלא ניתן היה לאמת

הבדיקה זיהתה ארבעה ארגונים מוכרים שהדו״ח הציג אותם כדוגמאות להפעלה של AI סוכני, אף שלא נמצא תיעוד מאמת לטענות שהופנו אליהם :

• UBS — הדו״ח טען שהבנק משתמש ב-AI סוכני כדי להפיק תובנות מותאמות אישית בתחום ניהול העושר. לפי הבדיקה, לא נמצא מקור שניתן לאמת עבור המקרה הזה.
• NHS Greater Manchester — הדו״ח תיאר שימוש ב-AI לתיאום ולניהול מסע המטופל, אך הטענה לא נתמכה בתיעוד אמיתי שניתן לאתר.
• Transport for London ‏(TfL) — רשות התחבורה הלונדונית הוצגה כדוגמה לאופטימיזציה בזמן אמת של חוויית הלקוח באמצעות AI, אולם לא נמצא אישור לטענה.
• Swiss Federal Railways ‏(SBB) — הדו״ח הציג מקרה בוחן של שימוש ב-AI סוכני לניהול נקודות מגע משולבות עם הלקוחות, אך גם יוזמה זו לא אומתה בחומרים שאליהם הופנה הקורא.

במקרים הללו, ההפניות הובילו לדו״חות שלא היו קיימים, לכותרות ששונו על בסיס פרסומים אמיתיים אך לא קשורים, או למקורות כלליים מדי מכדי שאפשר יהיה לבדוק אותם .

ההסבר הסביר: כלי מחקר שנענה לפקודה — בלי בדיקה מספקת

המסקנה של GPTZero הייתה שהשגיאות נבעו ככל הנראה מכלי מחקר מבוסס AI שניסה למלא בקפדנות יתרה בקשה למצוא דוגמאות אמיתיות לשימוש ב-AI סוכני . במקום להסתפק במידע שניתן לאמת, הכלי יצר מקרי בוחן והפניות שנשמעו סבירים — אך היו בדויים או פגומים.

החלק המדאיג הוא לא רק עצם היכולת של המערכת להמציא מידע, אלא העובדה שהמידע עבר את תהליך הבדיקה והגיע לפרסום ללא אימות יסודי של המקורות . בעולם הייעוץ, שבו האמינות היא חלק מרכזי מהמוצר, טעות כזו עלולה לפגוע בכסף, במוניטין ובאמון הציבור.

לא מקרה חד-פעמי בתעשיית השירותים המקצועיים

הדו״ח של KPMG מצטרף לשורה רחבה יותר של תקלות ציטוט הקשורות ל-AI בחברות ייעוץ ובמשרדי עורכי דין .

• Deloitte Australia נדרשה לפרסם מחדש דו״ח ממשלתי בשווי שדווח כ-440 אלף דולר, לאחר שהתגלו בו הפניות למאמרים אקדמיים שלא היו קיימים וציטוט מומצא מפסק דין של בית משפט פדרלי . החברה נאלצה גם להעניק החזר חלקי, והדו״ח המקורי ספג ביקורת על כך שהיה "גדוש בשגיאות ציטוט" .
• Ernst & Young ‏(EY) פרסמה דו״ח בנושא הונאות בתחום הנאמנות, שבו בדיקת GPTZero מצאה שכמעט כל כתובות האינטרנט היו שבורות או מזויפות, ויותר ממחצית מהכותרות לא תאמו מקורות אמיתיים .
• תקלות דומות הופיעו גם בהליכים משפטיים שבהם היו מעורבים משרדים גדולים, בהם Sullivan & Cromwell .

המסר אינו בהכרח שצריך להפסיק להשתמש ב-AI למחקר או לכתיבה. הלקח הוא שכל טענה, מספר, ציטוט וקישור שנוצרו בעזרת מערכת כזו חייבים להיבדק מול מקור ראשוני שניתן לאמת — לפני שהם יוצאים מהארגון.

במילים פשוטות: הבעיה אינה רק שה-AI עלול "להזות". הבעיה מתחילה כאשר אף אדם לא בודק אם מה שנכתב אכן קרה.