89% посилань мали проблеми

Перевірка 45 цитат у звіті виявила систематичні порушення верифікації джерел :

• лише 5 посилань точно вели до реальних і релевантних матеріалів;
• 28 цитат містили перефразовані або змінені назви, до яких додали вигадані елементи;
• 12 посилань були надто нечіткими або суперечливими, щоб установити, чи існує відповідне джерело;
• приблизно половина змістовних тверджень, що спиралися на ці цитати, виглядала вигаданою або неправильно приписаною.

Загалом GPTZero позначила як проблемні 89% бібліографії. Окреме визначення ймовірного використання ШІ оцінило документ як 56% «змішаний» — це вказує на ймовірний AI-генерований або суттєво AI-асистований текст, який не пройшов достатньої людської перевірки .

Які організації згадали у вигаданих кейсах

У розслідуванні йдеться про чотири великі організації, яким приписали непідтверджені приклади впровадження агентного ШІ .

• UBS. У звіті стверджувалося, що банк використовує агентний ШІ для формування персоналізованих рекомендацій у сфері управління статками. Перевіреного джерела для цього твердження не знайшли.
• NHS Greater Manchester. Організації приписали використання ШІ для координації маршруту пацієнта, однак реальної документації на підтвердження заяви не виявили.
• Transport for London (TfL). Лондонського транспортного оператора навели як приклад оптимізації клієнтського досвіду в реальному часі за допомогою ШІ. Підтвердити цей кейс не вдалося.
• Swiss Federal Railways (SBB). У документі описали нібито використання агентного ШІ для об’єднання різних точок взаємодії з пасажирами. У процитованих матеріалах підтвердження такої ініціативи не знайшли.

У кожному випадку посилання вели до неіснуючих звітів, змінених назв реальних, але нерелевантних публікацій або настільки нечітких джерел, що перевірити їх було фактично неможливо .

Як виникла помилка

GPTZero дійшла висновку, що проблема, ймовірно, виникла через надмірне виконання завдання AI-інструментом для пошуку прикладів «агентного ШІ» у реальному світі. Система могла згенерувати переконливі на вигляд, але вигадані кейси та посилання, які згодом не виявилися під час внутрішньої перевірки KPMG .

Цей випадок показує ключову вразливість AI-асистованих досліджень: без перевірки першоджерел модель може створити впевнений і авторитетний текст, наповнений неправдою. Для консалтингової компанії, що продає експертизу та довіру, наслідки такої помилки виходять далеко за межі технічної неточності .

KPMG — не єдиний подібний випадок

Відкликаний звіт вписується в ширшу серію провалів із цитуванням у консалтинговій та юридичній сферах .

• Deloitte Australia довелося перевипустити урядовий звіт вартістю 440 000 доларів після того, як у ньому виявили вигадані академічні посилання та фальшиву цитату з рішення федерального суду . Компанія погодилася на часткове повернення коштів, а документ зазнав публічної критики через численні помилки в цитуванні .
• У звіті Ernst & Young (EY) про шахрайство з програмами лояльності GPTZero виявила, що майже всі URL-адреси були непрацюючими або вигаданими, а понад половина назв не відповідала реальним джерелам .
• Схожі проблеми також фіксувалися в судових документах, пов’язаних із великими юридичними фірмами, зокрема Sullivan & Cromwell .

Повторюваність таких випадків свідчить про системний ризик для професійних послуг. ШІ може швидко підготувати матеріал, але не гарантує, що наведені в ньому цифри, твердження й посилання існують насправді.

Головний урок історії KPMG простий: у робочому процесі з використанням ШІ слово «перевірка» має означати не формальне схвалення, а ретельну перевірку кожного важливого твердження людиною та за першоджерелом.

89% посилань мали проблеми

Перевірка 45 цитат у звіті виявила систематичні порушення верифікації джерел :

• лише 5 посилань точно вели до реальних і релевантних матеріалів;
• 28 цитат містили перефразовані або змінені назви, до яких додали вигадані елементи;
• 12 посилань були надто нечіткими або суперечливими, щоб установити, чи існує відповідне джерело;
• приблизно половина змістовних тверджень, що спиралися на ці цитати, виглядала вигаданою або неправильно приписаною.

Загалом GPTZero позначила як проблемні 89% бібліографії. Окреме визначення ймовірного використання ШІ оцінило документ як 56% «змішаний» — це вказує на ймовірний AI-генерований або суттєво AI-асистований текст, який не пройшов достатньої людської перевірки .

Які організації згадали у вигаданих кейсах

У розслідуванні йдеться про чотири великі організації, яким приписали непідтверджені приклади впровадження агентного ШІ .

• UBS. У звіті стверджувалося, що банк використовує агентний ШІ для формування персоналізованих рекомендацій у сфері управління статками. Перевіреного джерела для цього твердження не знайшли.
• NHS Greater Manchester. Організації приписали використання ШІ для координації маршруту пацієнта, однак реальної документації на підтвердження заяви не виявили.
• Transport for London (TfL). Лондонського транспортного оператора навели як приклад оптимізації клієнтського досвіду в реальному часі за допомогою ШІ. Підтвердити цей кейс не вдалося.
• Swiss Federal Railways (SBB). У документі описали нібито використання агентного ШІ для об’єднання різних точок взаємодії з пасажирами. У процитованих матеріалах підтвердження такої ініціативи не знайшли.

У кожному випадку посилання вели до неіснуючих звітів, змінених назв реальних, але нерелевантних публікацій або настільки нечітких джерел, що перевірити їх було фактично неможливо .

Як виникла помилка

GPTZero дійшла висновку, що проблема, ймовірно, виникла через надмірне виконання завдання AI-інструментом для пошуку прикладів «агентного ШІ» у реальному світі. Система могла згенерувати переконливі на вигляд, але вигадані кейси та посилання, які згодом не виявилися під час внутрішньої перевірки KPMG .

Цей випадок показує ключову вразливість AI-асистованих досліджень: без перевірки першоджерел модель може створити впевнений і авторитетний текст, наповнений неправдою. Для консалтингової компанії, що продає експертизу та довіру, наслідки такої помилки виходять далеко за межі технічної неточності .

KPMG — не єдиний подібний випадок

Відкликаний звіт вписується в ширшу серію провалів із цитуванням у консалтинговій та юридичній сферах .

• Deloitte Australia довелося перевипустити урядовий звіт вартістю 440 000 доларів після того, як у ньому виявили вигадані академічні посилання та фальшиву цитату з рішення федерального суду . Компанія погодилася на часткове повернення коштів, а документ зазнав публічної критики через численні помилки в цитуванні .
• У звіті Ernst & Young (EY) про шахрайство з програмами лояльності GPTZero виявила, що майже всі URL-адреси були непрацюючими або вигаданими, а понад половина назв не відповідала реальним джерелам .
• Схожі проблеми також фіксувалися в судових документах, пов’язаних із великими юридичними фірмами, зокрема Sullivan & Cromwell .

Повторюваність таких випадків свідчить про системний ризик для професійних послуг. ШІ може швидко підготувати матеріал, але не гарантує, що наведені в ньому цифри, твердження й посилання існують насправді.

Головний урок історії KPMG простий: у робочому процесі з використанням ШІ слово «перевірка» має означати не формальне схвалення, а ретельну перевірку кожного важливого твердження людиною та за першоджерелом.