KPMG stáhla zprávu o AI poté, co se ukázalo, že většina citací je chybná

Z 45 citací bylo přesných jen pět

Kontrola bibliografie podle GPTZero odhalila systematické problémy :

• Pouze 5 citací přesně odkazovalo na skutečné a relevantní zdroje.
• 28 citací obsahovalo parafrázované nebo pozměněné názvy, případně kombinovalo skutečnou publikaci s vymyšlenými údaji.
• 12 citací bylo příliš vágních nebo nekonzistentních na to, aby šlo ověřit, zda vůbec odkazují na existující zdroj.
• Přibližně polovina podstatných tvrzení, která o tyto citace opírala svou argumentaci, působila jako smyšlená nebo chybně připsaná jinému zdroji.

Celkem GPTZero označil za chybných 89 % bibliografie. Jeho detekční sken navíc vyhodnotil dokument jako z 56 % „smíšený“, což podle nástroje odpovídá obsahu vytvořenému pomocí AI nebo výrazně podporovanému AI, který zřejmě neprošel smysluplnou lidskou kontrolou .

Čtyři organizace jako údajné příklady autonomní AI

Analýza identifikovala čtyři známé organizace, kterým zpráva připisovala konkrétní využití „agentní AI“. Uvedené případy se však nepodařilo ověřit v citovaných materiálech .

• UBS: Zpráva tvrdila, že banka nasazuje autonomní AI pro personalizované podklady a doporučení v oblasti správy majetku. GPTZero k tomuto tvrzení nenašel ověřitelný zdroj.
• NHS Greater Manchester: Dokument uváděl využití AI pro koordinaci cesty pacienta zdravotním systémem. Tvrzení podle analýzy nepodporovala žádná dohledatelná dokumentace.
• Transport for London (TfL): Londýnský dopravní podnik měl sloužit jako příklad optimalizace zákaznické zkušenosti v reálném čase pomocí AI. Ani tento případ se nepodařilo potvrdit.
• Swiss Federal Railways (SBB): Zpráva popisovala nasazení autonomní AI pro propojení různých kontaktních míst se zákazníkem. V citovaných zdrojích však nebylo možné takovou iniciativu ověřit.

V jednotlivých případech citace podle GPTZero odkazovaly na neexistující zprávy, pozměněné názvy skutečných, ale tematicky nesouvisejících publikací nebo na odkazy příliš neurčité k ověření .

Pravděpodobný původ: výzkumný nástroj bez ověřování

GPTZero dospěl k závěru, že chyby pravděpodobně vznikly tak, že AI výzkumný nástroj příliš doslovně plnil zadání najít skutečné příklady využití „agentní AI“. Vytvořil proto přesvědčivě znějící, ale smyšlené případové studie a citace, které následně unikly kontrolou .

Případ ukazuje zásadní slabinu AI asistovaného výzkumu: jazykový model dokáže vytvořit text, který zní odborně a autoritativně, i když jeho důkazní základ neexistuje. Pokud nikdo ručně neověří každý klíčový údaj a zdroj, může se takový výstup dostat až do oficiální publikace .

KPMG není jediný případ

Stažená zpráva zapadá do širšího vzorce selhání při používání AI v poradenských a právních službách .

• Deloitte Australia musela znovu vydat vládní zprávu v hodnotě 440 000 dolarů poté, co se v ní objevily neexistující akademické odkazy a smyšlená citace z rozhodnutí federálního soudu. Firma zároveň čelila veřejné kritice a poskytla částečnou refundaci .
• U Ernst & Young (EY) analýza GPTZero u zprávy o podvodech v věrnostních programech zjistila, že téměř všechny URL byly nefunkční nebo falešné a více než polovina názvů neodpovídala skutečným zdrojům .
• Podobné problémy se objevily také v právních podáních spojených s velkými kancelářemi, například Sullivan & Cromwell .

Opakující se incidenty naznačují systémové riziko. AI nástroje mohou rychle vytvořit přesvědčivý text, ale samy o sobě nezaručí, že citace, čísla a případové studie odpovídají realitě. Pro firmy, které prodávají odbornost a důvěru, může být cena za neověřený výstup vysoká: finanční, reputační i regulatorní.

Případ KPMG proto není argumentem pro úplné odmítnutí AI. Je spíše připomínkou, že kontrolní krok v AI asistovaném pracovním procesu musí být skutečný, důkladný a především lidský.