Raport KPMG o sztucznej inteligencji wycofany po wykryciu fikcyjnych źródeł

• 5 cytowań prawidłowo odwoływało się do rzeczywistych i odpowiednich źródeł;
• 28 cytowań zawierało zmienione lub sparafrazowane tytuły, często z fikcyjnymi elementami dołączonymi do prawdziwych publikacji;
• 12 cytowań było zbyt nieprecyzyjnych albo niespójnych, by można było ustalić, czy wskazują na istniejące źródła;
• około połowa merytorycznych twierdzeń opartych na tych odwołaniach wyglądała na zmyśloną albo przypisaną niewłaściwym źródłom.

Łącznie GPTZero uznało 89 proc. bibliografii za wadliwą. Dodatkowy skan oceniający udział treści wygenerowanych przez AI oznaczył dokument jako w 56 proc. „mieszany”, co sugerowało wykorzystanie AI lub intensywną pomoc takich narzędzi bez skutecznej kontroli człowieka .

Cztery organizacje przedstawione w niezweryfikowanych studiach przypadku

W raporcie pojawiły się przykłady zastosowań agentic AI przypisane znanym organizacjom. GPTZero nie znalazło jednak wiarygodnych materiałów potwierdzających te opisy .

• UBS — raport twierdził, że bank wdraża agentic AI do tworzenia spersonalizowanych wskazówek dotyczących zarządzania majątkiem. Nie znaleziono weryfikowalnego źródła potwierdzającego takie zastosowanie.
• NHS Greater Manchester — organizacji przypisano wykorzystanie AI do koordynowania ścieżki pacjenta. Twierdzenie nie miało potwierdzenia w dostępnej dokumentacji.
• Transport for London (TfL) — londyńskiemu operatorowi transportu publicznego przypisano optymalizowanie doświadczeń klientów w czasie rzeczywistym z użyciem AI. Tego przykładu nie udało się potwierdzić.
• Swiss Federal Railways (SBB) — raport przedstawiał szwajcarskie koleje jako przykład zastosowania agentic AI do integrowania różnych punktów kontaktu z klientem. W przywołanych materiałach nie znaleziono dowodów na istnienie takiej inicjatywy.

W poszczególnych przypadkach odwołania prowadziły do nieistniejących raportów, zmienionych tytułów prawdziwych, lecz niezwiązanych publikacji albo do tak ogólnych opisów, że nie dało się ich rzetelnie sprawdzić .

Prawdopodobny problem: narzędzie AI bez kontroli człowieka

Według wniosków GPTZero błędy mogły powstać dlatego, że narzędzie badawcze AI zbyt dosłownie próbowało spełnić polecenie znalezienia rzeczywistych przykładów wykorzystania agentic AI. W efekcie wygenerowało wiarygodnie brzmiące, lecz fikcyjne studia przypadku i cytowania, które nie zostały wychwycone podczas przeglądu dokumentu .

To kluczowa lekcja dla firm korzystających z AI w researchu: płynny, profesjonalny język nie jest dowodem prawdziwości informacji. Każde twierdzenie, liczba i przypis wygenerowany lub opracowany przez model musi zostać sprawdzony w oryginalnym materiale źródłowym przed publikacją .

Nie tylko KPMG. Podobne problemy w konsultingu i usługach prawnych

Przypadek KPMG wpisuje się w szerszy wzorzec błędów związanych z cytowaniami w pracy dużych firm doradczych i profesjonalnych .

• Deloitte Australia musiało ponownie wydać raport przygotowany dla administracji publicznej, którego wartość wynosiła 440 tys. dolarów, po wykryciu fikcyjnych odwołań do publikacji naukowych oraz zmyślonego cytatu z orzeczenia sądu federalnego . Firma zwróciła część wynagrodzenia i znalazła się pod publiczną presją z powodu dokumentu określanego jako pełen błędów w cytowaniach .
• W raporcie Ernst & Young (EY) dotyczącym oszustw lojalnościowych analiza GPTZero wykazała, że niemal wszystkie adresy URL były uszkodzone lub fikcyjne, a ponad połowa tytułów nie odpowiadała rzeczywistym źródłom .
• Podobne problemy pojawiły się także w pismach procesowych związanych z dużymi kancelariami, w tym Sullivan & Cromwell .

Powtarzające się incydenty pokazują ryzyko systemowe. Narzędzia AI potrafią tworzyć dowody, które wyglądają przekonująco, lecz rozpadają się przy sprawdzeniu. Dla branży sprzedającej wiedzę, wiarygodność i zaufanie konsekwencje takich błędów mogą oznaczać straty finansowe, utratę reputacji oraz większe zainteresowanie regulatorów.

Wniosek nie brzmi: „nie używaj AI”. Brzmi raczej: w procesie wspomaganym przez AI kontrola musi być rzeczywista, dokładna i przeprowadzona przez człowieka.