KPMG-rapport over AI bevat verzonnen bronnen en casestudy’s

89 procent van de citaties was gebrekkig

GPTZero analyseerde alle 45 citaties in het rapport en constateerde een structureel verificatieprobleem :

• Slechts 5 citaties verwezen correct naar echte en relevante bronnen.
• 28 citaties bevatten aangepaste of geparafraseerde titels, soms aangevuld met verzonnen elementen bij een bestaande publicatie.
• 12 citaties waren zo vaag of tegenstrijdig dat niet kon worden vastgesteld of de genoemde bron bestond.
• Ongeveer de helft van de inhoudelijke claims die op deze citaties steunden, leek verzonnen of aan de verkeerde bron toegeschreven.

In totaal werd 89 procent van de bibliografie als gebrekkig aangemerkt. Een aanvullende AI-detectiescan beoordeelde het document als 56 procent ‘mixed’. Dat wijst volgens GPTZero op tekst die waarschijnlijk door AI is gegenereerd of er zwaar door is ondersteund, zonder dat een grondige menselijke controle de fouten eruit haalde .

Vier organisaties kregen niet-verifieerbare AI-casestudy’s toegeschreven

De analyse wees vier bekende organisaties aan die in het rapport werden opgevoerd als voorbeelden van het gebruik van agentische AI . Voor de genoemde toepassingen kon GPTZero geen betrouwbare onderbouwing vinden:

• UBS: het rapport stelde dat de bank agentische AI inzette voor gepersonaliseerde inzichten in vermogensbeheer. Een verifieerbare bron voor die toepassing werd niet gevonden.
• NHS Greater Manchester: volgens het rapport gebruikte deze Britse zorgorganisatie AI om patiëntreizen — de opeenvolgende stappen in een zorgtraject — te orkestreren. Daarvoor ontbrak volgens de analyse echte documentatie.
• Transport for London (TfL): de vervoersautoriteit werd aangehaald als voorbeeld van AI-gestuurde optimalisatie van de klantervaring in real time. Die claim kon niet worden bevestigd.
• Swiss Federal Railways (SBB): het rapport beschreef een toepassing waarbij agentische AI verschillende klantcontacten met elkaar zou verbinden. Ook daarvoor werd in het aangehaalde materiaal geen verifieerbaar bewijs gevonden.

De verwijzingen leidden volgens GPTZero naar niet-bestaande rapporten, naar aangepaste titels van andere publicaties of naar bronnen die te onduidelijk waren om te controleren .

Waarschijnlijk veroorzaakt door een AI-onderzoekstool

GPTZero concludeerde dat de fouten waarschijnlijk ontstonden doordat een AI-onderzoekstool te gehoorzaam reageerde op een opdracht om echte voorbeelden van agentische AI te vinden. De tool zou vervolgens overtuigend klinkende, maar fictieve casestudy’s en bronverwijzingen hebben samengesteld. Die output zou daarna zonder voldoende menselijke controle in het KPMG-rapport zijn beland .

Daarmee wordt een fundamenteel probleem zichtbaar: een taalmodel kan een bronverwijzing produceren die professioneel en geloofwaardig oogt, maar bij controle nergens naartoe leidt. Zodra zulke informatie in een rapport van een gerenommeerd advieskantoor verschijnt, krijgt die schijn van betrouwbaarheid extra gewicht .

Geen op zichzelf staand incident in de advieswereld

De KPMG-zaak staat niet op zichzelf. GPTZero beschrijft een breder patroon van AI-gerelateerde fouten in rapporten en juridisch werk van grote professionele dienstverleners .

• Deloitte Australië moest een overheidsrapport opnieuw uitbrengen nadat er verzonnen academische verwijzingen en een gefabriceerd citaat uit een uitspraak van een federale rechtbank in waren aangetroffen. De kwestie leidde tot publieke kritiek en een gedeeltelijke terugbetaling .
• Bij Ernst & Young (EY) stelde GPTZero in een rapport over loyaliteitsfraude vast dat bijna alle URL’s niet werkten of nep waren en dat meer dan de helft van de titels niet overeenkwam met echte bronnen .
• Vergelijkbare problemen kwamen ook naar voren in juridische stukken waarbij grote kantoren, waaronder Sullivan & Cromwell, betrokken waren .

De terugkerende fouten wijzen op een systemisch risico. AI kan onderzoek sneller maken, maar controleert niet vanzelf of een bron werkelijk bestaat, relevant is en de claim ondersteunt. Voor een sector die zijn reputatie bouwt op deskundigheid en vertrouwen, kunnen de gevolgen aanzienlijk zijn: financiële schade, reputatieverlies en extra aandacht van toezichthouders.

De belangrijkste les uit het ingetrokken KPMG-rapport is daarom niet dat bedrijven AI helemaal moeten vermijden. Wel moet elke AI-ondersteunde workflow een echte laatste controle bevatten — grondig, reproduceerbaar en uitgevoerd door mensen die de oorspronkelijke bronnen daadwerkelijk openen en verifiëren.