40 av 45 kilder hadde alvorlige feil

GPTZeros gjennomgang av rapportens 45 kildehenvisninger viste et omfattende verifiseringsproblem :

• Bare fem kilder viste korrekt til reelle og relevante publikasjoner.
• 28 kilder hadde omskrevne eller endrede titler, ofte med oppdiktede elementer lagt til ekte publikasjoner.
• 12 kilder var så vage eller inkonsistente at de ikke kunne knyttes sikkert til en eksisterende kilde.
• Omtrent halvparten av de vesentlige påstandene som bygget på disse kildene, fremsto som oppdiktede eller feilaktig tilskrevet.

Totalt ble 89 prosent av litteraturlisten vurdert som mangelfull. GPTZeros analyse av selve teksten ga dessuten dokumentet en vurdering på 56 prosent «blandet», noe som tydet på at innholdet sannsynligvis var AI-generert eller tungt AI-assistert uten tilstrekkelig menneskelig kontroll .

Fire organisasjoner ble brukt som AI-eksempler

Undersøkelsen identifiserte fire kjente organisasjoner som i rapporten ble koblet til ikke-verifiserte casestudier om agentisk AI :

• UBS: Rapporten hevdet at banken tok i bruk agentisk AI for personlige innsikter innen formuesforvaltning. GPTZero fant ingen etterprøvbar kilde som dokumenterte bruken.
• NHS Greater Manchester: Rapporten påsto at den britiske helsetjenesten brukte AI til å koordinere pasientforløp. Påstanden var ikke støttet av reell dokumentasjon.
• Transport for London (TfL): Transportorganet ble trukket frem som et eksempel på AI-basert optimalisering av kundeopplevelser i sanntid, uten at dette kunne bekreftes.
• Swiss Federal Railways (SBB): Rapporten beskrev en løsning der jernbaneselskapet skulle bruke agentisk AI til å knytte sammen ulike kontaktpunkter for kundene. Initiativet lot seg ikke verifisere i materialet som ble oppgitt som kilde.

I disse tilfellene viste henvisningene enten til rapporter som ikke eksisterte, til endrede titler på reelle – men irrelevante – publikasjoner, eller til beskrivelser som var for uklare til å kunne kontrolleres .

Trolig AI-verktøy uten menneskelig etterprøving

GPTZero konkluderte med at feilene sannsynligvis skyldtes et AI-basert researchverktøy som fulgte en instruks om å finne virkelige eksempler på agentisk AI, men som gikk for langt. Verktøyet skal ha produsert troverdige, men oppdiktede casestudier og kildehenvisninger. Deretter ble materialet publisert uten at feilene ble fanget opp i KPMGs kontrollprosess .

Saken illustrerer en grunnleggende risiko ved AI-assistert analyse: Teksten kan høres overbevisende og autoritativ ut, selv når bevisene ikke finnes. Når kildene ikke kontrolleres manuelt, kan resultatet bli feil som skader både rapportens troverdighet og virksomhetens omdømme .

Ikke et enkeltstående tilfelle

KPMGs trukne rapport kommer ikke alene. Den inngår i et bredere mønster av AI-relaterte kildefeil i arbeid fra store rådgivnings-, revisjons- og advokatfirmaer .

• Deloitte Australia måtte utgi en ny versjon av en offentlig rapport etter at den inneholdt oppdiktede akademiske kilder og et fabrikkert sitat fra en føderal rettsavgjørelse . Selskapet ga også en delvis tilbakebetaling og møtte offentlig kritikk av rapportens mange kildefeil .
• Ernst & Young (EY) fikk en rapport om lojalitetssvindel undersøkt av GPTZero. Der var nesten alle nettadressene ødelagte eller falske, og over halvparten av titlene stemte ikke med reelle kilder .
• Tilsvarende problemer har også dukket opp i juridiske prosesskriv knyttet til store firmaer som Sullivan & Cromwell .

For en bransje som selger tillit, ekspertise og etterprøvbare råd, er dette mer enn pinlige skrivefeil. AI-verktøy kan effektivisere research, men ansvaret for påstander, tall og kilder blir ikke borte fordi et språkmodellverktøy har laget førsteutkastet.

KPMG-saken er derfor en tydelig påminnelse om at «kontrollen» i en AI-assistert arbeidsflyt må være reell – grundig og utført av mennesker.

40 av 45 kilder hadde alvorlige feil

GPTZeros gjennomgang av rapportens 45 kildehenvisninger viste et omfattende verifiseringsproblem :

• Bare fem kilder viste korrekt til reelle og relevante publikasjoner.
• 28 kilder hadde omskrevne eller endrede titler, ofte med oppdiktede elementer lagt til ekte publikasjoner.
• 12 kilder var så vage eller inkonsistente at de ikke kunne knyttes sikkert til en eksisterende kilde.
• Omtrent halvparten av de vesentlige påstandene som bygget på disse kildene, fremsto som oppdiktede eller feilaktig tilskrevet.

Totalt ble 89 prosent av litteraturlisten vurdert som mangelfull. GPTZeros analyse av selve teksten ga dessuten dokumentet en vurdering på 56 prosent «blandet», noe som tydet på at innholdet sannsynligvis var AI-generert eller tungt AI-assistert uten tilstrekkelig menneskelig kontroll .

Fire organisasjoner ble brukt som AI-eksempler

Undersøkelsen identifiserte fire kjente organisasjoner som i rapporten ble koblet til ikke-verifiserte casestudier om agentisk AI :

• UBS: Rapporten hevdet at banken tok i bruk agentisk AI for personlige innsikter innen formuesforvaltning. GPTZero fant ingen etterprøvbar kilde som dokumenterte bruken.
• NHS Greater Manchester: Rapporten påsto at den britiske helsetjenesten brukte AI til å koordinere pasientforløp. Påstanden var ikke støttet av reell dokumentasjon.
• Transport for London (TfL): Transportorganet ble trukket frem som et eksempel på AI-basert optimalisering av kundeopplevelser i sanntid, uten at dette kunne bekreftes.
• Swiss Federal Railways (SBB): Rapporten beskrev en løsning der jernbaneselskapet skulle bruke agentisk AI til å knytte sammen ulike kontaktpunkter for kundene. Initiativet lot seg ikke verifisere i materialet som ble oppgitt som kilde.

I disse tilfellene viste henvisningene enten til rapporter som ikke eksisterte, til endrede titler på reelle – men irrelevante – publikasjoner, eller til beskrivelser som var for uklare til å kunne kontrolleres .

Trolig AI-verktøy uten menneskelig etterprøving

GPTZero konkluderte med at feilene sannsynligvis skyldtes et AI-basert researchverktøy som fulgte en instruks om å finne virkelige eksempler på agentisk AI, men som gikk for langt. Verktøyet skal ha produsert troverdige, men oppdiktede casestudier og kildehenvisninger. Deretter ble materialet publisert uten at feilene ble fanget opp i KPMGs kontrollprosess .

Saken illustrerer en grunnleggende risiko ved AI-assistert analyse: Teksten kan høres overbevisende og autoritativ ut, selv når bevisene ikke finnes. Når kildene ikke kontrolleres manuelt, kan resultatet bli feil som skader både rapportens troverdighet og virksomhetens omdømme .

Ikke et enkeltstående tilfelle

KPMGs trukne rapport kommer ikke alene. Den inngår i et bredere mønster av AI-relaterte kildefeil i arbeid fra store rådgivnings-, revisjons- og advokatfirmaer .

• Deloitte Australia måtte utgi en ny versjon av en offentlig rapport etter at den inneholdt oppdiktede akademiske kilder og et fabrikkert sitat fra en føderal rettsavgjørelse . Selskapet ga også en delvis tilbakebetaling og møtte offentlig kritikk av rapportens mange kildefeil .
• Ernst & Young (EY) fikk en rapport om lojalitetssvindel undersøkt av GPTZero. Der var nesten alle nettadressene ødelagte eller falske, og over halvparten av titlene stemte ikke med reelle kilder .
• Tilsvarende problemer har også dukket opp i juridiske prosesskriv knyttet til store firmaer som Sullivan & Cromwell .

For en bransje som selger tillit, ekspertise og etterprøvbare råd, er dette mer enn pinlige skrivefeil. AI-verktøy kan effektivisere research, men ansvaret for påstander, tall og kilder blir ikke borte fordi et språkmodellverktøy har laget førsteutkastet.

KPMG-saken er derfor en tydelig påminnelse om at «kontrollen» i en AI-assistert arbeidsflyt må være reell – grundig og utført av mennesker.