Solo 5 citazioni su 45 erano accurate

L’analisi di GPTZero ha rilevato un problema sistematico nella bibliografia del rapporto :

• soltanto 5 citazioni rimandavano correttamente a fonti reali e pertinenti;
• 28 citazioni riportavano titoli parafrasati o modificati, spesso con elementi inventati aggiunti a pubblicazioni esistenti;
• 12 citazioni erano troppo vaghe o incoerenti per poter essere ricondotte con certezza a una fonte reale;
• circa metà delle affermazioni sostanziali basate su quelle citazioni appariva falsa o attribuita alla fonte sbagliata.

Nel complesso, l’89% della bibliografia è stato segnalato come problematico. Un’ulteriore scansione di rilevamento dell’IA ha classificato il documento come “misto” al 56%, un risultato compatibile con contenuti generati o fortemente assistiti dall’IA e sottoposti a una revisione umana insufficiente .

I casi di studio contestati

L’indagine ha individuato quattro organizzazioni citate come esempi dell’impiego dell’IA agentica, senza però trovare documentazione verificabile a sostegno delle affermazioni .

• UBS: il rapporto sosteneva che la banca stesse utilizzando l’IA agentica per offrire indicazioni personalizzate nell’ambito della gestione patrimoniale. Non è stata trovata una fonte verificabile per questo caso.
• NHS Greater Manchester: il documento affermava che l’organizzazione sanitaria britannica impiegasse l’IA per coordinare il percorso dei pazienti, ma l’affermazione non risultava supportata da documenti reali.
• Transport for London (TfL): l’ente dei trasporti londinese veniva presentato come esempio di ottimizzazione in tempo reale dell’esperienza dei clienti tramite l’IA. Anche questa tesi non è stata corroborata.
• Swiss Federal Railways (SBB): il rapporto descriveva un progetto in cui le ferrovie federali svizzere avrebbero usato l’IA agentica per integrare i diversi punti di contatto con i clienti. L’iniziativa non è stata verificata nei materiali citati.

In questi casi, secondo GPTZero, i riferimenti conducevano a rapporti inesistenti, a titoli alterati di pubblicazioni reali ma non pertinenti oppure a fonti così generiche da risultare inutilizzabili .

Un errore nato da uno strumento di ricerca non verificato

La conclusione di GPTZero è che gli errori siano probabilmente il risultato di uno strumento di ricerca basato sull’IA che ha seguito in modo eccessivamente letterale una richiesta di trovare esempi reali di “IA agentica”. Il sistema avrebbe generato casi di studio e citazioni plausibili solo in apparenza, poi pubblicati senza che il processo di revisione li correggesse .

Il caso mette in luce una vulnerabilità precisa: un testo prodotto con l’aiuto dell’IA può avere un tono autorevole e presentare dettagli convincenti, pur poggiando su fonti inesistenti. Senza una verifica umana puntuale dei documenti originali, il rischio non è soltanto un errore redazionale, ma un danno diretto alla credibilità dell’organizzazione .

Un problema più ampio nel settore dei servizi professionali

Il rapporto ritirato da KPMG non è un episodio isolato. Si inserisce in una serie più ampia di errori nelle citazioni e nelle fonti utilizzate da società di consulenza e studi legali .

• Deloitte Australia ha dovuto ripubblicare un rapporto commissionato dal governo e del valore di 440.000 dollari, dopo la scoperta di riferimenti accademici inesistenti e di una citazione inventata attribuita a una sentenza di un tribunale federale . La società ha inoltre concesso un rimborso parziale ed è stata sottoposta a un forte scrutinio pubblico .
• Ernst & Young (EY) ha pubblicato un rapporto sulle frodi nei programmi fedeltà in cui l’indagine di GPTZero ha rilevato che quasi tutti gli URL erano rotti o falsi e che oltre la metà dei titoli non corrispondeva a fonti reali .
• Problemi analoghi sono emersi anche in atti giudiziari collegati a grandi studi legali come Sullivan & Cromwell .

La lezione per il settore è difficile da ignorare. Gli strumenti di IA possono accelerare la ricerca, ma non possono sostituire il controllo delle fonti. Per aziende che vendono competenza e affidabilità, citazioni inventate e casi di studio non verificabili hanno un costo che si misura in denaro, reputazione e attenzione da parte delle autorità.

Il punto non è necessariamente rinunciare all’IA, ma assicurarsi che il “controllo” previsto nei flussi di lavoro assistiti dall’IA sia effettivo, documentato e affidato a persone in grado di verificare ogni affermazione prima della pubblicazione.

Solo 5 citazioni su 45 erano accurate

L’analisi di GPTZero ha rilevato un problema sistematico nella bibliografia del rapporto :

• soltanto 5 citazioni rimandavano correttamente a fonti reali e pertinenti;
• 28 citazioni riportavano titoli parafrasati o modificati, spesso con elementi inventati aggiunti a pubblicazioni esistenti;
• 12 citazioni erano troppo vaghe o incoerenti per poter essere ricondotte con certezza a una fonte reale;
• circa metà delle affermazioni sostanziali basate su quelle citazioni appariva falsa o attribuita alla fonte sbagliata.

Nel complesso, l’89% della bibliografia è stato segnalato come problematico. Un’ulteriore scansione di rilevamento dell’IA ha classificato il documento come “misto” al 56%, un risultato compatibile con contenuti generati o fortemente assistiti dall’IA e sottoposti a una revisione umana insufficiente .

I casi di studio contestati

L’indagine ha individuato quattro organizzazioni citate come esempi dell’impiego dell’IA agentica, senza però trovare documentazione verificabile a sostegno delle affermazioni .

• UBS: il rapporto sosteneva che la banca stesse utilizzando l’IA agentica per offrire indicazioni personalizzate nell’ambito della gestione patrimoniale. Non è stata trovata una fonte verificabile per questo caso.
• NHS Greater Manchester: il documento affermava che l’organizzazione sanitaria britannica impiegasse l’IA per coordinare il percorso dei pazienti, ma l’affermazione non risultava supportata da documenti reali.
• Transport for London (TfL): l’ente dei trasporti londinese veniva presentato come esempio di ottimizzazione in tempo reale dell’esperienza dei clienti tramite l’IA. Anche questa tesi non è stata corroborata.
• Swiss Federal Railways (SBB): il rapporto descriveva un progetto in cui le ferrovie federali svizzere avrebbero usato l’IA agentica per integrare i diversi punti di contatto con i clienti. L’iniziativa non è stata verificata nei materiali citati.

In questi casi, secondo GPTZero, i riferimenti conducevano a rapporti inesistenti, a titoli alterati di pubblicazioni reali ma non pertinenti oppure a fonti così generiche da risultare inutilizzabili .

Un errore nato da uno strumento di ricerca non verificato

La conclusione di GPTZero è che gli errori siano probabilmente il risultato di uno strumento di ricerca basato sull’IA che ha seguito in modo eccessivamente letterale una richiesta di trovare esempi reali di “IA agentica”. Il sistema avrebbe generato casi di studio e citazioni plausibili solo in apparenza, poi pubblicati senza che il processo di revisione li correggesse .

Il caso mette in luce una vulnerabilità precisa: un testo prodotto con l’aiuto dell’IA può avere un tono autorevole e presentare dettagli convincenti, pur poggiando su fonti inesistenti. Senza una verifica umana puntuale dei documenti originali, il rischio non è soltanto un errore redazionale, ma un danno diretto alla credibilità dell’organizzazione .

Un problema più ampio nel settore dei servizi professionali

Il rapporto ritirato da KPMG non è un episodio isolato. Si inserisce in una serie più ampia di errori nelle citazioni e nelle fonti utilizzate da società di consulenza e studi legali .

• Deloitte Australia ha dovuto ripubblicare un rapporto commissionato dal governo e del valore di 440.000 dollari, dopo la scoperta di riferimenti accademici inesistenti e di una citazione inventata attribuita a una sentenza di un tribunale federale . La società ha inoltre concesso un rimborso parziale ed è stata sottoposta a un forte scrutinio pubblico .
• Ernst & Young (EY) ha pubblicato un rapporto sulle frodi nei programmi fedeltà in cui l’indagine di GPTZero ha rilevato che quasi tutti gli URL erano rotti o falsi e che oltre la metà dei titoli non corrispondeva a fonti reali .
• Problemi analoghi sono emersi anche in atti giudiziari collegati a grandi studi legali come Sullivan & Cromwell .

La lezione per il settore è difficile da ignorare. Gli strumenti di IA possono accelerare la ricerca, ma non possono sostituire il controllo delle fonti. Per aziende che vendono competenza e affidabilità, citazioni inventate e casi di studio non verificabili hanno un costo che si misura in denaro, reputazione e attenzione da parte delle autorità.

Il punto non è necessariamente rinunciare all’IA, ma assicurarsi che il “controllo” previsto nei flussi di lavoro assistiti dall’IA sia effettivo, documentato e affidato a persone in grado di verificare ogni affermazione prima della pubblicazione.