L'ampleur de la fabrication : 89% des citations étaient erronées

L'analyse de GPTZero sur les 45 citations du rapport a révélé une défaillance systématique de la vérification :

• Seulement 5 citations pointaient correctement vers des sources réelles et pertinentes.
• 28 citations avaient des titres paraphrasés ou modifiés, avec des éléments factices greffés sur des publications réelles.
• 12 citations étaient trop vagues ou incohérentes pour être reliées à une source existante.
• Environ la moitié des affirmations substantielles du rapport qui s'appuyaient sur ces citations semblaient fausses ou mal attribuées.

Au total, 89% de la bibliographie a été jugée erronée. Le scan de détection d'IA de GPTZero a ajouté une couche inquiétante supplémentaire, classant le document à 56% « mixte », ce qui suggère qu'il s'agissait vraisemblablement d'un contenu généré ou fortement assisté par IA, qui a échappé à une relecture humaine sérieuse .

Qui a été faussement cité, et que disait le rapport ?

L'enquête a identifié quatre organisations de premier plan citées avec des études de cas fabriquées de déploiement d'IA agentique :

• UBS : Le rapport affirmait que la banque déployait une IA agentique pour des conseils personnalisés en gestion de patrimoine, mais aucune source vérifiable n'a été trouvée.
• NHS Greater Manchester : Il prétendait que ce service de santé britannique utilisait une orchestration de parcours patient par l'IA, une affirmation non étayée par des documents réels.
• Transport for London (TfL) : TfL était cité comme exemple d'optimisation de l'expérience client en temps réel par l'IA, mais l'affirmation n'a pu être corroborée.
• Chemins de fer fédéraux suisses (CFF) : Le rapport présentait une étude de cas sur l'utilisation par les CFF de l'IA agentique pour des points de contact clients intégrés, alors qu'aucune initiative de ce type n'a pu être vérifiée dans le matériel cité.

Dans chaque cas, les citations renvoyaient à des rapports inexistants, à des titres paraphrasés de publications réelles sans rapport, ou à des références si vagues qu'elles étaient fonctionnellement inutiles .

La cause profonde : des outils d'IA sans vérification

L'analyse de GPTZero a conclu que les erreurs étaient probablement le résultat d'un outil de recherche IA qui a suivi trop docilement une instruction visant à trouver des exemples concrets d'IA agentique. L'outil a généré des études de cas et des citations qui semblaient plausibles mais étaient totalement fictives, et qui ont ensuite échappé au processus de relecture de KPMG sans être corrigées .

Cet incident met en évidence une vulnérabilité critique : lorsque des recherches générées par IA sont publiées sans une vérification humaine rigoureuse, elles peuvent produire des absurdités exprimées avec une confiance et une autorité apparentes, ce qui nuit à la crédibilité institutionnelle .

Un schéma croissant d'hallucinations IA dans les services professionnels

Le rapport retiré de KPMG est loin d'être un cas isolé. Il s'inscrit dans un schéma élargi de défaillances liées aux citations par IA au sein des grands cabinets de conseil et d'avocats :

• Deloitte Australia a dû republier un rapport gouvernemental de 440 000 dollars après avoir constaté qu'il contenait des références académiques fictives et une citation fabriquée d'un jugement de la Cour fédérale . Le cabinet a émis un remboursement partiel et a fait face à un examen public pour ce qu'un observateur a appelé un rapport « truffé d'erreurs de citation » .
• Ernst & Young (EY) a produit un rapport sur la fraude à la fidélité où l'enquête de GPTZero a révélé que presque toutes les URL étaient cassées ou fausses, et que plus de la moitié des titres ne correspondaient pas à des sources réelles .
• Des problèmes similaires ont également fait surface dans des dossiers juridiques impliquant de grands cabinets comme Sullivan & Cromwell .

Ces échecs répétés mettent en lumière un risque systémique : sans un contrôle humain rigoureux, les outils de recherche IA produisent des preuves qui semblent crédibles mais qui s'effondrent dès qu'on les examine de près. Pour un secteur qui vend de la confiance et de l'expertise, le coût de l'erreur se mesure en dollars, en réputation et en attention réglementaire. Le cas de KPMG sert d'avertissement clair : la « vérification » dans un flux de travail assisté par IA doit être réelle, approfondie et humaine.

L'ampleur de la fabrication : 89% des citations étaient erronées

L'analyse de GPTZero sur les 45 citations du rapport a révélé une défaillance systématique de la vérification :

• Seulement 5 citations pointaient correctement vers des sources réelles et pertinentes.
• 28 citations avaient des titres paraphrasés ou modifiés, avec des éléments factices greffés sur des publications réelles.
• 12 citations étaient trop vagues ou incohérentes pour être reliées à une source existante.
• Environ la moitié des affirmations substantielles du rapport qui s'appuyaient sur ces citations semblaient fausses ou mal attribuées.

Au total, 89% de la bibliographie a été jugée erronée. Le scan de détection d'IA de GPTZero a ajouté une couche inquiétante supplémentaire, classant le document à 56% « mixte », ce qui suggère qu'il s'agissait vraisemblablement d'un contenu généré ou fortement assisté par IA, qui a échappé à une relecture humaine sérieuse .

Qui a été faussement cité, et que disait le rapport ?

L'enquête a identifié quatre organisations de premier plan citées avec des études de cas fabriquées de déploiement d'IA agentique :

• UBS : Le rapport affirmait que la banque déployait une IA agentique pour des conseils personnalisés en gestion de patrimoine, mais aucune source vérifiable n'a été trouvée.
• NHS Greater Manchester : Il prétendait que ce service de santé britannique utilisait une orchestration de parcours patient par l'IA, une affirmation non étayée par des documents réels.
• Transport for London (TfL) : TfL était cité comme exemple d'optimisation de l'expérience client en temps réel par l'IA, mais l'affirmation n'a pu être corroborée.
• Chemins de fer fédéraux suisses (CFF) : Le rapport présentait une étude de cas sur l'utilisation par les CFF de l'IA agentique pour des points de contact clients intégrés, alors qu'aucune initiative de ce type n'a pu être vérifiée dans le matériel cité.

Dans chaque cas, les citations renvoyaient à des rapports inexistants, à des titres paraphrasés de publications réelles sans rapport, ou à des références si vagues qu'elles étaient fonctionnellement inutiles .

La cause profonde : des outils d'IA sans vérification

L'analyse de GPTZero a conclu que les erreurs étaient probablement le résultat d'un outil de recherche IA qui a suivi trop docilement une instruction visant à trouver des exemples concrets d'IA agentique. L'outil a généré des études de cas et des citations qui semblaient plausibles mais étaient totalement fictives, et qui ont ensuite échappé au processus de relecture de KPMG sans être corrigées .

Cet incident met en évidence une vulnérabilité critique : lorsque des recherches générées par IA sont publiées sans une vérification humaine rigoureuse, elles peuvent produire des absurdités exprimées avec une confiance et une autorité apparentes, ce qui nuit à la crédibilité institutionnelle .

Un schéma croissant d'hallucinations IA dans les services professionnels

Le rapport retiré de KPMG est loin d'être un cas isolé. Il s'inscrit dans un schéma élargi de défaillances liées aux citations par IA au sein des grands cabinets de conseil et d'avocats :

• Deloitte Australia a dû republier un rapport gouvernemental de 440 000 dollars après avoir constaté qu'il contenait des références académiques fictives et une citation fabriquée d'un jugement de la Cour fédérale . Le cabinet a émis un remboursement partiel et a fait face à un examen public pour ce qu'un observateur a appelé un rapport « truffé d'erreurs de citation » .
• Ernst & Young (EY) a produit un rapport sur la fraude à la fidélité où l'enquête de GPTZero a révélé que presque toutes les URL étaient cassées ou fausses, et que plus de la moitié des titres ne correspondaient pas à des sources réelles .
• Des problèmes similaires ont également fait surface dans des dossiers juridiques impliquant de grands cabinets comme Sullivan & Cromwell .

Ces échecs répétés mettent en lumière un risque systémique : sans un contrôle humain rigoureux, les outils de recherche IA produisent des preuves qui semblent crédibles mais qui s'effondrent dès qu'on les examine de près. Pour un secteur qui vend de la confiance et de l'expertise, le coût de l'erreur se mesure en dollars, en réputation et en attention réglementaire. Le cas de KPMG sert d'avertissement clair : la « vérification » dans un flux de travail assisté par IA doit être réelle, approfondie et humaine.