O Relatório de IA da KPMG que Virou Caso de Estudo: 89% das Citações eram Falsas

A escala da falsificação: 89% das citações estavam erradas

A varredura da GPTZero nas 45 citações do relatório revelou uma falha sistemática de verificação :

• Apenas 5 citações apontavam corretamente para fontes reais e relevantes.
• 28 citações tinham títulos parafraseados ou alterados, com componentes falsos sobrepostos a publicações reais.
• 12 citações eram vagas ou inconsistentes demais para serem rastreadas até qualquer fonte existente.
• Aproximadamente metade das alegações substantivas do relatório que dependiam dessas citações pareciam ser falsas ou mal atribuídas.

No total, 89% da bibliografia foi sinalizada como falha. A detecção de IA da GPTZero adicionou outra camada preocupante, classificando o documento como 56% "misto" , o que sugere que ele foi provavelmente gerado ou fortemente auxiliado por IA, sem passar por uma revisão humana significativa .

Quem foi falsamente citado, e o que o relatório afirmava?

A investigação identificou quatro organizações proeminentes citadas com estudos de caso fabricados de implantação de 'IA agêntica' :

• UBS: O relatório alegava que o banco estava usando agentes de IA para insights personalizados de gestão de fortunas, mas nenhuma fonte verificável foi encontrada.
• NHS Greater Manchester: O documento afirmava que o fundo do serviço público de saúde inglês estava usando IA para orquestrar a jornada do paciente, uma alegação sem suporte em documentação real.
• Transport for London (TfL): A TfL foi citada como exemplo de otimização de experiência do cliente em tempo real com IA, mas a alegação não pôde ser corroborada.
• Swiss Federal Railways (SBB): O relatório apresentou um estudo de caso da SBB usando IA agêntica para pontos de contato integrados com o cliente, mas nenhuma iniciativa desse tipo pôde ser verificada no material citado.

Em cada caso, as citações apontavam para relatórios inexistentes, títulos parafraseados de publicações reais não relacionadas ou referências tão vagas que eram funcionalmente inúteis .

A causa raiz: ferramentas de IA descontroladas e sem verificação

A análise da GPTZero concluiu que os erros foram provavelmente o resultado de uma ferramenta de pesquisa de IA que exagerou no cumprimento de um pedido para encontrar exemplos reais de 'IA agêntica' . A ferramenta gerou estudos de caso e citações que soavam plausíveis, mas eram inteiramente fictícios, que passaram pelo processo de revisão da KPMG sem correção .

O incidente ressalta uma vulnerabilidade crítica: quando pesquisas geradas por IA são publicadas sem verificação humana rigorosa, elas podem produzir absurdos com tom de autoridade que prejudicam a credibilidade institucional .

Um padrão crescente de alucinações de IA em serviços profissionais

O relatório retirado da KPMG está longe de ser um caso isolado. Ele se encaixa em um padrão crescente de falhas de citação relacionadas à IA em grandes firmas de consultoria e advocacia :

• Deloitte Austrália teve que reemitir um relatório governamental de US$ 440 mil depois que foram encontradas referências acadêmicas fictícias e uma citação inventada de uma sentença judicial federal . A firma emitiu um reembolso parcial e enfrentou escrutínio público pelo que um observador chamou de relatório "repleto de erros de citação" .
• Ernst & Young (EY) produziu um relatório sobre fraudes em programas de fidelidade onde a investigação da GPTZero constatou que quase todas as URLs estavam quebradas ou eram falsas, e mais da metade dos títulos não correspondia a fontes reais .
• Problemas semelhantes surgiram em petições judiciais envolvendo grandes escritórios como a Sullivan & Cromwell .

Essas falhas repetidas destacam um risco sistêmico: sem supervisão humana rigorosa, as ferramentas de pesquisa de IA estão produzindo evidências que parecem críveis, mas que se desfazem sob escrutínio. Para uma indústria que vende confiança e expertise, o custo de errar é medido em dinheiro, reputação e atenção regulatória. O caso da KPMG serve como um alerta claro de que a 'checagem' em um fluxo de trabalho assistido por IA deve ser real, completa e humana.