KPMG, AI가 지어낸 사례연구로 채운 보고서…참고문헌 45개 중 5개만 사실

참고문헌 45개 중 5개만 정확…'AI 환각'의 전형

GPTZero가 보고서의 참고문헌 45개를 스캔한 결과는 다음과 같다 :

• 단 5개 만이 실제 존재하는 관련 출처를 정확히 가리켰다.
• 28개 는 실제 출판물에 가짜 제목이나 내용을 덧붙인 변형된 형태였다.
• 12개 는 너무 모호하거나 불일치가 심해 출처 자체를 추적할 수 없었다.
• 보고서의 실질적 주장 중 약 절반이 허위이거나 잘못 인용된 것으로 나타났다.

종합적으로 참고문헌의 89%가 결함으로 판정됐다. GPTZero의 AI 생성 탐지 결과 보고서는 56% '혼합(mixed)' 등급을 받았는데, 이는 상당 부분 AI가 생성했거나 AI의 도움을 크게 받았으나 사람의 의미 있는 검토를 거치지 않았음을 시사한다 .

허위 인용된 4개 기관과 지어낸 주장

GPTZero 조사는 4개 주요 기관의 '에이전틱 AI' 도입 사례가 완전히 조작됐음을 확인했다 :

• UBS: 보고서는 UBS가 개인 맞춤형 자산관리 인사이트를 위해 에이전틱AI를 도입했다고 주장했으나, 확인 가능한 출처는 존재하지 않았다.
• NHS 그레이터맨체스터: 영국 국립보건서비스(NHS) 산하 기관이 AI 기반 환자 여정 관리를 사용한다고 주장했지만, 실제 문서로 뒷받침되지 않았다.
• 런던교통공사(TfL): TfL이 AI 기반 실시간 고객경험 최적화를 도입한 사례로 인용됐으나, 확인할 수 없는 주장이었다.
• 스위스연방철도(SBB): SBB가 통합 고객 접점을 위해 에이전틱AI를 사용한다는 사례연구를 제시했지만, 인용된 자료에서는 해당 이니셔티브를 찾을 수 없었다.

각 사례의 인용은 존재하지 않는 보고서, 실제 출판물과 전혀 다른 가짜 제목, 또는 사실상 무용지물인 모호한 참조로 연결됐다 .

근본 원인: 검증 없는 AI 도구의 폭주

GPTZero의 분석에 따르면, 이번 사고는 AI 연구 도구가 '에이전틱 AI의 실제 사례를 찾아라'는 프롬프트에 과잉 대응하면서 그럴듯하지만 완전히 허구인 사례와 인용을 생성했고, KPMG의 검토 과정에서 걸러지지 못했기 때문에 발생했다 .

이 사건은 AI가 생성한 연구를 엄격한 사람의 검증 없이 발행할 때 얼마나 큰 피해를 입힐 수 있는지를 극명하게 보여준다. 확신에 찬 권위적인 문장 뒤에 아무런 사실도 존재하지 않을 수 있다는 것이 핵심 교훈이다 .

전문 서비스 업계 전반의 AI 환각 확산

KPMG의 이번 사건은 고립된 사례가 아니다. 주요 컨설팅 및 법률 회사들에서 유사한 AI 인용 오류가 잇따라 발생하고 있다 :

• 딜로이트 호주: 정부에 제출한 44만 호주달러(약 3억 9천만 원) 규모의 보고서에서 가상의 학술 참고문헌과 연방법원 판결문의 조작된 인용문이 발견돼 재발행하고 부분 환불했다 . 한 관찰자는 이 보고서가 '인용 오류로 가득 차 있다'고 비판했다 .
• 언스트앤영(EY): 로열티 사기에 관한 보고서에서 GPTZero 조사 결과 거의 모든 URL이 깨졌거나 가짜였고, 절반 이상의 제목이 실제 출처와 일치하지 않았다 .
• 유사한 문제는 설리번 앤 크롬웰과 같은 유력 로펌의 법률 문서에서도 발견됐다 .

이러한 반복된 실패는 AI 연구 도구가 신뢰할 수 있는 증거처럼 보이지만 실상은 무너지기 쉬운 허상을 만드는 시스템적 위험을 드러낸다. 신뢰와 전문성을 파는 업계에서 이런 실수의 대가는 금전적 손실과 평판 추락, 규제 당국의 감시로 이어진다. KPMG 사건은 'AI 지원 작업 흐름'에서 검증 단계가 반드시 실제로 이루어져야 하며, 그것은 사람의 몫이라는 분명한 경고다.