AI로 문헌 리뷰할 때 '편향'을 피하는 법

문헌 종합(literature synthesis)에 AI 도구를 사용하는 연구자들은 역설에 직면합니다. 스크리닝 시간을 절반으로 줄여주는 바로 그 모델이 제거하려던 편향을 조용히 증폭시킬 수도 있기 때문입니다. 최근 연구와 기관 가이드라인에서 일관되게 발견된 결론은, AI는 인간 판단을 대체하는 도구가 아니라 '보정된 조수(calibrated assistant)'이며, 편향을 피하려면 체계적인 인간 감독(human oversight), 투명한 보고(transparent reporting), 그리고 모든 단계에서의 엄격한 검증(rigorous validation)이 필요하다는 점입니다 .

편향 없는 AI 기반 문헌 종합의 핵심 원칙

인간을 루프 안에 유지하라

AI 도구는 인간의 판단을 도와야지, 대체해서는 안 됩니다. 리뷰 팀은 자신들의 리뷰가 엄격하고 타당하며 보고 기준에 부합하도록 할 책임을 그대로 집니다 . AI 채택의 핵심은 리뷰어를 대체하는 것이 아니라 리뷰어와 함께 작동하는 신뢰할 수 있는 도구를 만드는 것입니다 .

사전 등록되고 투명한 프로토콜을 따르라

체계적 문헌 고찰(systematic review)은 원래 엄격하고 사전에 정의된 프로토콜을 통해 편향을 줄이기 위해 개발되었습니다 . AI 사용이 이 원칙을 면제해주지는 않습니다. 오히려 더 많은 문서화를 요구합니다.

특정 편향을 완화하는 실용적 단계

스크리닝 단계에서의 선택 편향(selection bias)을 주시하라

LLM(대규모 언어 모델)은 특정 연구 유형, 언어, 결과를 체계적으로 선호하거나 배제할 수 있습니다. 연구자는 AI 스크리닝 결정을 인간이 설정한 '황금 기준(gold standard)'과 비교하여 보정해야 합니다 .

확증 편향(confirmation bias)과 출판 편향(publication bias)을 경계하라

머신러닝 시스템은 종종 기존의 통념과 출판된 문헌을 기반으로 훈련되는데, 이는 이미 긍정적인 결과 쪽으로 치우쳐 있습니다. 이는 증거 기반에 존재하는 편향을 조용히 증폭시킬 수 있습니다 .

AI 출력을 인간 판단으로 검증하라

AI가 제안한 연구, 추출한 데이터, 또는 비뚤림 위험(risk-of-bias) 평가를 맹목적으로 받아들이지 마세요. 상당한 규모의 무작위 표본을 수동으로 교차 점검하세요 .

AI가 특별히 설계되고 검증된 작업에만 사용하라

모델이 훈련된 영역 밖에서는 조언을 받아들이지 말고, 그 작업을 항상 이중 점검하세요 .

투명성 및 보고 기준

사용된 모든 AI 도구와 버전, 역할을 공개하라

2025년, Cochrane, Campbell Collaboration, JBI, 그리고 Collaboration for Environmental Evidence는 증거 종합에서 모든 AI 사용을 공개적으로 보고하도록 요구하는 공동 성명을 발표했습니다 .

새로운 보고 가이드라인을 따르라

체계적 문헌 고찰에서 책임 있는 AI 사용을 위한 세 가지 기둥(three-pillar) 가이드라인은 검증 가능한 출처 귀속이 가능한 검색 증강 생성(RAG)을 요구하며, AI를 '대체재'가 아닌 '보정된 파트너'로 위치시킵니다 .

교육 및 표준의 격차를 해소하라

증거 종합에서 AI의 책임 있는 채택을 지원하려면 투명성 개선, 더 명확한 보고 기준, 그리고 더 많은 사용자 교육이 모두 필요합니다 .

결론

AI는 연구자의 감독(researcher oversight)과 결합될 때, 문헌 스크리닝, 데이터 추출, 비뚤림 위험 평가 등에서 수동 작업량을 50~75%까지 줄이면서도 PRISMA 수준의 정확도를 유지할 수 있습니다 . 그러나 동일한 연구들은 AI가 고유의 편향(선택 편향, 확증 편향, 훈련 데이터 편향)을 도입한다는 사실을 확인합니다. 그 해결책은 인간의 감독, 투명한 보고, 그리고 엄격한 검증입니다. 절대로 비판적 사고를 도구에 아웃소싱하지 마세요.