arXiv, ‘검증 안 된 AI 논문’ 강력 제재… 최대 1년 업로드 금지

이런 오류는 단순한 실수가 아니라 논문의 다른 부분도 신뢰할 수 있는지 의심하게 만든다는 점에서 문제가 된다. arXiv 측은 이런 사례가 늘어나면서 기존 행동 규범(Code of Conduct)을 AI 사용 상황에 맞게 명확히 설명할 필요가 있었다고 밝혔다.

‘검증되지 않은 LLM 사용’의 명백한 증거는 무엇인가

운영진이 언급한 사례는 비교적 분명하다. 논문에 아래와 같은 흔적이 남아 있다면 저자가 AI 출력물을 제대로 확인하지 않았다는 증거로 간주될 수 있다.

• 실제로 존재하지 않는 허위 또는 환각(hallucinated) 참고문헌
• 챗봇과의 대화 흔적이나 프롬프트가 그대로 남은 문장
• “여기 200단어 요약입니다” 같은 모델의 메타 코멘트
• “실험에서 얻은 실제 숫자를 여기에 넣으세요” 같은 자리 표시용 문장

이런 신호가 발견되면 운영진은 논문 전체의 신뢰성이 의심된다고 판단할 수 있다.

위반 시 받을 수 있는 제재

arXiv가 제시한 제재는 꽤 강력하다.

• 해당 논문은 즉시 거절된다.
• 모든 공동 저자에게 최대 1년 제출 금지가 적용될 수 있다.
• 정지 기간 이후에는 신뢰할 수 있는 동료평가 학술지에서 먼저 채택된 논문만 arXiv에 게시할 수 있다.

특히 중요한 점은 책임이 공동 저자 모두에게 적용될 수 있다는 것이다. arXiv 규정에서는 논문에 이름을 올린 모든 저자가 내용 전체에 책임을 진다고 보기 때문이다.

AI 사용 자체는 금지되지 않았다

이번 정책은 생성형 AI를 연구 작성에서 완전히 금지하는 규칙은 아니다. arXiv의 입장은 명확하다. AI 도구는 사용할 수 있지만 출력 결과를 반드시 검증하고 책임져야 한다는 것이다.

이는 학계의 기존 관행과도 크게 다르지 않다. 소프트웨어나 자동화 도구를 사용하더라도 데이터, 인용, 주장에 대한 책임은 여전히 연구자에게 있다.

검토와 항소 절차

arXiv의 조치가 내려졌다고 해서 끝은 아니다. 연구자는 플랫폼의 공식 moderation 항소 절차를 통해 결정에 이의를 제기할 수 있다.

경우에 따라 arXiv는 항소를 검토하기 전에 해당 논문이 전통적인 학술지에서 먼저 채택되었는지를 요구할 수도 있다.

왜 이 정책이 중요한가

arXiv는 물리학, 수학, 컴퓨터과학 등 다양한 분야에서 연구 결과가 가장 먼저 공개되는 핵심 인프라다. 많은 논문이 정식 학술지에 실리기 전에 이곳에서 공유된다.

따라서 플랫폼의 신뢰성은 연구 커뮤니티 전체에 영향을 준다. 생성형 AI가 글 작성 속도를 크게 높였지만, 동시에 허위 인용이나 미묘한 사실 오류가 포함될 위험도 커졌다.

arXiv의 메시지는 분명하다. AI를 사용하는 것은 괜찮지만, 검증되지 않은 AI 결과를 논문에 그대로 넣는 것은 용납되지 않는다.