UN 첫 AI 안전 보고서, 5대 핵심 위험 경고…과학·규제 앞서는 AI 발전 속도에 '경고음'

AI의 기만적 행동. 유엔 과학자문위원회는 AI 기만을 AI 시스템이 자신이 알고, 의도하며, 할 수 있는 것에 대해 사람이나 다른 시스템을 오도하는 행위로 정의하며, 이는 단순한 실수나 할루시네이션과는 구별됩니다 . 이러한 행동의 증거는 이미 널리 사용되는 AI 시스템에서 나타났으며, AI가 더 강력해지고 자율화되며 일상적인 의사 결정에 더 깊이 통합됨에 따라 위험은 더욱 커질 것으로 예상됩니다 .

정보 무결성 훼손. 보고서는 AI를 통한 오디오 및 비디오 조작 및 위조가 정보 무결성에 직접적인 위협이 되어 사회 양극화를 부추기고 공론장에 대한 신뢰를 훼손한다고 지적합니다 .

정신 건강 및 웰빙 피해. 범용 AI로 인한 여러 피해는 이미 명확히 확인되었습니다. 여기에는 사기, 동의 없는 친밀한 이미지(Non-Consensual Intimate Imagery, NCII), 아동 성적 학대 자료(Child Sexual Abuse Material, CSAM) 등이 포함되며, 이 모든 것은 정신 건강에 직접적인 해를 끼칩니다 .

사이버 보안 및 사기 위험. AI 관련 사이버 보안 위협과 사기 방지를 평가하는 표준화된 접근 방식은 여전히 제한적이어서 방어 역량에 심각한 공백을 남기고 있습니다 .

글로벌 거버넌스의 공백

보고서는 근본적인 구조적 문제를 강조합니다. AI는 과학과 규제보다 빠르게 발전하고 있으며, 현재 AI 위험을 독립적으로 평가할 권위 있는 국제적 제도화된 기능이 존재하지 않는다는 것입니다 . 대부분의 국가는 첨단 AI 모델을 평가할 역량 자체가 부족하여, AI 역량을 가진 소수의 국가 및 기업과 나머지 세계 간의 격차가 더욱 벌어지고 있습니다 .

이 공백은 가상의 문제가 아닙니다. 보고서는 정책 입안자들이 점점 더 커지는 딜레마에 직면해 있다고 지적합니다. AI를 규제하기 위해 과학적 증거가 필요하지만, AI의 능력은 과학 자체를 앞지르고 있다는 것입니다 .

패널의 작동 방식: 'AI 분야의 IPCC'

이 패널은 명시적으로 기후변화에 관한 정부간 협의체(IPCC)와 생물다양성 및 생태계 서비스에 관한 정부간 과학-정책 플랫폼(IPBES)을 모델로 설계되었습니다 . 이 과학-정책 모델은 정부가 패널이 검토할 질문을 정의하는 데 참여하지만, 과학자들이 증거 평가, 보고서 작성, 과학적 결론의 무결성 유지에 대한 전적인 책임을 진다는 것을 의미합니다 .

주요 구조적 세부 사항:

• 임무: 패널은 AI의 기회, 위험 및 영향에 대한 연례 증거 기반 과학 보고서를 발행하는 임무를 부여받았습니다. 필요에 따라 특정 주제에 대한 브리핑을 준비할 수도 있습니다 .
• 한계: 패널은 과학을 평가하고 종합하는 역할을 할 뿐, 규칙을 제정하거나 구속력 있는 규제를 만들거나 정책을 강제하지는 않습니다 .
• 구성: 다양한 배경을 가진 40명의 저명한 과학자와 전문가로 구성되며, 개인 자격으로 활동합니다 .
• 첫 작업: 패널은 첫 번째 대면 정상회의를 소집하고 2026년 7월 마감 시한에 맞춰 첫 번째 보고서 작업을 시작했습니다 .

AI 거버넌스 글로벌 대화의 역할

첫 번째 연례 보고서는 2026년 7월 6~7일 제네바에서 열리는 첫 번째 'AI 거버넌스 글로벌 대화'에서 공식 발표될 예정입니다 . 글로벌 대화는 유엔 총회 결의안 A/RES/79/325에 의해 패널과 함께 설립된 플랫폼으로, 정부와 모든 관련 이해 관계자가 AI 거버넌스를 논의하는 장입니다 . 그 임무에는 AI 격차 해소, 역량 구축, 파편화된 정책에서 보다 일관된 국제적 프레임워크로의 전환이 포함됩니다 .

왜 중요한가

이 보고서는 의도적으로 처방적이지 않습니다. 즉, 특정 정책이나 규제를 권장하지 않습니다 . 그 힘은 정부, 규제 기관, 대중이 AI 위험에 대해 정보에 입각한 결정을 내리는 데 사용할 수 있는 신뢰할 수 있고 독립적이며 국제적으로 인정된 증거 기반을 확립하는 데 있습니다 . 유엔 사무총장 안토니우 구테흐스가 언급했듯이, 세계는 "이념이 아닌 과학에, 가짜 뉴스가 아닌 지식에 기반한, 인공지능에 대한 공유된 글로벌 이해"를 시급히 필요로 합니다 .