AI 종말론에 대한 싱가포르의 답: 독립 검증과 AI 에이전트 권한 통제

AI가 언젠가 인류를 위협할 수 있다는 경고에 어떻게 대응해야 할까. 싱가포르 AI 업계에서 제시되는 답은 ‘걱정할 필요 없다’도, ‘모든 개발을 멈추자’도 아니다. 현재의 시스템을 독립적으로 검증하고, 안전 조치를 외부에서 확인할 수 있게 하며, 실제 배포된 AI가 할 수 있는 일에 제한을 두자는 것이다. 732

경고가 커진 계기

OpenAI와 앤트로픽에서 일한 제이컵 콕슨은 2026년 9월 앤트로픽을 떠나며, 두 회사가 책임 있게 행동하지 않은 채 스스로 성능을 개선하는 초지능 개발을 서두르고 있다고 비판했다. 앤트로픽 연구원 에번 허빙거도 우려에 동의하며, 향후 10년 안에 AI가 인류 멸종을 초래할 가능성을 개인적으로 ‘10% 이상’으로 본다고 밝혔다. 이 수치는 연구로 측정된 확률이 아니라 그의 개인적 판단이다. 34

앤트로픽 최고경영자 다리오 아모데이는 개발 속도를 늦추자고 촉구했다. 그가 9월 12일 제시한 방안에는 제3자 평가자가 안전 관행과 관련 소통을 확인하고 사고를 보고할 수 있도록 접근권을 주는 내용도 담겼다. 논의의 초점을 막연한 공포에서 외부인이 무엇을 검증할 수 있는가로 옮기는 제안이다. 1332

감사로 확인할 수 있는 것과 없는 것

시험은 지금 존재하는 AI 시스템의 한계를 드러내는 데 도움이 된다. 싱가포르가 2022년 도입한 ‘AI Verify’는 AI 결과의 공정성·견고성·설명 가능성을 평가하는 도구다. AI 시험 인력을 확충하기 위한 인증 프로그램도 소개됐다. 그렇다고 이런 시험이 미래의 모든 시스템이 안전하다는 증명서는 아니다. 1933

독립 검증이 의미 있으려면 개발사의 ‘내부 점검을 통과했다’는 설명만으로는 부족하다. 평가자가 실제 안전 관행을 살피고 사고를 드러낼 수 있어야 한다. 기업 역시 AI를 자사 데이터와 업무 절차에 연결하기 전에 제공사로부터 충분한 정보와 통제 수단을 확보해야 한다. 모델의 가중치에 접근할 수 있다는 사실만으로 학습 과정의 결정, 실패 사례, 안전장치까지 모두 파악할 수 있는 것은 아니다. 3234

이는 어떤 개발도 늦춰서는 안 된다는 뜻이 아니다. 이 논의에 참여한 싱가포르 기반 전문가는 개발자가 시스템을 충분히 통제하지 못하거나 중대한 위험의 관리 방식을 설명할 수 없다면 그 활동을 멈춰야 한다고 주장했다. 모든 AI 활용을 일괄 중단하는 것과, 입증된 위험에 따라 특정 활동을 중단하는 것은 다르다. 32

AI 에이전트에는 권한부터 제한해야

도구를 사용하고 여러 업무 단계에 걸쳐 행동하는 자율형 AI 에이전트는 통제 문제를 당장의 과제로 만든다. 싱가포르 정보통신미디어개발청(IMDA)은 2026년 1월 ‘자율형 AI를 위한 모델 AI 거버넌스 프레임워크’를 발표했다. 이 지침은 사전에 위험을 평가하고 에이전트의 자율성, 도구 및 데이터 접근을 제한하도록 권고한다. 개정된 문서는 업무에 꼭 필요한 최소한의 권한만 부여하는 ‘최소 권한 원칙’도 명시한다. 이는 배포를 전면 금지하는 법률이 아니라 조직을 위한 지침이다. 504852

기업 입장에서는 각 에이전트의 책임자를 정하고, 접근 권한을 좁히고, 가능한 경우 행동을 추적·되돌릴 수 있게 하며, 작동 상태를 계속 살피는 일이 핵심이다. ‘안전한 AI’라는 포괄적 약속보다 운영 과정에서 확인할 수 있는 조치들이다. 34 조세핀 테오 싱가포르 장관도 AI에 대한 신뢰를 쌓는 안전장치와 표준의 역할을 민간 항공의 안전 관행에 빗댄 바 있다. 17

결국 핵심은 불확실성 속에서도 책임을 분명히 하는 것이다. 시험할 수 있는 것은 시험하고, 외부 검증을 허용하며, 안전하게 관리할 수 없는 권한은 부여하지 않는 것. 장기적인 AI 위험 논쟁을 끝낼 수는 없어도, 개발사와 도입 기업이 지금 무엇을 해야 하는지는 구체화할 수 있다. 3248