세계가 믿을 AI 안전 규칙, 누가 어떻게 검증할까

AI 기업이 “안전하다”고 말하는 것과 제3자가 그 주장을 확인할 수 있는 것은 다르다. 세계적으로 통용될 AI 안전 체계를 만들려면 공통 기준, 독립 검증, 실효성 있는 국내 집행이 함께 가야 한다. 싱가포르의 조세핀 테오 디지털개발정보부 장관은 여러 겹의 안전장치가 항공기를 일상적으로 이용할 수 있는 신뢰를 쌓았다고 설명하며, AI 보급과 함께 안전 체계도 마련해야 한다고 강조했다. 36

항공에서 배울 것은 ‘완성된 규정집’이 아니다

국제 항공 규칙도 한 번에 만들어지지 않았다. 각국 법과 양자 협정이 먼저 있었고, 1919년 파리협약을 거쳐 1944년 시카고협약이 새 틀을 세웠다. 국제민간항공기구(ICAO)는 1947년 출범했다. 313935 AI에 적용할 교훈은 항공 규정을 그대로 옮기는 것이 아니라, 실행 가능한 합의부터 시작해 공동의 관행을 쌓으며 기준을 강화하는 것이다.

예를 들어 국제기구는 최소 안전 기준을 조율하고, 독립 평가기관을 인정하며, 국가 간 사고 정보를 비교할 수 있다. 반면 조사·시정 명령·배포 제한·제재 권한은 각국 규제기관이 행사해야 한다. 국제 인증서 한 장이 국내 감독을 대신해서는 안 된다.

안전 확인도 출시 전 심사로 끝나지 않는다. 운영 중 감시하고, 시스템에 중대한 변경이 생기면 다시 평가하며, 문제가 발견됐을 때 이전 버전으로 되돌리거나 운영을 종료할 계획까지 갖춰야 한다. 승인 역시 특정 버전과 사용 환경에 대한 판단이지, 앞으로의 모든 용도에 대한 영구 허가가 아니다.

‘안전하다’는 주장을 검증 가능한 자료로 바꾸려면

공개된 성능 점수나 인증 표지만으로는 독립 검증이 어렵다. 자격을 인정받은 평가자는 보안이 유지되는 조건에서 관련 모델, 실제 배포 설정, 문서, 주요 실패 기록에 접근할 수 있어야 한다. 다른 적격 평가자가 시험 방법과 결론을 검토하고 이의를 제기할 수 있을 만큼 절차도 남겨야 한다. 이 과정에서 개인정보, 영업비밀, 보안상 민감한 정보는 보호해야 한다.

고위험 시스템이라면 개발사가 **‘안전성 입증 자료’**를 제출하도록 할 수 있다. 시스템이 무엇을 할 수 있는지, 어떤 시험을 거쳤는지, 입증된 보호장치는 무엇인지, 남은 위험과 사고 대응 계획은 무엇인지 명시하는 방식이다. 증거가 부족하면 규제기관이 보완을 요구하거나 배포를 제한할 수 있어야 한다. 목표는 ‘피해가 절대 일어나지 않는다’는 약속이 아니라, 정해진 요건을 지켰는지 확인할 수 있게 하는 것이다.

평가 비용을 누가 내는지도 중요하다. 대형 개발사가 평가기관을 직접 골라 통제하기보다 공동 기금이나 규제기관이 관리하는 재원으로 시험 비용을 부담하는 방안을 고려할 수 있다. 중대 사고와 사고 직전의 위험한 사례는 독립적으로 조사해 재발 방지에 활용하되, 솔직한 신고를 장려하는 제도가 은폐나 고의적 위법 행위의 면책 수단이 돼서는 안 된다.

싱가포르는 연결 고리가 될 수 있을까

테오 장관은 AI 활용을 늘리는 동시에 안전장치를 구축해야 한다고 주장해 왔다. 보도에서는 싱가포르의 AI Verify 시험 도구와 AI 안전연구소를 관련 활동의 기반으로 꼽는다. 13 싱가포르가 국제 평가기관 네트워크 안에서 공동 시험이나 비공개 기술 교류를 주최하는 방안은 생각해 볼 수 있다.

하지만 시설을 유치한다고 미국과 중국 양쪽의 신뢰가 저절로 생기지는 않는다. 투명한 운영 원칙, 안전한 정보 접근 규칙, 독립적인 이의신청 절차, 양국의 실제 참여가 뒷받침돼야 한다. 평가 역량을 여러 나라에 분산하면 어느 한 거점에 지나치게 의존하는 문제도 줄일 수 있다.

개발 속도에 합의하지 못해도 시작할 수 있다

AI 개발을 늦춰야 하는지를 놓고 입장은 갈린다. 로이터에 따르면 앤트로픽의 다리오 아모데이, 오픈AI의 샘 올트먼, 일론 머스크는 공조를 통한 개발 속도 조절을 주장했다. 반면 메타의 마크 저커버그는 시장 주도의 안전장치를 선호했고, 엔비디아의 젠슨 황은 새로운 규제가 필요하다는 주장에 반대했다. 4748 중국은 개발 속도를 늦추라는 요구를 거부했다. 도널드 트럼프 미국 대통령도 9월 24일 시진핑 중국 국가주석과의 정상회담에서 AI 안전장치에 진전이 있을 것으로 예상하지 않는다고 밝혔다. 5850 회담 관련 보도 역시 큰 돌파구에 대한 기대가 낮다고 전했다. 49

그렇다고 모든 쟁점의 합의를 기다릴 필요는 없다. 미국과 중국의 안보 전문가들이 제안한 논의에는 핵 관련 시스템에 대한 금지선, 중대한 사이버 공격에 대한 인간의 통제, 자율 AI 관련 사고를 다룰 긴급 연락망이 포함된다. 20 이를 출발점으로 중대 사고 통보와 상호 기술 협의를 추진할 수 있다. 미·중의 참여는 중요하지만, 기준을 정하는 과정에는 다른 나라들도 목소리를 내고 평가 역량에 접근할 수 있어야 한다.

군비통제에서 빌릴 원칙은 서로 확인할 수 있을 만큼 범위를 좁힌 약속이다. 금융감독에서 빌릴 원칙은 위험이 클수록 감독을 강화하는 비례성이다. 고위험 AI를 개발하거나 배포하는 곳에는 독립 평가, 경영진의 책임, 복구 계획, 중대한 안전 사고·정보 유출·해킹·모델 탈취의 신속한 보고를 요구할 수 있다. 위험이 낮은 서비스를 제공하는 소규모 기업에는 공동 시험 인프라와 간소한 문서 절차를 제공하되, 기업 규모가 작다는 이유만으로 위험한 시스템을 면제해서는 안 된다.

2030년까지 조약과 상설 기구를 만드는 것은 정책 목표가 될 수 있지만, 실현이 보장된 전망은 아니다. 더 현실적인 첫 성과는 국가들이 사고의 정의와 평가자의 독립성, 상호 안전장치에 합의하고, 제출된 증거가 기준에 못 미칠 때 규제기관이 실제로 조치할 수 있게 되는 것이다.