AI 킬 스위치만으로는 부족한 이유…고도화된 시스템을 인간 통제 아래 둘 수 있을까

AI ‘킬 스위치’ 논쟁은 이제 연구소가 모델을 끌 수 있느냐는 단순한 문제가 아니다. 강력한 AI가 거대한 분산 인프라에 배포되거나, 자율적으로 여러 환경에 퍼져 나간 뒤에도 종료 장치가 실제로 작동할 수 있느냐가 핵심이다.

콕슨의 경고: 지금은 가능해도, 영원히 가능하진 않을 수 있다

전 앤트로픽·오픈AI 연구원 제이컵 콕슨은 NBC 뉴스의 Meet the Press 인터뷰에서 현재 많은 AI에는 킬 스위치가 작동할 가능성이 크다고 말했다. 다만 이는 버튼 하나를 누르는 일이 아니다. 대형 데이터센터와 배포된 시스템의 여러 구성 요소를 함께 멈춰야 한다. 쉽지는 않지만, 시스템이 한 물리적 장소에 묶여 있는 동안에는 가능하다는 취지다. 8

그가 우려하는 것은 다음 단계다. AI가 분산된 자율형 ‘스웜(swarm·군집)’처럼 움직이게 되면, 중앙의 종료 명령은 기술적으로 효력을 잃을 수 있다는 것이다. 통제 수단은 작동 중인 모든 인스턴스에 도달할 수 있을 때에만 통제 수단이 된다.

콕슨은 앤트로픽을 떠난 뒤, 선도 연구소들이 통제 불능 상태가 될 수 있는 자기개선형 AI를 향해 경쟁적으로 나아가고 있다고 경고했다. 150

연구소 내부의 스위치에서, 외부가 검증하는 안전장치로

앤트로픽 공동창업자 잭 클라크는 위험한 AI를 비활성화할 수 있는 능력이 언젠가는 기업의 자율적 약속이 아니라 법적 의무가 돼야 할 수 있다고 주장했다. 그는 BBC에 대부분의 주요 AI 연구소가 앤트로픽을 포함해 시스템을 멈추는 방법을 갖고 있다고 말하면서도, 킬 스위치를 제3자가 검증할 수 있어야 하는지 물었다. 33

이 차이는 작지 않다. 기업이 종료 절차를 보유하고 있다고 말하는 것과, 외부 평가자가 그 절차의 존재·설계 적절성·비상 상황에서의 실제 사용 가능성을 확인하는 것은 전혀 다른 문제다.

아모데이의 제안: ‘프런티어의 속도를 맞추자’

앤트로픽 최고경영자(CEO) 다리오 아모데이는 최첨단 AI 역량의 발전 속도를 안전조치가 따라잡을 수 있는 수준으로 조절하자는 틀을 제안했다. 세 가지 축으로 구성된다.

1. 상주형 독립 평가자: 최첨단 AI 기업이 외부 평가자에게 직원에 준하는 지속적 접근 권한을 제공해, 관련 시스템과 안전 관행을 검증하고 우려 사항을 보고하도록 한다.
2. 민주주의 국가 간 공동 기준: 주요 개발사가 공통 안전 기준과 통제받지 않는 역량 고도화의 한계에 합의한다.
3. 국제 공조: 어느 한 기업이나 국가만으로는 안정적으로 억제할 수 없는 위험에 대해 각국 정부가 국경을 넘어 협력한다. 17

이는 AI 연구를 전면 중단하자는 주장이 아니다. 안전 통제가 개발 기업 내부가 아니라 외부에서도 검증될 수 있어야 발전이 정당화된다는 제안이다.

누가 이 방향에 힘을 실었나

로이터에 따르면 오픈AI CEO 샘 올트먼과 xAI를 이끄는 일론 머스크는 아모데이의 큰 방향에 공개적으로 지지를 표했다. 올트먼은 직원 수준의 접근 권한을 가진 독립 평가자 제도를 오픈AI도 도입하겠다고 밝혔고, 머스크는 “다리오가 옳다”고 말했다. 17

보도에서는 구글 딥마인드 CEO 데미스 허사비스도 이 제안의 방향에 공감한 것으로 전해졌다. 30 다만 제공된 자료만으로는 마이크로소프트 CEO 사티아 나델라의 구체적이고 확인 가능한 반응을 확인할 수 없다. 따라서 그의 찬반을 단정하는 것은 섣부르다.

미국의 ‘AI Kill Switch Act’는 무엇인가

미 의회의 H.R. 9917, 즉 AI Kill Switch Act는 국토안보법을 개정해 일정한 적용 대상 기관이 AI 기술의 추론(inference)을 중단하고, 이용자 접근을 종료하며, 해당 AI 기술을 정지할 수 있는 기술적 역량을 유지하도록 요구하는 법안이다. 49

하지만 이 법안은 아직 제안 단계이며, 모든 AI 통제 문제의 해법이 입증된 것은 아니다. 심각한 사고가 발생했을 때 개발사가 해당 시스템을 식별하고 접근해 비활성화할 수 있어야 실효성이 생긴다. 바로 콕슨이 미래의 분산형 시스템에서 제기한 난제다.

인류 멸종 위험 수치는 예측이 아니라 판단이다

앤트로픽 연구원 에번 허빙거는 향후 10년 내 AI가 인류 멸종을 초래할 개인적 위험 추정을 10% 초과로 제시했다. 컴퓨터 과학자 제프리 힌턴은 BBC에 10% 가능성이 “불합리하지 않다”고 말했다. 57

이는 측정된 확률이나 과학계의 합의가 아니라, 불확실한 미래에 대한 전문가들의 판단이다. 그럼에도 되돌릴 수 없는 재난의 가능성이 아주 높지 않더라도 강력한 안전장치를 정당화할 수 있다는 주장의 배경이 된다.

정부가 의무적 종료 장치와 감속론에 주저하는 이유

영국 정부는 국가 차원의 AI 킬 스위치 제안을 거부하며 “AI를 단순히 꺼버릴 수는 없다”고 밝혔다. 영국 내에서 모델 접근을 막아도 다른 지역에서 모델이 개발되거나 악용되는 것을 막지는 못한다는 것이 정부의 설명이다. 51

이 반론은 AI 거버넌스의 지정학적 문제를 드러낸다. 한 국가는 자국 관할권 안의 기업과 인프라에는 규칙을 적용할 수 있지만, AI 개발은 국제적으로 이뤄진다. 경쟁력을 우려하는 정부는 일방적 규제가 투자와 기술 역량, 전략적 우위를 규제가 느슨한 경쟁국으로 옮길 수 있다고 볼 수 있다.

반대로 더 강한 거버넌스를 요구하는 쪽은 바로 그 이유 때문에 기업의 자율 약속이나 국가 단위 규정만으로는 부족하다고 주장한다. 위험이 국경을 넘는다면 감독과 안전 약속 역시 국제적으로 신뢰할 수 있는 형태가 돼야 한다는 논리다.

진짜 충돌은 ‘개발 속도’와 ‘통제력’ 사이에 있다

이 논쟁은 AI를 지지하는 사람과 반대하는 사람의 단순한 대립이 아니다.

• 안전 우선론자는 외부에서 점검할 수 있는 안전장치, 실질적인 종료 역량, 그리고 AI 역량이 평가와 통제를 앞질러 가지 못하게 하는 한계를 요구한다.
• 경직된 규제에 회의적인 쪽은 개발 중단이나 감속이 세계적으로 집행되기 어렵고, 다른 지역의 개발을 막지 못한 채 유익한 혁신만 늦출 수 있다고 본다.
• 조건부 개발론은 콕슨·클라크·아모데이가 대표한다. AI를 계속 발전시키되, 약속에 그치지 않고 시험·검증할 수 있는 안전장치를 전제로 해야 한다는 입장이다. 83317

따라서 킬 스위치는 더 큰 안전 체계의 한 겹으로 이해하는 편이 정확하다. 고도화된 시스템이 언젠가 너무 분산돼 하나의 스위치가 모든 곳에 닿지 못하게 된다면, 배포 전 감독, 독립 평가, 국제 공조의 중요성은 줄어드는 것이 아니라 더 커진다.