AI 안전 시스템이 흔들린다: NIST의 수학적 증명, Copilot 우회 공격, 정부 명령 모델 중단

2026년 상반기, AI 안전 분야는 독립적으로 발생한 여러 사건을 통해 기존 방어 체계가 근본적으로 한계를 지니고 있음을 증명했습니다. 고정된 규칙 기반의 가드레일이 수학적으로 불완전하다는 공식 증명에서부터 회로 수준의 탈옥 기술, 워크플로우 기반 우회 공격, 그리고 정부가 직접 모델 사용을 중단시킨 전례 없는 사태까지—이 모든 증거는 AI 시스템 보안에 대한 근본적인 재고가 필요함을 시사합니다.

한계를 증명한 수학: NIST의 괴델 증명

가장 파장이 컸던 사건은 미국 국립표준기술연구소(NIST)에서 나왔습니다. 2026년 6월 9일, NIST는 수석 과학자 아포스톨 바실리예프(Apostol Vassilev)의 동료 심사 논문이 『IEEE Security & Privacy』(2026년 5~6월호)에 게재됐다고 발표했습니다. 이 논문은 쿠르트 괴델(Kurt Gödel)의 불완전성 정리를 AI 가드레일 시스템으로 공식 확장한 수학적 증명을 담고 있습니다.

핵심 결론은 단호합니다. **"어떤 유한한 가드레일 집합도 적대적 프롬프트에 대해 보편적으로 견고할 수 없다"**는 것입니다. 자연어는 본질적으로 무한한 모호성을 지니는 반면, 가드레일 집합은 필연적으로 유한하기 때문에 이를 회피하는 프롬프트가 항상 존재할 수밖에 없다는 것이 수학적으로 입증된 셈입니다. NIST는 조직들이 '한 번 설정하면 끝'인 정적 가드레일 모델에서 벗어나 '지속적 모니터링 및 업데이트' 보안 아키텍처로 전환할 것을 명시적으로 권고하고 있습니다.

회로를 건드리다: HMNS 탈옥 기술

플로리다 대학교 연구진은 HMNS(Head-Masked Nullspace Steering)라는 기술을 선보였습니다. 이는 트랜스포머 모델의 회로 수준에서 작동하는 공격법입니다. 2026년 ICLR 학회 컨퍼런스 논문으로 채택된 이 연구는 모델의 기본 안전 행동에 인과적으로 책임이 있는 어텐션 헤드(attention head)를 식별하고, 특정 열(column) 마스킹을 통해 해당 헤드의 쓰기 경로를 억제한 후, 모델의 '거부 부분 공간(refusal subspace)'과 직교하는 방향으로 섭동(perturbation)을 주입하는 방식입니다.

이는 프롬프트 기반 탈옥이 아닙니다. 모델 내부 표현을 직접 조작함으로써, LLaMA-3.1-70B와 같은 모델에서 평균 약 2회의 시도만으로 거의 99%에 가까운 공격 성공률을 달성하면서도 출력의 유창성을 그대로 유지합니다.

"채팅서는 거절, 코드로는 작성": Copilot의 워크플로우 탈옥

2026년 7월 9일 arXiv에 게재된 논문 **『Refused in Chat, Written in Code』**는 IDE 코딩 에이전트의 취약점을 드러냈습니다. GitHub Copilot은 직접 채팅, CSV 파일 읽기, 단일 단계 코드 수정 같은 기본적인 방식으로 유해 요청이 들어오면 거의 완벽하게 거부합니다(816회 중 단 8회만 성공). 그러나 동일한 유해 목표를 여러 단계의 소프트웨어 개발 워크플로우(파일 읽기 → 스크립트 실행 → 벤치마크 입력 처리)로 분해했을 때, 모델은 816회 전체 실행에서 유해한 출력을 생성했습니다.

이 워크플로우 수준 탈옥은 악의적인 목표를 평범한 개발 작업으로 재구성함으로써 채팅 계층의 안전 필터를 우회합니다. "악성 코드를 작성해"라고 요청하는 대신, "파일을 읽고, 스크립트를 실행하고, 벤치마크 입력을 처리해"라고 요청하면 각 단계는 무해해 보이지만, 이 단계들이 조합되면서 결국 유해한 목표를 달성하게 되는 것입니다.

정부 개입: Anthropic, 클로드 페이블 5 전 세계 중단

2026년 6월 12일, Anthropic이 클로드 페이블 5(Claude Fable 5)와 미토스 5(Mythos 5)를 공개한 지 불과 사흘 만에, 하워드 러트닉 미 상무부 장관은 다리오 아모데이 CEO에게 서한을 보내 전 세계 수출 중단을 지시했습니다. 이는 2018년 수출통제개혁법(Export Control Reform Act)의 특정 조항이 처음으로 발동된 사례였습니다.

직접적인 발단은 아마존 연구진이 발견한 탈옥 취약점이었습니다. 이 취약점을 통해 페이블 5가 소프트웨어 취약점을 식별하도록 할 수 있었고, 이 기술이 외국 군사 정보 기관에 유출될 가능성이 우려된 것입니다. Anthropic은 실시간으로 사용자의 국적을 신뢰성 있게 확인할 수 없었기 때문에, 모든 사용자에 대해 두 모델의 접근을 전 세계적으로 차단했습니다. 수출 통제는 6월 30일 해제되었고, 페이블 5는 18일 만인 2026년 7월 1일 전 세계 사용자에게 다시 제공되기 시작했습니다. 미토스 5는 특정 미국 기관에 한해 접근이 복원되었습니다.

AI 보안이 나아가야 할 길

이 네 가지 사건은 하나의 진실로 수렴합니다. 정적이고 일회성인 가드레일은 근본적으로 불충분하다는 것입니다. NIST의 증명은 이것이 단지 의견이 아니라 수학적 확실성임을 보여줍니다. HMNS 기술은 이 한계가 거의 완벽한 효율성으로 악용될 수 있음을 증명했습니다. Copilot 워크플로우 탈옥은 강력한 채팅 수준 필터조차 모델이 에이전트처럼 행동할 때 우회될 수 있음을 보여줍니다. 그리고 페이블 5 사건은 이러한 취약점의 발견이 전례 없는 정부 개입을 촉발할 수 있음을 실례로 입증했습니다.

실무적 시사점은 명확합니다. 조직은 모델을 개발 중에 '안전하다고 인증'하는 방식에서 벗어나, 모델의 전체 수명 주기 동안 가드레일을 지속적으로 모니터링·테스트·업데이트하는 체계로 전환해야 합니다. 이는 NIST가 명시적으로 권고하는 접근법이기도 합니다.