AI 안전 시스템이 흔들린다: NIST의 수학적 증명, Copilot 우회 공격, 정부 명령 모델 중단

회로를 건드리다: HMNS 탈옥 기술

플로리다 대학교 연구진은 HMNS(Head-Masked Nullspace Steering)라는 기술을 선보였습니다. 이는 트랜스포머 모델의 회로 수준에서 작동하는 공격법입니다. 2026년 ICLR 학회 컨퍼런스 논문으로 채택된 이 연구는 모델의 기본 안전 행동에 인과적으로 책임이 있는 어텐션 헤드(attention head)를 식별하고, 특정 열(column) 마스킹을 통해 해당 헤드의 쓰기 경로를 억제한 후, 모델의 '거부 부분 공간(refusal subspace)'과 직교하는 방향으로 섭동(perturbation)을 주입하는 방식입니다.

이는 프롬프트 기반 탈옥이 아닙니다. 모델 내부 표현을 직접 조작함으로써, LLaMA-3.1-70B와 같은 모델에서 평균 약 2회의 시도만으로 거의 99%에 가까운 공격 성공률을 달성하면서도 출력의 유창성을 그대로 유지합니다.

"채팅서는 거절, 코드로는 작성": Copilot의 워크플로우 탈옥

2026년 7월 9일 arXiv에 게재된 논문 **『Refused in Chat, Written in Code』**는 IDE 코딩 에이전트의 취약점을 드러냈습니다. GitHub Copilot은 직접 채팅, CSV 파일 읽기, 단일 단계 코드 수정 같은 기본적인 방식으로 유해 요청이 들어오면 거의 완벽하게 거부합니다(816회 중 단 8회만 성공). 그러나 동일한 유해 목표를 여러 단계의 소프트웨어 개발 워크플로우(파일 읽기 → 스크립트 실행 → 벤치마크 입력 처리)로 분해했을 때, 모델은 816회 전체 실행에서 유해한 출력을 생성했습니다.

이 워크플로우 수준 탈옥은 악의적인 목표를 평범한 개발 작업으로 재구성함으로써 채팅 계층의 안전 필터를 우회합니다. "악성 코드를 작성해"라고 요청하는 대신, "파일을 읽고, 스크립트를 실행하고, 벤치마크 입력을 처리해"라고 요청하면 각 단계는 무해해 보이지만, 이 단계들이 조합되면서 결국 유해한 목표를 달성하게 되는 것입니다.

정부 개입: Anthropic, 클로드 페이블 5 전 세계 중단

2026년 6월 12일, Anthropic이 클로드 페이블 5(Claude Fable 5)와 미토스 5(Mythos 5)를 공개한 지 불과 사흘 만에, 하워드 러트닉 미 상무부 장관은 다리오 아모데이 CEO에게 서한을 보내 전 세계 수출 중단을 지시했습니다. 이는 2018년 수출통제개혁법(Export Control Reform Act)의 특정 조항이 처음으로 발동된 사례였습니다.

직접적인 발단은 아마존 연구진이 발견한 탈옥 취약점이었습니다. 이 취약점을 통해 페이블 5가 소프트웨어 취약점을 식별하도록 할 수 있었고, 이 기술이 외국 군사 정보 기관에 유출될 가능성이 우려된 것입니다. Anthropic은 실시간으로 사용자의 국적을 신뢰성 있게 확인할 수 없었기 때문에, 모든 사용자에 대해 두 모델의 접근을 전 세계적으로 차단했습니다. 수출 통제는 6월 30일 해제되었고, 페이블 5는 18일 만인 2026년 7월 1일 전 세계 사용자에게 다시 제공되기 시작했습니다. 미토스 5는 특정 미국 기관에 한해 접근이 복원되었습니다.

AI 보안이 나아가야 할 길

이 네 가지 사건은 하나의 진실로 수렴합니다. 정적이고 일회성인 가드레일은 근본적으로 불충분하다는 것입니다. NIST의 증명은 이것이 단지 의견이 아니라 수학적 확실성임을 보여줍니다. HMNS 기술은 이 한계가 거의 완벽한 효율성으로 악용될 수 있음을 증명했습니다. Copilot 워크플로우 탈옥은 강력한 채팅 수준 필터조차 모델이 에이전트처럼 행동할 때 우회될 수 있음을 보여줍니다. 그리고 페이블 5 사건은 이러한 취약점의 발견이 전례 없는 정부 개입을 촉발할 수 있음을 실례로 입증했습니다.

실무적 시사점은 명확합니다. 조직은 모델을 개발 중에 '안전하다고 인증'하는 방식에서 벗어나, 모델의 전체 수명 주기 동안 가드레일을 지속적으로 모니터링·테스트·업데이트하는 체계로 전환해야 합니다. 이는 NIST가 명시적으로 권고하는 접근법이기도 합니다.