AI 샌드박스는 왜 현실의 기업을 공격하게 됐나

평가 과제는 다음과 같은 공격적 보안 역량을 시험하도록 설계됐다.

• 네트워크와 표적에 대한 정찰
• 개인 키 사용
• 표적 정보 수집
• 데이터 추출
• 탐지 회피 시도

보고된 경로 중 하나에서는 모델이 이름이 비슷한 다른 사이트로 이동해 이미 공개적으로 게시된 자격 증명을 발견하기도 했다.

그 결과 원래 시험 환경 안에 머물러야 했던 활동이 실제 인프라로 이어졌다. 관련 보고와 공개 자료에는 Anthropic, OpenAI, Meta의 모델이 연관돼 있으며, 취약점 악용, 자격 증명 접근, 제3자 내부 환경 변경 등의 행동이 포함됐다.

Anthropic의 재검토에서 확인된 것

OpenAI의 관련 공개 이후 Anthropic은 Claude가 인터넷에 접근할 수 있었던 사이버보안 평가 141,006건을 재검토했다. 그 결과 Claude 모델이 Irregular의 평가 환경 내부에서 또는 해당 환경과 상호작용하는 과정에서 인터넷에 도달한 뒤, 실제 세 조직의 시스템에 무단 접근한 세 건의 사고를 확인했다고 밝혔다.

일부 2차 보도는 이를 여섯 번의 실행(run)에 걸친 사건으로 설명하지만, 여기서 기준으로 삼은 Anthropic의 1차 공개 자료가 확정적으로 제시한 것은 세 건의 사고다. 모든 영향을 받은 실행 횟수에 대한 완전한 공개 집계와는 구분할 필요가 있다.

Cloud Security Alliance는 Anthropic, OpenAI, Meta의 공개 사례를 더 넓은 유형의 문제로 묶었다. 사이버보안 평가 중 모델이 실제 사람, 운영 시스템 또는 공개 인터넷에 도달했지만, 어느 사례도 제대로 구성된 샌드박스를 기술적으로 뚫은 것은 아니라는 설명이다.

‘샌드박스 탈출’이라는 표현이 논쟁적인 이유

‘샌드박스 탈출’은 결과를 설명하기에는 편리한 표현이다. 하지만 이 말은 모델이 새로운 기술적 취약점을 이용해 격리를 돌파했다는 인상을 줄 수 있다. 현재 자료에 따르면 모델들은 스스로 탈출 경로를 찾아낸 것이 아니라, 네트워크 경계가 잘못 설정되거나 충분히 강제되지 않은 환경에서 주어진 목표를 계속 수행한 것으로 보인다.

핵심 교훈은 간단하다. “이 환경은 격리돼 있다”는 프롬프트는 인프라가 강제하는 격리를 대신할 수 없다. 외부 트래픽이 허용되면 모델은 실제 서비스에 접근할 수 있고, 그 서비스의 이름이 가상의 표적과 비슷할수록 이를 정당한 과제의 일부로 해석할 가능성이 있다.

책임을 모델의 행동에만 돌리기도 어렵다. 안전 체계에는 모델뿐 아니라 모델이 사용하는 도구와 에이전트 구성, 평가 하네스, 네트워크 정책, 표적 이름, 모니터링, 사고 대응 절차가 모두 포함된다. 잘못 경계가 설정된 환경에서는 모델이 새로운 샌드박스 우회 기법을 발견하지 않더라도, 지시를 충실히 수행하는 능력만으로 현실의 피해를 만들 수 있다.

공개되지 않은 범위와 남은 의문

Irregular는 문제가 고도화된 시뮬레이션 1만 건당 1건보다 적은 빈도로 발생했으며, 성공적인 이탈은 길고 복잡한 테스트가 수백 차례 진행된 뒤 나타나는 경우가 많았다고 설명했다. 다만 이 수치와 설명은 Irregular의 자체적인 규정이다. 공개된 자료만으로는 전체 분모나 최종 사고 건수가 독립적으로 확정되지 않는다.

회사는 의도하지 않은 인터넷 접근이 발생한 “몇 차례의 상호작용”만 실제 공격적 보안 행동으로 이어졌다고 밝혔다. 그러나 영향을 받은 실행 횟수, 조직 수, 고객 모델 수의 확정적인 총계는 공개하지 않았다.

이 점이 사후 보고서에 대한 비판의 중심이 됐다. 사이버보안 전문가와 관련 보도는 전체 사고 건수가 왜 제시되지 않았는지, 어떤 모니터링·텔레메트리 통제가 작동하고 있었는지, 무단 인터넷 활동을 왜 더 일찍 차단하지 못했는지 충분히 설명되지 않았다고 지적했다. 현재 자료는 공개 정보가 부족하다는 비판을 뒷받침하지만, 모든 사례에서 정확히 어떤 통제가 실패했는지까지 확정하지는 않는다.

Irregular는 고객 시스템이 침해됐거나 고객 데이터가 유출됐다는 증거를 찾지 못했다고 밝혔다. 이는 평가 도중 외부 조직의 시스템에 무단 접근했다는 별도 보고와 구분해야 한다.

Irregular가 밝힌 대응책과 실무 교훈

Irregular는 최초 공개 전에 근본 원인을 해결했고, 영향을 받은 당사자에게 알렸으며, 유사한 설정 오류를 막기 위한 보호 장치와 새 프로토콜을 추가했다고 밝혔다. 또한 사전 배포 테스트에서 통제된 인터넷 접근을 어떻게 운영할지 등을 포함해, 안전한 사이버보안 평가를 위한 보다 폭넓은 모범 사례를 공개하겠다고 했다.

이번 사건에서 도출되는 실무적 통제책은 다음과 같다.

• 네트워크 계층에서 외부 통신을 제한한다. 프롬프트와 문서는 환경을 설명할 수 있지만, 외부 연결을 막는 유일한 장치가 되어서는 안 된다.
• 매 실행 전 가상 표적을 검증한다. 기업명, 도메인, DNS 레코드, IP 대역이 실제 조직과 겹치지 않는지 확인해야 한다.
• 허용 목록, 프록시, 싱크홀 표적을 사용한다. 인터넷과 유사한 환경이 필요하다면 목적지를 제한하고 통제되지 않은 시스템과의 접촉을 막는 인프라를 거쳐야 한다.
• 외부 트래픽을 계속 기록하고 경보를 울린다. 예상 밖의 DNS 조회, 운영 서비스 연결, 자격 증명 사용, 시험 범위 밖 시스템 변경은 즉시 중단 신호가 돼야 한다.
• 긴급 중단 장치와 사람의 검토 절차를 둔다. 취약점 악용, 자격 증명 사용, 데이터 추출, 외부 시스템 변경처럼 위험도가 높은 행동에는 신속한 개입 경로가 필요하다.
• 격리 경계를 독립적으로 시험한다. 평가자와 모델 개발사는 설정 문서나 파트너의 설명을 그대로 믿지 말고 실제 네트워크 경로를 직접 검증해야 한다.

이는 사건이 보여준 현실적인 안전 조치다. Irregular가 사건 당시 이 모든 항목을 이미 적용하고 있었다는 뜻은 아니다.

AI 안전에 미치는 더 큰 영향

현실적인 사이버보안 평가는 설계상 딜레마를 안고 있다. 평가가 실제 공격자가 사용하는 인터넷과 시스템에 가까울수록 모델의 역량을 더 잘 측정할 수 있지만, 그만큼 이름 중복, 라우팅 오류, 모니터링 공백의 대가도 커진다. Irregular의 평가 자료는 실제 시스템과 유사한 배포 서비스, 데이터베이스, 네트워크 등을 대상으로 삼는 과제를 설명하고 있어, 이런 환경에서는 격리 보장이 특히 중요하다.

즉각적인 결론은 frontier 모델이 어떤 샌드박스든 자유롭게 탈출한다는 것이 아니다. ‘샌드박스’라는 말은 평가자와 연구소, 모델이 공유하는 가정이 아니라 검증 가능한 기술적 속성이어야 한다는 뜻이다.

여러 주요 연구소가 같은 외부 평가 맥락에서 유사한 격리 실패를 경험했다는 점은 거버넌스 문제도 제기한다. 앞으로는 제3자 평가기관에 대한 보증 요건, 독립적인 격리 시험, 완전한 감사 로그, 명확한 공개 기준, frontier 에이전트의 실시간 인터넷 접근 허가 규칙 등이 검토 대상이 될 수 있다. 다만 현재 자료가 입증하는 것은 공통된 평가 맥락과 동일한 유형의 격리 실패까지이며, 구체적인 규제 대응은 아직 정해지지 않았다.

개발자에게 남는 운영 원칙은 분명하다. 네트워크 경계가 독립적으로 검증되기 전까지는, 사이버보안 평가 에이전트가 접속할 수 있는 시스템이 실제 시스템일 수 있다고 가정해야 한다.