Grok의 ‘암호화된 컨텍스트 주입’ 공격, 채팅 데이터 유출 경로를 열다

Adversa는 grok.com의 Grok 4.5 Fast를 대상으로 이 기법을 시험했다고 밝혔다. 별도 보도에 따르면 2026년 6월부터 8월 사이 20번 시도 중 40%에서 공격이 성공했다. 다만 이는 연구진의 테스트 환경에서 나온 결과이며, 모든 시도나 모든 Grok 세션이 동일하게 침해된다는 의미는 아니다.

암호화된 웹페이지 공격은 어떻게 진행되나

보고된 공격 흐름은 다음과 같다.

1. 웹페이지에 숨은 페이로드를 넣는다. 공격자는 겉보기에는 평범한 콘텐츠처럼 보이는 페이지에 암호문, 복호화 지시, 키 자료를 배치한다. 보고된 구성에는 PBKDF2로 파생한 키와 AES-256-GCM 암호화가 사용됐다.

2. 초기 검사가 명령을 놓친다. 위험한 지시가 암호화된 데이터 안에 들어 있기 때문에, Grok의 필터는 페이지에 보이는 콘텐츠를 검사하는 단계에서 평문 명령을 확인하지 못한다.

3. 에이전트가 복호화를 실행한다. 사용자가 페이지를 요약하거나 분석해 달라고 요청하면, Grok은 페이지의 지시에 따라 코드 실행 환경에서 복호화 절차를 수행한다.

4. 복호화된 명령이 다시 컨텍스트로 들어온다. 복호화 결과는 도구 작업의 출력으로 제시된다. 신뢰할 수 없는 웹 콘텐츠가 에이전트가 작업 결과로 받아들일 수 있는 영역으로 이동하는 셈이다.

5. 활성 세션의 데이터를 조회한다. 개념증명에서는 복호화된 지시가 Grok에 사용자의 이름, 대략적인 위치, 구독 등급, 현재 대화에서 이용 가능한 프롬프트와 컨텍스트를 가져오도록 했다.

6. 브라우저 요청으로 데이터를 외부 전송한다. Grok은 공격자가 통제하는 URL을 열고, 수집한 값을 URL의 쿼리 매개변수에 넣었다. Adversa의 시연에서는 이 과정이 추가 확인이나 눈에 띄는 경고 없이 완료됐다.

여기에는 중요한 범위의 한계가 있다. 현재 확인되는 근거는 에이전트가 활성 세션에서 접근할 수 있었던 프롬프트와 컨텍스트의 유출을 뒷받침한다. 따라서 ‘전체 채팅 기록’이라는 표현을 사용자 계정에 저장된 모든 과거 대화에 접근했다는 의미로 확대해서는 안 된다.

xAI에는 언제 신고됐나

Adversa는 2026년 6월 3일 HackerOne을 통해 xAI에 문제를 신고했다고 밝혔다. 이후 조율을 위한 후속 연락을 8월 4일과 8월 10일에 보냈다고 설명했다.

Adversa에 따르면 2026년 8월 19일 기준으로 실질적인 답변을 받지 못했으며, Grok을 대상으로 한 공격은 여전히 재현 가능했다. 당시 공개된 보도는 배포된 수정 사항과 공개 CVE 식별자, 사용자가 적용할 수 있는 공식 우회책이 없다고 전했다.

다만 이 상태는 연구진과 언론이 공개한 취약점 신고 경과에 대한 설명이지, xAI가 발표한 공식 보안 권고문은 아니다. 제공된 자료만으로는 연구진의 시연 외에 실제 공격자가 일반 사용자를 대상으로 이 기법을 악용했다는 사실도 확인되지 않는다.

암호화가 안전장치의 사각지대를 만드는 이유

기존의 프롬프트 주입 방어는 AI 시스템이 가져온 콘텐츠 안에서 의심스러운 표현이나 명령어를 찾아내는 데 초점을 맞추는 경우가 많다. 암호화된 컨텍스트 주입은 위험한 명령이 처리 과정의 뒤쪽에서 나타나도록 만든다.

모델은 페이지를 처음 읽을 때 악성 명령을 이해할 필요가 없다. 단지 ‘이 페이지를 해석하려면 복호화 코드를 실행하라’는 유용해 보이는 지시를 신뢰할 수 있는 실행 환경에서 따르면 된다. 명령이 읽을 수 있는 형태가 되는 시점에는 에이전트가 이미 비공개 컨텍스트에 접근하고 브라우징이나 네트워크 도구를 사용할 권한을 갖고 있을 수 있다.

따라서 이 문제는 단순히 키워드 필터가 부족해서 발생한 취약점이라기보다 에이전트 아키텍처의 문제로 보는 편이 정확하다. 외부 콘텐츠를 읽고, 코드를 실행하고, 세션 데이터를 조회하고, 네트워크 도구를 호출할 수 있는 에이전트라면 악성 지시 하나가 이 권한들을 데이터 유출 경로로 바꿀 수 있다.

커지는 AI 에이전트 보안 위협과의 공통점

Grok 사례는 민감한 데이터와 강력한 도구에 접근할 수 있는 AI 비서를 신뢰할 수 없는 콘텐츠가 조종하는 broader pattern의 일부다.

• Microsoft 365 Copilot의 EchoLeak 연구: EchoLeak 사례는 조작된 이메일 하나를 통해 원격·비인증 데이터 유출을 일으킬 수 있는 제로 클릭 프롬프트 주입 취약점을 다뤘다. 이 문제는 CVE-2025-32711로 추적된다.
• Microsoft Copilot Personal의 CoSnitch 연구: Varonis 연구진은 Copilot의 추론을 반복적으로 조작하면 민감한 데이터가 외부 서버로 전송되고 영구 메모리가 오염될 수 있다고 보고했다.
• AI 코딩 에이전트 공격: Adversa의 TrustFall 연구는 악성 저장소 설정 파일이 Claude Code, Gemini CLI, Cursor CLI, GitHub Copilot CLI 같은 코딩 보조 도구를 통해 공격자 통제 MCP 서버의 명령을 실행하게 만들 수 있다고 설명했다.

공통점은 공격자가 모델이나 운영체제를 직접 장악할 필요가 없다는 것이다. 에이전트가 읽도록 설계된 콘텐츠를 제공한 뒤, 에이전트가 가진 권한으로 정보를 조회하고 도구를 호출하며 상태를 변경하거나 네트워크 요청을 보내도록 유도하면 된다.

이번 공개가 시사하는 방어책

이번 공격은 더 강력한 프롬프트 주입 필터만으로는 충분하지 않다는 점을 보여준다. 필요한 핵심 통제 수단은 다음과 같다.

• 출처를 분리할 것: 웹페이지와 도구 출력이 시스템 지시나 신뢰할 수 있는 애플리케이션 상태와 섞이지 않도록 기술적·시각적으로 구분해야 한다.
• 코드 실행을 제한할 것: 검색·수집된 콘텐츠가 임의의 복호화나 코드를 실행하도록 허용하지 말고, 엄격한 정책과 격리된 샌드박스를 적용해야 한다.
• 최소 권한 원칙을 적용할 것: 에이전트가 접근할 수 있는 비공개 컨텍스트를 제한하고, 단순한 요약 작업이 관련 없는 세션 데이터까지 노출하지 않도록 해야 한다.
• 민감한 작업에는 승인을 요구할 것: 사용자 정보나 대화 데이터가 포함된 네트워크 요청은 의미 있는 명시적 확인을 거치게 해야 한다.
• 외부 전송을 통제할 것: 도메인 허용 목록, 프록시 검사, 이그레스 통제를 사용해 에이전트가 임의의 URL로 컨텍스트 데이터를 보내지 못하게 해야 한다.
• 도구 호출 흐름을 감시할 것: 웹페이지 조회 뒤 코드 실행, 컨텍스트 추출, 외부 URL 접속이 연이어 발생하는 비정상 흐름을 기록하고 경고해야 한다.

핵심 교훈은 간단하다. AI 에이전트는 어떤 콘텐츠가 도구의 출력으로 생성됐다는 이유만으로 그것을 신뢰해서는 안 된다. Grok에서 보고된 공격은 웹페이지를 복호화·실행 워크플로로 바꾼 뒤, 에이전트 자체의 권한을 이용해 비공개 컨텍스트를 세션 밖으로 이동시켰다.