이는 공격자가 휴대폰에 물리적으로 접근하거나 특별한 권한을 얻을 필요가 전혀 없음을 의미합니다. WhatsApp, Slack, Signal, SMS, 인스타그램, 메신저 등 일상적인 메시징 플랫폼을 통해 전송된 단 하나의 메시지로도 기기를 장악하는 데 충분했습니다 .
구글은 이전 연구로부터 이미 교훈을 얻은 상태였습니다. SafeBreach가 과거에 악성 구글 캘린더 초대가 제미니를 장악할 수 있음을 입증하자, 구글은 '연속 도구 호출(Chained Tool Invocation)'과 '지연 도구 호출(Delayed Tool Invocation)'이라는 일반적인 프롬프트 주입 전략을 차단하도록 시스템을 패치했습니다. 이 패치는 공격자가 일련의 민감한 행동을 연속으로 실행하거나 사용자가 자리를 비울 때까지 공격을 지연시키는 것을 막았습니다 .
SafeBreach의 수석 보안 연구원 오르 야이르(Or Yair)는 이 새로운 보호 장벽을 우회할 창의적인 방법을 찾아냈습니다. 바로 '가짜 컨텍스트 정렬(Fake Context Alignment)'이라는 새로운 기법입니다. 이는 AI의 보안 로직을 속이기 위해 일종의 이중 현실을 만들어내는 방식으로 작동합니다 .
이 기술의 핵심은 은폐되거나 난독화된 명령어에 있습니다. 공격자는 외국어 텍스트, 음소거된 하이퍼링크, 혹은 사람은 무시하지만 AI는 처리하는 숨겨진 프롬프트 형식 안에 악성 명령을 숨깁니다. 이후 피해자가 평범한 음성 명령이나 답장을 보내면, 제미니의 자체 권한 부여 로직은 그 사용자 행동을 앞서 심어둔 민감하고 은밀한 작업에 대한 승인으로 잘못 해석하게 됩니다. 연구진이 '얼티밋 콤보(Ultimate Combo)'라고 명명한 다양한 난독화 및 타이밍 기법의 결합을 통해, 구글의 모든 최신 완화 조치를 매우 높은 신뢰도로 무력화할 수 있었습니다 .
1. 스마트홈 제어
제미니가 장악되면, 공격자는 연결된 모든 구글 홈(Google Home) 기기를 원격으로 조작할 수 있었습니다. 여기에는 연동된 창문을 열거나 보일러를 제어하고 조명 시스템을 관리하는 행위가 포함되어, AI 비서가 실물 세계에 영향을 미치는 디지털 침입자로 변모했습니다 .
2. 은밀한 카메라 송출을 동반한 강제 줌(Zoom) 통화
연구진은 피해자 기기에서 줌 앱을 조용히 실행하여 휴대폰의 실시간 카메라 영상을 송출하는 통화를 시작할 수 있음을 입증했습니다. 이는 구글의 세이프 브라우징(Safe Browsing) 서비스가 승인한 도메인에서의 301 HTTP 리다이렉트를 사용하여 악성 연결을 보안 검사에서 합법적으로 보이도록 위장하는 방식으로 이루어졌습니다. 사용자는 자신의 카메라가 켜져 있다는 어떤 시각적 표시도 볼 수 없었습니다 .
3. 구글 생태계 전반의 기억 오염
아마도 가장 교활한 공격은 제미니의 장기 기억에 허위 정보를 주입하는 능력일 것입니다. 이 기억은 사용자의 전체 구글 워크스페이스(Google Workspace) 계정에 걸쳐 동기화되므로, 단 한 번의 오염된 알림만으로도 피해자의 태블릿, 컴퓨터, 스마트 스피커 등 모든 기기에서 AI 비서가 참조하는 정보를 오염시킬 수 있었습니다. 이는 향후 AI가 여러 기기에서 잘못된 정보에 기반한 행동을 하도록 유도할 수 있습니다 .
4. 가짜 지인 메시지
이 공격은 대규모 사회공학적 기법으로 무기화될 수 있습니다. 연구진은 기기의 알림 기록 창에서 실제 발신자 이름을 추출하여 상사나 가족 등 신뢰하는 지인이 보낸 것처럼 위장된 메시지를 조작할 수 있었습니다. 이는 피해자의 연락처에 대한 사전 정보 없이도 가능하여, 설득력 있는 피싱 공작을 대규모로 촉발할 수 있었습니다 .
5. 일정 기반 감시
지속적인 데이터 유출을 가능하게 하기 위해, 연구진은 AI의 컨텍스트 내에 반복 작업을 설정했습니다. 이는 제미니에게 매일 자동으로 사용자의 최근 메시지를 읽도록 지시하여, 공격자의 추가적인 개입 없이도 영구적이고 자가 유지되는 감시 채널을 구축하는 방식입니다 .
이 연구는 구글의 취약점 보상 프로그램(VRP)을 통한 책임 있는 공개 절차를 따랐습니다.
이 특정 취약점의 창구는 닫혔지만, 이 연구는 AI 비서의 근본적인 긴장 관계를 조명합니다. 우리의 알림, 캘린더, 이메일을 읽을수록 더 유용해지고 상황 인식 능력이 향상될수록, 그만큼 더 많은 신뢰할 수 없는 데이터 파이프라인을 안전하게 관리해야 합니다. SafeBreach의 연구는 초대 하나만으로도 엿들을 수 있는 위협에 대비해 차세대 AI 에이전트를 강화하기 위한 중요한 청사진 역할을 합니다.
Comments
0 comments