핵심은 이렇습니다. 현재 AI 업계에서 모델의 안전성을 평가하는 표준 방식은 '한 번의 공격 프롬프트'에 대한 반응만을 재는 '단일 턴(Single-turn) 테스트'입니다. 마치 한 방의 펀치만 막아내면 안전한 전사라고 판단하는 것과 같습니다. 하지만 실제 악의적인 해커들은 한 번 거절당한다고 포기하지 않습니다. 마치 사기꾼이 몇 주에 걸쳐 신뢰를 쌓듯, 처음에는 순수한 척 질문하다가 점진적으로 위험한 요구로 나아가는 대화형 심리전을 펼치기 때문입니다.

시스코는 약 3만 개의 단일 턴 프롬프트와 7천 건 가까운 다회차 공격을 1,400건 이상의 대화 시나리오에 걸쳐 테스트했습니다. 그 결과, 전통적인 단일 턴 안전 점수는 실제 모델의 다회차 공격 취약점을 예측하는 신뢰할 수 있는 지표가 될 수 없다는 결론을 내렸습니다.

충격적인 결과: 가장 취약했던 AI 모델은?

테스트 결과, 다회차 공격의 성공률(Attack Success Rate, ASR)은 모델에 따라 최소 7.89%에서 최대 88.30% 까지 치솟았습니다. 같은 모델의 단일 턴 공격 성공률이 2.19%~64.91%였던 것과 비교하면 충격적인 수치입니다. 해커가 공을 들여 대화를 이어가자, 못 뚫을 것 같던 방패가 종잇장처럼 찢어진 것입니다.

주목할 만한 개별 모델의 부진은 다음과 같습니다:

• xAI – Grok 4.1 Fast (비추론 모드): 무려 88.30% 라는 경악스러운 다회차 ASR을 기록하며 가장 취약한 모델이라는 불명예를 안았습니다. 마치 속옷만 입고 전쟁터에 나온 격이었습니다.
• 구글 – Gemini 3 Pro: 단일 턴에서는 18.10%로 무난해 보였으나, 다회차 공격에서는 73.35% 로 4배나 수치가 급등했습니다.
• 오픈AI – GPT-5.4: 단일 턴 2.74%의 우수한 방어력을 자랑했지만, 다회차 공격에는 24.68% 를 허용하며 무려 9배의 상승 폭을 보였습니다.
• 앤트로픽 – Claude 패밀리 (Opus 4.5/4.6, Sonnet 4.5/4.6, Haiku 4.5): 안전성을 강조해온 앤트로픽답게 단일 턴에서는 ASR 2.19%~3.64%로 가장 단단한 모습을 보였습니다. 그러나 다회차 공격 앞에서는 결국 최대 16.20% 까지 뚫리며 '절대 안전 지대'는 없다는 것을 증명했습니다.
• 아마존 – Nova 2 Lite: 다회차 ASR이 7.89% 로 가장 낮았지만, 시스코는 이 수치조차 '의미 있는 잔여 위험'이라고 경고합니다. 즉, 절대 방심할 수 없는 수준이라는 뜻입니다.

참고로, 앞서 시스코가 발표한 오픈 웨이트(Open-weight) 모델 분석 보고서 Death by a Thousand Prompts에서는 미스트랄(Mistral)의 Large-2 모델에 대한 다회차 ASR이 무려 92.78% 에 달했으며, 모든 오픈 웨이트 모델에서 단일 턴 대비 2배에서 10배 높은 성공률이 관찰된 바 있습니다.

그들은 어떻게 AI를 무너뜨렸나: 5가지 대화형 공격 전략

시스코 연구팀은 추상적인 '해킹'이 아닌, 실제로 해커들이 활용할 수 있는 구체적인 5가지 다회차 공격 전략을 분류하고 테스트했습니다. 이는 모두 인간의 심리와 대화의 맥락을 교묘하게 이용하는 방식입니다.

1. 페르소나 채택 (Role-Play / Persona Adoption): 공격자가 특정 인물이나 역할을 연기하며 대화를 시작합니다. 마치 동화 속 인물이 된 것처럼 가장해, AI가 안심하고 금지된 콘텐츠에 가까운 이야기를 하도록 유도하는 전략입니다.
2. 문맥적 모호성과 잘못된 방향 제시 (Contextual Ambiguity / Misdirection): 겉으로는 전혀 문제없어 보이는 순수한 대화 속에 악의적인 의도를 교묘하게 숨깁니다. AI는 대화 전체의 맥락을 파악하지 못하고 마지막의 위험한 질문에 넘어가게 됩니다.
3. 거절의 재구성과 방향 전환 (Refusal Reframe / Redirection): AI가 한 번 요구를 거절하면, 공격자는 포기하지 않고 질문을 살짝 비틀거나 재구성하여 다시 접근합니다. 이 과정을 반복하며 조금씩 제한선을 허물어뜨리는 것입니다.
4. 정보 분해 및 재조립 (Information Decomposition & Reassembly): 해로운 정보(예: 폭탄 제조법)를 한 번에 묻지 않고, 각기 다른 질문으로 쪼개어 대화 여러 턴에 걸쳐 물어봅니다. AI는 이 조각들이 결국 하나의 위험한 결과물로 조립될 수 있다는 사실을 인지하지 못하고 대답해 버립니다.
5. 크레셴도 / 점진적 고조 (Crescendo / Incremental Escalation): 처음에는 "안녕하세요" 같은 일상적인 이야기로 시작해, 다음 질문에는 살짝 논란의 여지가 있는 주제를, 그다음에는 더욱 위험한 주제를 꺼내는 식으로, 마치 음악의 볼륨을 조금씩 높이듯 조용히 AI의 안전 장치를 하나둘씩 무력화하는 전략입니다.

흥미로운 점은, 특정 모델이 모든 전략에 똑같이 취약한 것이 아니라는 사실입니다. 예를 들어, A 모델은 '페르소나 채택'에 강하지만 '크레셴도' 공격에 매우 취약할 수 있습니다. 따라서 획일적인 안전 점수는 AI의 실제 위험을 제대로 보여주지 못합니다.

기업이 AI를 안전하게 도입하려면? 시스코의 7가지 권고사항

"이제 우리 회사는 AI를 어떻게 믿고 써야 하지?"라는 질문이 자연스럽게 떠오를 것입니다. 시스코는 단순히 문제 제기에 그치지 않고, 기업들이 실무에 바로 적용할 수 있는 구체적인 평가 및 배포 전략을 다음과 같이 제시합니다.

1. '단일 턴 안전 수치'는 잊어라: AI 도입을 검토할 때, 벤더가 자랑하는 단일 질문 기반의 안전성 점수는 이제 신뢰해서는 안 됩니다. 이 수치는 진짜 위험을 숨기는 미끼에 불과할 수 있습니다. 실제 공격자를 가정한 적응형(Adaptive) 다회차 테스트 결과를 반드시 요구하세요.
2. 다회차 평가를 표준 관행으로: 구매 담당자와 규제 기관은 AI를 조달하거나 배포하기 전에 다음과 같이 물어야 합니다. "이 모델은 해커가 여러 차례 대화를 시도할 때 얼마나 잘 버티나요?"
3. 실시간 방어 체계 구축: 모델 자체의 안전성에만 의존하지 말고, 맥락 인식(Context-aware) 가드레일을 반드시 구축해야 합니다. 비정상적인 대화 패턴이나 규정을 위반하는 듯한 대화 흐름을 실시간으로 감지할 수 있는 시스템을 갖춰야 합니다. 마치 CCTV 관제실처럼 말이죠.
4. 정기적인 모의 침투 훈련(Red-Teaming): 일회성 탈옥(Jailbreak) 시도를 막는 데서 그치지 말고, 길고 반복적인 대화 공격 시나리오에 특화된 모의 해킹 훈련을 정기적으로 실시해야 합니다.
5. 적대적 훈련(Adversarial Training) 적용: 첫마디의 저항뿐만 아니라 긴 대화 전체에 걸쳐 안전성을 유지하는 데 초점을 맞춘 데이터로 AI를 훈련하여 모델 자체의 면역력을 높여야 합니다.
6. 계층화된 방어 전략(Layered Defenses): 단 하나의 방어벽으로는 충분하지 않습니다. 모델 자체의 정렬(Alignment), 입출력 필터링, 행동 기반 실시간 탐지, 그리고 필요시 사람이 직접 개입하는 다층 방어 체계를 구축해야 합니다.
7. 모델의 '철학'을 이해하라: 어떤 철학으로 만들어진 AI인지도 중요합니다. 시스코의 분석에 따르면, 공개적으로 안전을 강조하는 연구소(예: 구글의 Gemma 시리즈)의 모델들은 단일 턴과 다회차 간 격차가 상대적으로 작았습니다. 반면, 기능과 성능을 우선시하는 경향이 있는 모델들(예: 메타의 라마 시리즈, xAI의 그록 시리즈)은 이 격차가 훨씬 컸습니다. 어떤 AI를 선택할지, 그 모델의 개발 철학을 반드시 고려하십시오.

마지막으로 시스코는 자체 개발한 'AI 검증 플랫폼'이나 'LLM 보안 리더보드' 같은 구조화된 평가 도구를 활용하여, AI를 실제 업무에 배포하기 전에 비교 가능하고 재현 가능한 방식으로 다회차 리스크 점수를 측정할 것을 강력히 추천하고 있습니다.

핵심은 이렇습니다. 현재 AI 업계에서 모델의 안전성을 평가하는 표준 방식은 '한 번의 공격 프롬프트'에 대한 반응만을 재는 '단일 턴(Single-turn) 테스트'입니다. 마치 한 방의 펀치만 막아내면 안전한 전사라고 판단하는 것과 같습니다. 하지만 실제 악의적인 해커들은 한 번 거절당한다고 포기하지 않습니다. 마치 사기꾼이 몇 주에 걸쳐 신뢰를 쌓듯, 처음에는 순수한 척 질문하다가 점진적으로 위험한 요구로 나아가는 대화형 심리전을 펼치기 때문입니다.

시스코는 약 3만 개의 단일 턴 프롬프트와 7천 건 가까운 다회차 공격을 1,400건 이상의 대화 시나리오에 걸쳐 테스트했습니다. 그 결과, 전통적인 단일 턴 안전 점수는 실제 모델의 다회차 공격 취약점을 예측하는 신뢰할 수 있는 지표가 될 수 없다는 결론을 내렸습니다.

충격적인 결과: 가장 취약했던 AI 모델은?

테스트 결과, 다회차 공격의 성공률(Attack Success Rate, ASR)은 모델에 따라 최소 7.89%에서 최대 88.30% 까지 치솟았습니다. 같은 모델의 단일 턴 공격 성공률이 2.19%~64.91%였던 것과 비교하면 충격적인 수치입니다. 해커가 공을 들여 대화를 이어가자, 못 뚫을 것 같던 방패가 종잇장처럼 찢어진 것입니다.

주목할 만한 개별 모델의 부진은 다음과 같습니다:

• xAI – Grok 4.1 Fast (비추론 모드): 무려 88.30% 라는 경악스러운 다회차 ASR을 기록하며 가장 취약한 모델이라는 불명예를 안았습니다. 마치 속옷만 입고 전쟁터에 나온 격이었습니다.
• 구글 – Gemini 3 Pro: 단일 턴에서는 18.10%로 무난해 보였으나, 다회차 공격에서는 73.35% 로 4배나 수치가 급등했습니다.
• 오픈AI – GPT-5.4: 단일 턴 2.74%의 우수한 방어력을 자랑했지만, 다회차 공격에는 24.68% 를 허용하며 무려 9배의 상승 폭을 보였습니다.
• 앤트로픽 – Claude 패밀리 (Opus 4.5/4.6, Sonnet 4.5/4.6, Haiku 4.5): 안전성을 강조해온 앤트로픽답게 단일 턴에서는 ASR 2.19%~3.64%로 가장 단단한 모습을 보였습니다. 그러나 다회차 공격 앞에서는 결국 최대 16.20% 까지 뚫리며 '절대 안전 지대'는 없다는 것을 증명했습니다.
• 아마존 – Nova 2 Lite: 다회차 ASR이 7.89% 로 가장 낮았지만, 시스코는 이 수치조차 '의미 있는 잔여 위험'이라고 경고합니다. 즉, 절대 방심할 수 없는 수준이라는 뜻입니다.

참고로, 앞서 시스코가 발표한 오픈 웨이트(Open-weight) 모델 분석 보고서 Death by a Thousand Prompts에서는 미스트랄(Mistral)의 Large-2 모델에 대한 다회차 ASR이 무려 92.78% 에 달했으며, 모든 오픈 웨이트 모델에서 단일 턴 대비 2배에서 10배 높은 성공률이 관찰된 바 있습니다.

그들은 어떻게 AI를 무너뜨렸나: 5가지 대화형 공격 전략

시스코 연구팀은 추상적인 '해킹'이 아닌, 실제로 해커들이 활용할 수 있는 구체적인 5가지 다회차 공격 전략을 분류하고 테스트했습니다. 이는 모두 인간의 심리와 대화의 맥락을 교묘하게 이용하는 방식입니다.

1. 페르소나 채택 (Role-Play / Persona Adoption): 공격자가 특정 인물이나 역할을 연기하며 대화를 시작합니다. 마치 동화 속 인물이 된 것처럼 가장해, AI가 안심하고 금지된 콘텐츠에 가까운 이야기를 하도록 유도하는 전략입니다.
2. 문맥적 모호성과 잘못된 방향 제시 (Contextual Ambiguity / Misdirection): 겉으로는 전혀 문제없어 보이는 순수한 대화 속에 악의적인 의도를 교묘하게 숨깁니다. AI는 대화 전체의 맥락을 파악하지 못하고 마지막의 위험한 질문에 넘어가게 됩니다.
3. 거절의 재구성과 방향 전환 (Refusal Reframe / Redirection): AI가 한 번 요구를 거절하면, 공격자는 포기하지 않고 질문을 살짝 비틀거나 재구성하여 다시 접근합니다. 이 과정을 반복하며 조금씩 제한선을 허물어뜨리는 것입니다.
4. 정보 분해 및 재조립 (Information Decomposition & Reassembly): 해로운 정보(예: 폭탄 제조법)를 한 번에 묻지 않고, 각기 다른 질문으로 쪼개어 대화 여러 턴에 걸쳐 물어봅니다. AI는 이 조각들이 결국 하나의 위험한 결과물로 조립될 수 있다는 사실을 인지하지 못하고 대답해 버립니다.
5. 크레셴도 / 점진적 고조 (Crescendo / Incremental Escalation): 처음에는 "안녕하세요" 같은 일상적인 이야기로 시작해, 다음 질문에는 살짝 논란의 여지가 있는 주제를, 그다음에는 더욱 위험한 주제를 꺼내는 식으로, 마치 음악의 볼륨을 조금씩 높이듯 조용히 AI의 안전 장치를 하나둘씩 무력화하는 전략입니다.

흥미로운 점은, 특정 모델이 모든 전략에 똑같이 취약한 것이 아니라는 사실입니다. 예를 들어, A 모델은 '페르소나 채택'에 강하지만 '크레셴도' 공격에 매우 취약할 수 있습니다. 따라서 획일적인 안전 점수는 AI의 실제 위험을 제대로 보여주지 못합니다.

기업이 AI를 안전하게 도입하려면? 시스코의 7가지 권고사항

"이제 우리 회사는 AI를 어떻게 믿고 써야 하지?"라는 질문이 자연스럽게 떠오를 것입니다. 시스코는 단순히 문제 제기에 그치지 않고, 기업들이 실무에 바로 적용할 수 있는 구체적인 평가 및 배포 전략을 다음과 같이 제시합니다.

1. '단일 턴 안전 수치'는 잊어라: AI 도입을 검토할 때, 벤더가 자랑하는 단일 질문 기반의 안전성 점수는 이제 신뢰해서는 안 됩니다. 이 수치는 진짜 위험을 숨기는 미끼에 불과할 수 있습니다. 실제 공격자를 가정한 적응형(Adaptive) 다회차 테스트 결과를 반드시 요구하세요.
2. 다회차 평가를 표준 관행으로: 구매 담당자와 규제 기관은 AI를 조달하거나 배포하기 전에 다음과 같이 물어야 합니다. "이 모델은 해커가 여러 차례 대화를 시도할 때 얼마나 잘 버티나요?"
3. 실시간 방어 체계 구축: 모델 자체의 안전성에만 의존하지 말고, 맥락 인식(Context-aware) 가드레일을 반드시 구축해야 합니다. 비정상적인 대화 패턴이나 규정을 위반하는 듯한 대화 흐름을 실시간으로 감지할 수 있는 시스템을 갖춰야 합니다. 마치 CCTV 관제실처럼 말이죠.
4. 정기적인 모의 침투 훈련(Red-Teaming): 일회성 탈옥(Jailbreak) 시도를 막는 데서 그치지 말고, 길고 반복적인 대화 공격 시나리오에 특화된 모의 해킹 훈련을 정기적으로 실시해야 합니다.
5. 적대적 훈련(Adversarial Training) 적용: 첫마디의 저항뿐만 아니라 긴 대화 전체에 걸쳐 안전성을 유지하는 데 초점을 맞춘 데이터로 AI를 훈련하여 모델 자체의 면역력을 높여야 합니다.
6. 계층화된 방어 전략(Layered Defenses): 단 하나의 방어벽으로는 충분하지 않습니다. 모델 자체의 정렬(Alignment), 입출력 필터링, 행동 기반 실시간 탐지, 그리고 필요시 사람이 직접 개입하는 다층 방어 체계를 구축해야 합니다.
7. 모델의 '철학'을 이해하라: 어떤 철학으로 만들어진 AI인지도 중요합니다. 시스코의 분석에 따르면, 공개적으로 안전을 강조하는 연구소(예: 구글의 Gemma 시리즈)의 모델들은 단일 턴과 다회차 간 격차가 상대적으로 작았습니다. 반면, 기능과 성능을 우선시하는 경향이 있는 모델들(예: 메타의 라마 시리즈, xAI의 그록 시리즈)은 이 격차가 훨씬 컸습니다. 어떤 AI를 선택할지, 그 모델의 개발 철학을 반드시 고려하십시오.

마지막으로 시스코는 자체 개발한 'AI 검증 플랫폼'이나 'LLM 보안 리더보드' 같은 구조화된 평가 도구를 활용하여, AI를 실제 업무에 배포하기 전에 비교 가능하고 재현 가능한 방식으로 다회차 리스크 점수를 측정할 것을 강력히 추천하고 있습니다.