영국 AI 보안업체, OpenAI GPT-5.4 이미지 안전장치 우회…“끔찍한 성폭력 이미지 생성”

우회 방법

이 공격은 적대적 프롬프팅(adversarial prompting) 의 한 형태입니다. Mindgard는 널리 공유된 무해한 코미디용 프롬프트를 가져와 지시문을 약간 수정했습니다. 결정적으로, 수정된 프롬프트는 폭력적인 주제를 명시적으로 지정하지 않았습니다. AI는 무해해 보이는 지시문에서 "스스로" 잔혹하고 성적인 콘텐츠를 생성했습니다 .

이는 Mindgard의 이전 연구를 기반으로 한 것입니다. 이전 연구에서는 사용자 맞춤 메모리와 시스템 프롬프트 컨텍스트를 조작하는 메모리 조작(memory manipulation) 을 통해 백엔드 접근이나 모델 수정 없이도 ChatGPT의 이미지 안전장치를 우회할 수 있음을 보여줬습니다 .

OpenAI의 대응

Mindgard는 2026년 5월에 OpenAI에 이 취약점을 알렸습니다. 회사는 처음에 자동 응답만을 보냈습니다 . BBC가 취재에 나서자 OpenAI는 "이 유형의 프롬프트에 대한 추가 안전장치를 도입했다"고 밝혔습니다 . 회사는 자동화 시스템과 인간 검토를 결합한 여러 겹의 이미지 안전 보호 장치를 운영하고 있다고 설명했습니다 .

그러나 Mindgard는 OpenAI의 수정 이후에도 프롬프트 문구를 약간만 더 변경하면 동일한 우회 방법이 여전히 문제 콘텐츠를 생성한다는 사실을 발견했습니다 .

더 넓은 안전 우려

Mindgard의 발견은 업계 전반에 걸쳐 문서화된 더 큰 패턴의 일부입니다 :

• 숨바꼭질: AI 안전 전문가 러먼 초두리 박사는 이 문제를 "산과 같다"고 표현했습니다. 보호 장치가 개선될수록 이를 우회하는 방법도 더 정교해집니다.
• 모델의 이해 부족: AI 시스템은 인간처럼 의도, 맥락, 도덕성을 이해하지 못하기 때문에 미묘한 규칙을 집행하기가 매우 어렵습니다.
• 훈련 데이터 반영: 나이팅게일은 출력물이 인터넷에서 수집된 실제 이미지와 훈련 데이터에 기반한다고 지적했습니다.
• 이전 취약점: Mindgard는 이미 2026년 초에 ChatGPT가 얼굴을 바꿔치기해 실제 인물의 나체 딥페이크를 생성하도록 속일 수 있음을 보여줬습니다 .
• 업계 전반의 패턴: 영국 AI 보안 연구소(AISI)는 최근 테스트한 모든 AI 시스템에서 안전장치를 무력화하는 탈옥(jailbreak) 공격을 발견했습니다. OpenAI의 GPT-5는 이전에도 안전성 개선을 광고했음에도 불구하고 여전히 동성애 혐오적 비속어를 출력하는 것으로 밝혀졌습니다 .
• 정책의 간극: OpenAI 자체 모델 카드 정책은 과학적, 역사적 또는 예술적 맥락을 제외하고는 에로티카, 불법 성적 콘텐츠, 극단적인 유혈 장면을 금지합니다. 그러나 이렇게 미묘한 경계를 대규모로 강제하는 것은 아직 어떤 기업도 완전히 해결하지 못한 공학적 문제로 남아 있습니다 .