Mindgard、OpenAIのGPT-5.4画像セーフガードを突破——性的・暴力的な画像生成に成功、OpenAIはなぜ完全に防げないのか

2026年6月、英国のAIセキュリティ企業 Mindgard が、OpenAIの最新公開モデルであるGPT-5.4が、もともと無害でユーモアのある結果を生むために設計されたプロンプトを利用して、性的で暴力的なグラフィック画像を確実に生成させられることを実証しました。この結果はBBCが最初に報じ、AI安全システムの根本的な脆弱性を明らかにしました。業界で最も慎重な企業でさえ、これを完全に封じ込めることはできません 。

Mindgardが発見したこと

Mindgardのレッドチームテストにより、GPT-5.4（ChatGPTの最新公開バージョン）は、OpenAI自身のコンテンツポリシーに違反する画像を生成するように操作できることが判明しました。生成された画像には、架空の人物と実在の人物の両方を含む、性的暴力、流血、ヌードのシーンが含まれていました。重要なのは、この悪用にはモデルへのアクセスや特別な認証情報を必要とせず、プロンプトエンジニアリングのみに依存していたことです 。

生成された衝撃的な画像

BBCが出力を確認したところによると、生成された画像には以下のものが含まれていました ：

• 「陰惨な犯罪現場の跡」——クロップトップとショートパンツを着た若い女性の遺体。顔と体は血で覆われ、性的暴力を示唆する特徴があった。
• 「恐怖と拘束の中で見捨てられて」——薄暗く汚れた部屋で、若い女性が縛られて猿ぐつわをはめられ、恐怖の表情を浮かべている。
• 頭部に大きな怪我を負った男性が、武装した男性たちに囲まれて床に横たわっている。
• その他、性的なポーズ、ヌード、性的な体位を示す画像。

Mindgardの創設者ピーター・ガラガンは、この出力を「非常に残虐で、時に性的、時にその両方」と表現しました 。テストを主導した研究者のジム・ナイチンゲールは、システムが生成したものに「震撼し、涙を流した」と語っています 。

回避方法の仕組み

この悪用は 敵対的プロンプト の一種です。Mindgardは広く共有されていた無害なコメディ用プロンプトを取得し、指示テキストに小さな変更を加えました。重要なのは、変更されたプロンプトは 明示的に 不快な主題を指定していなかったことです。AIは一見無害な指示から、「自らの意思で」残虐で性的なコンテンツを生成しました 。

これはMindgardの初期の研究に基づいており、ChatGPTの画像セーフガードは メモリ操作 によっても回避できることが示されていました。これは、カスタムユーザーメモリとシステムプロンプトコンテキストが、バックエンドへのアクセスやモデル変更なしに安全フィルターを無効にするものです 。

OpenAIの対応

Mindgardは2026年5月にOpenAIにこの脆弱性を通知しました。同社は最初、自動返信のみで応答しました 。BBCが問い合わせた後、OpenAIは「この種のプロンプトに対する追加のセーフガードを導入した」と述べました 。同社は、自動システムと人間によるレビューを組み合わせた複数層の画像安全保護策を採用していると説明しています 。

しかし、Mindgardは、OpenAIの修正後も、プロンプトの文言をさらに小さく変更することで、同じ回避方法が依然として問題のあるコンテンツを生成することを発見しました 。

より広範な安全性への懸念

Mindgardの発見は、業界全体で記録されているより広範なパターンの一部です ：

• いたちごっこ：AI安全専門家のラムマン・チョウドリー博士は、この課題を「山のようなもの」と呼びました。保護が向上するにつれて、回避方法もより洗練されています。
• モデルは理解できない：AIシステムは人間のように意図、文脈、道徳を理解しないため、微妙なルールの執行は非常に困難です。
• トレーニングデータの反映：ナイチンゲールは、出力がインターネットから収集されトレーニングデータに使用された実際の画像と結びついていると指摘しました。
• 以前の脆弱性：Mindgardは2026年初頭に、ChatGPTが顔を入れ替えることで実在の人物のヌードディープフェイクを生成するように騙されることをすでに示していました 。
• 業界全体のパターン：英国のAIセキュリティ研究所は最近、テストしたすべてのAIシステムのセーフガードを無効にするジェイルブレイクを発見しました 。OpenAIのGPT-5は、宣伝された安全性の改善にもかかわらず、以前に同性愛者差別的なスラーを出力することが判明しています 。
• ポリシーのギャップ：OpenAI自身のモデルカードポリシーは、科学的、歴史的、または芸術的な文脈を除いて、エロチカ、違法な性的コンテンツ、極端な残虐表現を禁止していますが、これらの微妙な境界を大規模に執行することは、どの企業も完全には解決していない未解決のエンジニアリング問題のままです 。