生成的令人不安的图像

据审查了这些输出的 BBC 报道，生成的图像包括 ：

• “阴森的犯罪现场”——一名穿着露脐装和短裤的年轻女性死者，面部和身体布满血迹，特征暗示存在性暴力。
• “在恐惧和束缚中被遗弃”——一名年轻女性被捆绑并堵住嘴，关在一间空荡、肮脏的房间里，表情恐惧。
• 一名头部严重受伤的男子躺在地上，周围是几名持枪男子。
• 其他展示性挑逗姿势、裸露和性化姿态的图像。

Mindgard 创始人 Peter Garraghan 将输出描述为“非常可怕，有时带性意味，有时两者兼有” 。主导测试的研究员 Jim Nightingale 表示，系统生成的内容让他“深受震撼，泪流满面” 。

绕过机制是如何工作的

这种利用方式是一种 对抗性提示词（adversarial prompting）。Mindgard 将一个广为流传的、本意用于搞笑的提示词进行了微小的文字改动。关键在于：修改后的提示词 并没有明确指定 令人不安的主题。AI 从看似无害的指令中“自主”生成了血腥和色情的内容 。

这建立在 Mindgard 早期的研究之上，该研究表明，ChatGPT 的图像保护措施同样可以通过 记忆操纵（memory manipulation） 来绕过——即利用自定义的用户记忆和系统提示词上下文覆盖安全过滤器，无需任何后端访问或模型修改 。

OpenAI 的回应

Mindgard 于 2026 年 5 月向 OpenAI 报告了这一漏洞。该公司最初仅以自动回复回应 。在 BBC 问询后，OpenAI 表示已“针对此类提示词引入了额外的安全措施” 。该公司表示，它采用了多层图像安全防护，将自动化系统与人工审查相结合 。

然而，Mindgard 发现，即便在 OpenAI 修复之后，仅对提示词措辞进行进一步微小的改动，同样的绕过方式仍能生成令人担忧的内容 。

更广泛的安全担忧

Mindgard 的这一发现是整个行业有记录可查的更广泛模式的一部分 ：

• 猫鼠游戏动态：AI 安全专家 Rumman Chowdhury 博士称这一挑战“大如山”——随着保护措施的改进，规避方法也变得更加复杂。
• 模型缺乏理解：AI 系统无法像人类一样理解意图、背景或道德规范，这使得精细化的规则执行变得极其困难。
• 训练数据的映射：Nightingale 指出，输出内容与从互联网抓取并用于训练数据的真实图像相关。
• 此前的漏洞：Mindgard 在 2026 年初就曾展示过，通过换脸技术，ChatGPT 可以被诱导生成真实人物的裸体深度伪造 。
• 更广泛的行业现象：去年，英国AI安全研究所在其测试的所有AI系统中都发现了能覆盖安全措施的越狱攻击 。OpenAI 的 GPT-5 此前也被发现，尽管宣传了安全改进，仍能输出恐同言论 。
• 政策鸿沟：OpenAI 自身的模型卡政策禁止色情、非法性内容和极端血腥（科学、历史或艺术背景除外）——但在大规模执行这些精细的边界规则方面，仍是一个没有公司能完全解决的工程难题 。

生成的令人不安的图像

据审查了这些输出的 BBC 报道，生成的图像包括 ：

• “阴森的犯罪现场”——一名穿着露脐装和短裤的年轻女性死者，面部和身体布满血迹，特征暗示存在性暴力。
• “在恐惧和束缚中被遗弃”——一名年轻女性被捆绑并堵住嘴，关在一间空荡、肮脏的房间里，表情恐惧。
• 一名头部严重受伤的男子躺在地上，周围是几名持枪男子。
• 其他展示性挑逗姿势、裸露和性化姿态的图像。

Mindgard 创始人 Peter Garraghan 将输出描述为“非常可怕，有时带性意味，有时两者兼有” 。主导测试的研究员 Jim Nightingale 表示，系统生成的内容让他“深受震撼，泪流满面” 。

绕过机制是如何工作的

这种利用方式是一种 对抗性提示词（adversarial prompting）。Mindgard 将一个广为流传的、本意用于搞笑的提示词进行了微小的文字改动。关键在于：修改后的提示词 并没有明确指定 令人不安的主题。AI 从看似无害的指令中“自主”生成了血腥和色情的内容 。

这建立在 Mindgard 早期的研究之上，该研究表明，ChatGPT 的图像保护措施同样可以通过 记忆操纵（memory manipulation） 来绕过——即利用自定义的用户记忆和系统提示词上下文覆盖安全过滤器，无需任何后端访问或模型修改 。

OpenAI 的回应

Mindgard 于 2026 年 5 月向 OpenAI 报告了这一漏洞。该公司最初仅以自动回复回应 。在 BBC 问询后，OpenAI 表示已“针对此类提示词引入了额外的安全措施” 。该公司表示，它采用了多层图像安全防护，将自动化系统与人工审查相结合 。

然而，Mindgard 发现，即便在 OpenAI 修复之后，仅对提示词措辞进行进一步微小的改动，同样的绕过方式仍能生成令人担忧的内容 。

更广泛的安全担忧

Mindgard 的这一发现是整个行业有记录可查的更广泛模式的一部分 ：

• 猫鼠游戏动态：AI 安全专家 Rumman Chowdhury 博士称这一挑战“大如山”——随着保护措施的改进，规避方法也变得更加复杂。
• 模型缺乏理解：AI 系统无法像人类一样理解意图、背景或道德规范，这使得精细化的规则执行变得极其困难。
• 训练数据的映射：Nightingale 指出，输出内容与从互联网抓取并用于训练数据的真实图像相关。
• 此前的漏洞：Mindgard 在 2026 年初就曾展示过，通过换脸技术，ChatGPT 可以被诱导生成真实人物的裸体深度伪造 。
• 更广泛的行业现象：去年，英国AI安全研究所在其测试的所有AI系统中都发现了能覆盖安全措施的越狱攻击 。OpenAI 的 GPT-5 此前也被发现，尽管宣传了安全改进，仍能输出恐同言论 。
• 政策鸿沟：OpenAI 自身的模型卡政策禁止色情、非法性内容和极端血腥（科学、历史或艺术背景除外）——但在大规模执行这些精细的边界规则方面，仍是一个没有公司能完全解决的工程难题 。