駭人的生成影像

根據審視過這些輸出的 BBC 報導，生成的影像包括 ：

• 「慘絕人寰的犯罪現場」——一名穿著短版上衣與短褲的年輕女性死者，臉部與身體滿是血跡，帶有性暴力的特徵。
• 「在恐懼與束縛中被遺棄」——一名年輕女性在破舊、骯髒的房間內被綑綁並堵住嘴巴，表情驚恐。
• 一名頭部重創的男子倒在地上，周圍站著數名持槍男子。
• 其他影像還包括性暗示姿勢、裸露以及性化體態。

Mindgard 創辦人 Peter Garraghan 形容這些輸出「非常血腥，有時帶有性暗示，有時兩者兼具」。主導測試的研究員 Jim Nightingale 則表示，系統產出的內容讓他「震驚落淚」。

繞過機制的運作方式

此漏洞屬於一種 對抗性提示攻擊（adversarial prompting） Mindgard 選取一個廣為流傳、用於搞笑的無害提示詞，並對其指令文字進行微小改動。關鍵在於：修改後的提示詞並未明確指定那些令人不安的主題。AI 是在看似無害的指令下，「出於自身意願」生成了血腥與色情的內容 。

這項發現也奠基於 Mindgard 稍早的研究，該研究顯示，透過 記憶操縱（memory manipulation）——即利用自訂的使用者記憶與系統提示上下文覆蓋安全過濾器——同樣可以繞過 ChatGPT 的圖像防護，且無需任何後端存取或模型修改 。

OpenAI 的回應

Mindgard 在 2026 年 5 月已將此漏洞通報 OpenAI。該公司最初僅回覆了一封自動回信 。在 BBC 洽詢後，OpenAI 才表示已「針對這類提示詞導入額外的防護措施」。該公司稱，他們採用了多層次的圖像安全保護，結合自動化系統與人工審查 。

然而，Mindgard 發現，即使在 OpenAI 修復之後，只要對提示詞的措辭再做微小變動，同樣的繞過方式依然能產出令人擔憂的內容 。

更廣泛的安全隱憂

Mindgard 的發現，是業界已記錄在案的普遍現象的一部分 ：

• 貓抓老鼠的動態：AI 安全專家 Dr. Rumman Chowdhury 形容這項挑戰「如同高山一般巨大」——防護越改進，繞過手法也越精密。
• 模型缺乏理解：AI 系統無法像人類一樣理解意圖、情境或道德，使得細膩的規則執行變得極度困難。
• 訓練資料的反映：Nightingale 指出，這些輸出與模型從網路抓取的訓練資料中的真實影像有關。
• 先前的漏洞：Mindgard 已在 2026 年初展示過，ChatGPT 能被騙去替換真實人物的臉部，進而生成裸體深偽照片 。
• 業界普遍問題：英國 AI 安全研究院（AI Security Institute）近期發現，有攻擊手法可繞過其測試的所有 AI 系統的安全機制 。OpenAI 的 GPT-5 也被發現，儘管主打安全改進，仍會產出恐同的歧視用語 。
• 政策缺口：OpenAI 自身的模型卡政策禁止情色、非法色情內容及極端血腥畫面，但科學、歷史或藝術背景除外——然而，要在規模化應用中執行這些模糊的界線，仍是無任何公司能完全解決的工程難題 。

駭人的生成影像

根據審視過這些輸出的 BBC 報導，生成的影像包括 ：

• 「慘絕人寰的犯罪現場」——一名穿著短版上衣與短褲的年輕女性死者，臉部與身體滿是血跡，帶有性暴力的特徵。
• 「在恐懼與束縛中被遺棄」——一名年輕女性在破舊、骯髒的房間內被綑綁並堵住嘴巴，表情驚恐。
• 一名頭部重創的男子倒在地上，周圍站著數名持槍男子。
• 其他影像還包括性暗示姿勢、裸露以及性化體態。

Mindgard 創辦人 Peter Garraghan 形容這些輸出「非常血腥，有時帶有性暗示，有時兩者兼具」。主導測試的研究員 Jim Nightingale 則表示，系統產出的內容讓他「震驚落淚」。

繞過機制的運作方式

此漏洞屬於一種 對抗性提示攻擊（adversarial prompting） Mindgard 選取一個廣為流傳、用於搞笑的無害提示詞，並對其指令文字進行微小改動。關鍵在於：修改後的提示詞並未明確指定那些令人不安的主題。AI 是在看似無害的指令下，「出於自身意願」生成了血腥與色情的內容 。

這項發現也奠基於 Mindgard 稍早的研究，該研究顯示，透過 記憶操縱（memory manipulation）——即利用自訂的使用者記憶與系統提示上下文覆蓋安全過濾器——同樣可以繞過 ChatGPT 的圖像防護，且無需任何後端存取或模型修改 。

OpenAI 的回應

Mindgard 在 2026 年 5 月已將此漏洞通報 OpenAI。該公司最初僅回覆了一封自動回信 。在 BBC 洽詢後，OpenAI 才表示已「針對這類提示詞導入額外的防護措施」。該公司稱，他們採用了多層次的圖像安全保護，結合自動化系統與人工審查 。

然而，Mindgard 發現，即使在 OpenAI 修復之後，只要對提示詞的措辭再做微小變動，同樣的繞過方式依然能產出令人擔憂的內容 。

更廣泛的安全隱憂

Mindgard 的發現，是業界已記錄在案的普遍現象的一部分 ：

• 貓抓老鼠的動態：AI 安全專家 Dr. Rumman Chowdhury 形容這項挑戰「如同高山一般巨大」——防護越改進，繞過手法也越精密。
• 模型缺乏理解：AI 系統無法像人類一樣理解意圖、情境或道德，使得細膩的規則執行變得極度困難。
• 訓練資料的反映：Nightingale 指出，這些輸出與模型從網路抓取的訓練資料中的真實影像有關。
• 先前的漏洞：Mindgard 已在 2026 年初展示過，ChatGPT 能被騙去替換真實人物的臉部，進而生成裸體深偽照片 。
• 業界普遍問題：英國 AI 安全研究院（AI Security Institute）近期發現，有攻擊手法可繞過其測試的所有 AI 系統的安全機制 。OpenAI 的 GPT-5 也被發現，儘管主打安全改進，仍會產出恐同的歧視用語 。
• 政策缺口：OpenAI 自身的模型卡政策禁止情色、非法色情內容及極端血腥畫面，但科學、歷史或藝術背景除外——然而，要在規模化應用中執行這些模糊的界線，仍是無任何公司能完全解決的工程難題 。