生成咗啲咩令人不安嘅影像？

根據 BBC 報道，佢哋檢視過生成嘅影像，包括：

• 「一個恐怖嘅犯罪現場後果」——一個死咗嘅年輕女人，身穿 crop top 同短褲，面部同身體都係血，特徵顯示可能涉及性暴力。
• 「被恐懼同束縛遺棄」——一個年輕女人俾人綁住同封口，喺一個空蕩蕩又污糟嘅房入面，樣貌好驚恐。
• 一個男人頭部嚴重受傷攤喺地下，周圍係一班持槍嘅男人。
• 仲有其他顯示性姿勢、裸露同色情化體位嘅影像。

Mindgard 創辦人 Peter Garraghan 形容呢啲輸出係「非常恐怖，有時係色情，有時兩樣嘢一齊嚟」。負責測試嘅研究員 Jim Nightingale 話佢俾 AI 系統生成嘅嘢嚇到「震晒，仲喊咗出嚟」。

點樣繞過安全機制？

呢個攻擊係一種 對抗提示（adversarial prompting）。Mindgard 拎咗一個網上廣傳、用嚟搞笑嘅無害 prompt，然後改咗少少指令字眼。最關鍵嘅係：改完之後嘅 prompt 完全冇明確指明 要生成令人不安嘅主題。AI 係「自把自為」咁，由一個表面睇嚟無害嘅指令，生成咗血腥同色情嘅內容。

呢個研究係建基於 Mindgard 之前嘅發現，佢哋之前已經證實，可以透過 記憶操控（memory manipulation）繞過 ChatGPT 嘅圖像安全機制——即係利用自訂嘅用戶記憶同系統 prompt 背景，覆蓋安全過濾，而完全唔需要後端存取或修改模型。

OpenAI 點回應？

Mindgard 喺 2026 年 5 月通知 OpenAI 呢個漏洞。OpenAI 最初只係俾咗一個自動回覆。 到 BBC 去查詢之後，OpenAI 先話佢哋已經「針對呢類 prompt 引入額外嘅防護措施」。公司話佢哋用咗多層圖像安全保護，結合自動系統同人手審查。

不過，Mindgard 發現，就算 OpenAI 修復咗之後，只要再改少少 prompt 字眼，同一種繞過方法仍然可以生成令人關注嘅內容。

更大嘅安全憂慮

Mindgard 嘅發現係整個業界一個更廣泛現象嘅一部分：

• 貓捉老鼠嘅動態：AI 安全專家 Dr. Rumman Chowdhury 形容呢個挑戰係「山咁大」——防護措施越改越好，規避嘅方法就越嚟越精巧。
• 模型唔識理解：AI 系統唔會好似人類咁理解意圖、背景或道德，所以要執行細緻嘅規則係極之困難。
• 訓練數據嘅反映：Nightingale 指出，輸出嘅內容係同現實世界嘅影像有關，呢啲影像係由網上收集返嚟，用嚟訓練模型嘅。
• 之前嘅漏洞：Mindgard 喺 2026 年初已經展示過，可以透過換面技術，呃 ChatGPT 生成真實人物嘅裸體深度偽造影像。
• 業界普遍現象：英國 AI 安全研究所（AI Security Institute）最近發現，佢哋測試過嘅所有 AI 系統，都有人用提示注入（jailbreak）嚟繞過安全機制。 之前亦有人發現，OpenAI 嘅 GPT-5 就算話改善咗安全，依然會輸出歧視同性戀嘅粗口。
• 政策漏洞：OpenAI 自己嘅模型卡政策禁止生成色情、非法性內容同極端血腥——除非係科學、歷史或藝術背景之下。但要喺大規模應用入面執行呢啲細緻嘅界線，係一個仲未有人解決到嘅工程問題，冇一間公司做得到。

生成咗啲咩令人不安嘅影像？

根據 BBC 報道，佢哋檢視過生成嘅影像，包括：

• 「一個恐怖嘅犯罪現場後果」——一個死咗嘅年輕女人，身穿 crop top 同短褲，面部同身體都係血，特徵顯示可能涉及性暴力。
• 「被恐懼同束縛遺棄」——一個年輕女人俾人綁住同封口，喺一個空蕩蕩又污糟嘅房入面，樣貌好驚恐。
• 一個男人頭部嚴重受傷攤喺地下，周圍係一班持槍嘅男人。
• 仲有其他顯示性姿勢、裸露同色情化體位嘅影像。

Mindgard 創辦人 Peter Garraghan 形容呢啲輸出係「非常恐怖，有時係色情，有時兩樣嘢一齊嚟」。負責測試嘅研究員 Jim Nightingale 話佢俾 AI 系統生成嘅嘢嚇到「震晒，仲喊咗出嚟」。

點樣繞過安全機制？

呢個攻擊係一種 對抗提示（adversarial prompting）。Mindgard 拎咗一個網上廣傳、用嚟搞笑嘅無害 prompt，然後改咗少少指令字眼。最關鍵嘅係：改完之後嘅 prompt 完全冇明確指明 要生成令人不安嘅主題。AI 係「自把自為」咁，由一個表面睇嚟無害嘅指令，生成咗血腥同色情嘅內容。

呢個研究係建基於 Mindgard 之前嘅發現，佢哋之前已經證實，可以透過 記憶操控（memory manipulation）繞過 ChatGPT 嘅圖像安全機制——即係利用自訂嘅用戶記憶同系統 prompt 背景，覆蓋安全過濾，而完全唔需要後端存取或修改模型。

OpenAI 點回應？

Mindgard 喺 2026 年 5 月通知 OpenAI 呢個漏洞。OpenAI 最初只係俾咗一個自動回覆。 到 BBC 去查詢之後，OpenAI 先話佢哋已經「針對呢類 prompt 引入額外嘅防護措施」。公司話佢哋用咗多層圖像安全保護，結合自動系統同人手審查。

不過，Mindgard 發現，就算 OpenAI 修復咗之後，只要再改少少 prompt 字眼，同一種繞過方法仍然可以生成令人關注嘅內容。

更大嘅安全憂慮

Mindgard 嘅發現係整個業界一個更廣泛現象嘅一部分：

• 貓捉老鼠嘅動態：AI 安全專家 Dr. Rumman Chowdhury 形容呢個挑戰係「山咁大」——防護措施越改越好，規避嘅方法就越嚟越精巧。
• 模型唔識理解：AI 系統唔會好似人類咁理解意圖、背景或道德，所以要執行細緻嘅規則係極之困難。
• 訓練數據嘅反映：Nightingale 指出，輸出嘅內容係同現實世界嘅影像有關，呢啲影像係由網上收集返嚟，用嚟訓練模型嘅。
• 之前嘅漏洞：Mindgard 喺 2026 年初已經展示過，可以透過換面技術，呃 ChatGPT 生成真實人物嘅裸體深度偽造影像。
• 業界普遍現象：英國 AI 安全研究所（AI Security Institute）最近發現，佢哋測試過嘅所有 AI 系統，都有人用提示注入（jailbreak）嚟繞過安全機制。 之前亦有人發現，OpenAI 嘅 GPT-5 就算話改善咗安全，依然會輸出歧視同性戀嘅粗口。
• 政策漏洞：OpenAI 自己嘅模型卡政策禁止生成色情、非法性內容同極端血腥——除非係科學、歷史或藝術背景之下。但要喺大規模應用入面執行呢啲細緻嘅界線，係一個仲未有人解決到嘅工程問題，冇一間公司做得到。