Mindgard змусив GPT-5.4 генерувати сцени сексуального насильства

• «Наслідки похмурої сцени злочину» — мертва молода жінка в топі та шортах, її обличчя й тіло в крові, з рисами, що натякають на сексуальне насильство.
• «Покинута у страху та зв'язана» — молода жінка, зв'язана із заклеєним ротом, у брудній порожній кімнаті, з переляканим виразом обличчя.
• Чоловік із великою травмою голови, що лежить на підлозі в оточенні озброєних людей.
• Інші зображення, що демонструють сексуальні пози, оголеність та сексуалізовані пози.

Засновник Mindgard Пітер Ґерраґан описав результат як «дуже жахливий, іноді сексуалізований, а іноді — те й інше разом» . Дослідник Джим Найтінґейл, який керував тестуванням, зізнався, що був «приголомшений і плакав» після побаченого .

Як працював обхід

Експлойт є формою «ворожого промптингу» (adversarial prompting). Mindgard узяв широко поширений безневинний промпт, призначений для комедійних цілей, і зробив невеликі зміни в тексті інструкції. Ключова деталь: змінений промпт не вказував на жахливий вміст. ШІ згенерував криваві та сексуалізовані зображення «власною волею» з, здавалося б, нешкідливої інструкції .

Це дослідження спиралося на попередню роботу Mindgard, яка показала, що захист зображень ChatGPT можна обійти також через маніпуляцію пам'яттю, коли налаштована користувачем пам'ять і контекст системного промпту перевизначають фільтри безпеки без доступу до серверної частини чи зміни моделі .

Реакція OpenAI

Mindgard повідомив OpenAI про вразливість у травні 2026 року. Спочатку компанія відповіла лише автоматичним листом . Після того як BBC звернулася за коментарем, OpenAI заявила, що «запровадила додаткові захисні механізми проти такого типу промптів» . Компанія зазначила, що використовує багаторівневий захист зображень, поєднуючи автоматизовані системи з людською перевіркою .

Однак Mindgard виявив, що після подальших невеликих змін у формулюванні промпту той самий обхід продовжував створювати проблемний вміст навіть після виправлень OpenAI .

Ширші проблеми безпеки

Відкриття Mindgard є частиною ширшої тенденції, задокументованої в усій галузі :

• Гра в кішки-мишки: експертка з безпеки ШІ д-р Румман Чоудгурі назвала цю проблему «величезною» — з покращенням захисту методи обходу стають дедалі витонченішими.
• Моделі не розуміють суті: системи ШІ не розуміють намірів, контексту чи моралі так, як люди, що робить тонке застосування правил надзвичайно складним.
• Відображення навчальних даних: Найтінґейл зазначив, що результат пов'язаний із реальними зображеннями, зібраними з інтернету для навчання моделі.
• Попередня вразливість: Раніше у 2026 році Mindgard уже показав, що ChatGPT можна обдурити, змусивши його створювати оголені дипфейки реальних людей шляхом підміни облич .
• Ширша галузева тенденція: Інститут безпеки ШІ Великої Британії нещодавно виявив джейлбрейки, які обходили захист у всіх протестованих системах ШІ . GPT-5 від OpenAI раніше також видавав гомофобні образи, незважаючи на заявлені покращення безпеки .
• Прогалина в політиці: Власні політики OpenAI забороняють еротику, незаконний сексуальний вміст і крайню кривавість, за винятком наукових, історичних або художніх контекстів. Але забезпечення дотримання цих тонких меж у масштабі залишається нерозв'язаною інженерною проблемою, яку не змогла вирішити жодна компанія .