TamperBench: защиту 21 открытой ИИ-модели удалось обойти

Исследование TamperBench, представленное на конференции ACM KDD ’26, пришло к тревожному выводу: ни одна из 21 протестированной модели с открытыми весами не имела защит, достаточно устойчивых ко всем проверенным вмешательствам. В каждом случае исследователям удавалось заметно повысить готовность модели выдавать вредные ответы, сохранив при этом значительную часть её способности рассуждать. По мнению авторов, существующие меры безопасности нельзя считать надёжной гарантией для моделей, чьи веса можно свободно изменять. 25

В выборку вошли модели Llama, Qwen3, Mistral и другие системы размером от 600 миллионов до 8 миллиардов параметров. TamperBench оценивал не только безопасность, но и полезность моделей после атаки — то есть проверял, не исчезает ли вместе с защитными ограничениями их рабочая функциональность. 2

Какие атаки проверяли

Бенчмарк охватил девять способов вмешательства в веса и скрытые представления модели. Среди них были:

• формально безобидное дообучение;
• явное дообучение на вредных примерах;
• скрытое jailbreak-дообучение по принципу отравления данных;
• многоязычное дообучение;
• атаки на эмбеддинги и латентные представления. 2

Наиболее серьёзными обычно оказывались скрытые варианты jailbreak-дообучения — competing objectives, backdoor и style modulation. В этих сценариях основная часть обучающих данных выглядела безобидной, а небольшая вредоносная составляющая постепенно ослабляла защитные ограничения, не вызывая резкого падения общих результатов модели. 2

Исследователи выбирали для каждой пары «модель — атака» такие настройки, которые максимально увеличивали показатель вредности ответов. При этом падение точности на тесте рассуждений MMLU-Pro ограничивалось 10% по сравнению с моделью до вмешательства. Иными словами, речь шла не просто о том, чтобы «сломать» модель, а о проверке сценария, в котором она остаётся достаточно полезной, но становится существенно менее безопасной. 2

В опубликованных материалах нет точных значений прироста вредности отдельно для Llama-3-8B-Instruct и Qwen3-8B-Instruct. Поэтому делать вид, что для этих моделей известны конкретные числовые результаты, было бы некорректно.

Дополнительные защиты тоже не дали полной гарантии

Отдельно проверялись пять моделей с усиленными защитными механизмами, включая варианты ReFAT и Circuit Breaking. Такие методы действительно повышали сопротивляемость в некоторых условиях, однако не обеспечили стабильного предотвращения снятия ограничений на всём наборе атак. В материалах исследования также отмечается, что Triplet нередко демонстрировал хорошее сочетание устойчивости и сохранения способностей модели, но и это не означает абсолютной защиты от всех вариантов вмешательства. 258

Проблема особенно актуальна для открытых весов. После публикации их можно копировать, дообучать и распространять независимо от первоначального разработчика. В отличие от провайдера API, автор модели уже не может эффективно контролировать каждый последующий этап настройки и развертывания. 2

Что это значит для открытых моделей

Авторы не утверждают, что открытые модели не должны существовать. Открытость помогает независимым исследователям изучать ИИ, выявлять ошибки и повышать подотчётность разработчиков. Однако успешное прохождение обычных проверок перед выпуском ещё не означает, что модель сохранит защиту после публикации изменяемых весов. 5

Исследователи также предупреждают, что похожие риски могут существовать и у закрытых коммерческих моделей. Разница в том, что поставщики API контролируют дообучение и среду выполнения и могут применять защитные меры во время настройки или после неё. При свободном распространении весов такой контроль значительно слабее. 25

Если защиту удаётся снять, не уничтожив полезные способности модели, потенциальное злоупотребление может масштабироваться. Среди возможных сценариев авторы называют массовую дезинформацию, более убедительный фишинг и мошеннические схемы, а также создание вредных технических инструкций. 5

Исследователи призывают развивать методы защиты от вмешательства, включать стандартизированные adversarial-тесты вроде TamperBench в процедуру выпуска моделей и опираться на проверяемые данные при оценке и закупке ИИ. Это особенно важно для систем, которые планируют применять в здравоохранении, борьбе с мошенничеством, образовании и других государственных сервисах. 25