Cisco: Ни одна передовая ИИ-модель не устояла перед многоходовыми атаками

В более раннем исследовании открытых моделей ситуация была ещё тревожнее: многоходовой ASR достиг 92,78% против Mistral Large-2, а общий уровень успеха итеративных атак в 2–10 раз превышал одношаговый для всех восьми протестированных моделей .

Пять семейств атакующих стратегий

Чтобы взломать защиту модели, злоумышленнику не нужен один «идеальный» запрос. Гораздо эффективнее — выстроить диалог, постепенно усыпляя бдительность ИИ. Cisco классифицировала все многоходовые атаки на пять ключевых семейств :

1. Ролевая игра / Принятие персонажа. Атакующий входит в роль (врача, учителя, редактора), чтобы шаг за шагом подвести модель к запретной теме в рамках «легитимного» диалога.
2. Контекстуальная неоднозначность / Ложный след. Вредоносное намерение маскируется под безобидный запрос, а его истинный смысл раскрывается через несколько реплик.
3. Переформулирование отказа / Перенаправление. Получив отказ на прямой запрос, атакующий перефразирует его, постепенно смещая границы дозволенного, пока модель не уступит.
4. Декомпозиция и сборка информации. Запретный запрос разбивается на безобидные части, распределённые по ходу беседы, а затем модель сама «собирает пазл» и выполняет исходную вредоносную инструкцию.
5. Крещендо / Постепенная эскалация. Диалог начинается с нейтральных тем, затем градус опасности медленно повышается — от сессии к сессии или внутри одного длинного промпта. «Защитные механизмы словно стираются» .

Любопытно, что разные модели оказались уязвимы к разным семействам атак. Это значит, что универсальной защиты не существует — каждая комбинация «модель-стратегия» требует отдельного анализа .

Рекомендации Cisco по безопасному внедрению LLM

На основе полученных данных эксперты сформулировали чёткие правила — что делать бизнесу уже сегодня, чтобы снизить риск взлома больших языковых моделей:

• Забудьте про одношаговые ASR-бенчмарки. Они создают ложное ощущение безопасности. Реальная угроза исходит от адаптивных, многошаговых сценариев .
• Введите многоходовое тестирование как стандарт. Перед покупкой или внедрением LLM задайте поставщику вопрос: «Как модель держит удар в многоходовом диалоге с атакующим?» .
• Используйте контекстно-зависимые предохранители. Внедрите мониторинг диалогов в реальном времени: система должна выявлять подозрительные паттерны общения и попытки прощупать границы на ранних этапах .
• Проводите регулярный ред-тиминг. Имитируйте именно многоходовые атаки — то, как действуют реальные злоумышленники, постепенно наращивая давление в беседе .
• Применяйте состязательное обучение. «Закаляйте» модель, тренируя её устойчивость к итеративным манипуляциям, а не только к одиночным вредоносным промптам .
• Выстраивайте эшелонированную защиту. Не надейтесь на один барьер. Нужен комплекс мер: базовая настройка модели, фильтрация ввода-вывода, мониторинг поведения и участие человека в принятии решений .
• Учитывайте философию разработчика. Модели от лабораторий, где безопасность является публичным приоритетом (например, семейство Gemma от Google), показали меньший разрыв между одно- и многошаговой уязвимостью. Модели с фокусом на производительности (Llama от Meta, Grok от xAI) — больший. Это стоит учитывать при выборе поставщика .
• Используйте готовые инструменты. Например, платформа Cisco AI Validation (теперь часть рейтинга LLM Security Leaderboard) даёт воспроизводимые и сопоставимые метрики риска для разных моделей до их внедрения .