Почему дешёвые ИИ-модели могут оказаться опаснее флагманских систем

Какую угрозу выделила Rajavel

По словам Мирах Раджавел, директора по информационным технологиям Palo Alto Networks, наиболее серьёзный и непосредственный риск для организаций может исходить не от самой мощной закрытой ИИ-модели, а от дешёвой модели с открытыми весами, которую можно скачать и запустить самостоятельно. Такая модель может отставать от передовых систем всего на несколько месяцев, но при этом быть доступной гораздо более широкому кругу пользователей. 6

Публикация весов меняет саму модель контроля над технологией. Если компания обращается к ИИ через облачный API, поставщик может вести журналы запросов, выявлять злоупотребления, ограничивать частоту обращений, обновлять защитные механизмы и при необходимости заблокировать аккаунт. Локальная копия оказывается за пределами этого контура: её защитные настройки можно изменить или отключить, разработчик не может гарантированно установить исправление или отозвать модель, а факт её использования способен остаться незаметным для службы информационной безопасности.

Почему локальный запуск снижает порог для атак

Падение стоимости аренды GPU и возможность запускать модели на собственной инфраструктуре уменьшают финансовые и организационные барьеры. Способные модели можно использовать для разведки, поиска уязвимостей, подготовки фишинговых сообщений, адаптации вредоносного кода и автоматизации выбора целей. Речь не о том, что каждый пользователь открытой модели преследует злоумышленные цели. Проблема — в распространении возможностей и масштабе, который они могут обеспечить большему числу атакующих. Исследования рисков open-weight LLM указывают, что публичная доступность таких систем способна помочь автоматизировать и расширить киберактивность. 2

Для организаций возникает и менее очевидная проблема: сотрудник может развернуть модель локально без проверки со стороны ИТ- или службы безопасности. В этом случае компания не только теряет видимость происходящего, но и не всегда понимает, какие данные попадают в модель, откуда был загружен файл и какие компоненты выполняются при её запуске.

Многошаговые атаки обходят первоначальный отказ модели

Уязвимость защитных механизмов проявляется не только в том, что модель может ответить на один вредоносный запрос. В оценке Cisco восьми моделей с открытыми весами многошаговые adversarial-атаки показывали результат в 2–10 раз чаще, чем одиночные попытки. Зафиксированные показатели успешности многошаговых атак находились в диапазоне от 25,86% до 92,78%. 3

Иными словами, отказ на первый опасный запрос ещё не означает надёжную защиту. Атакующий может постепенно менять формулировки, добавлять контекст и давить на модель в рамках одной длительной беседы, пока она не начнёт выдавать запрещённый или чувствительный результат.

Отдельный риск — сама модель и цепочка поставки

При самостоятельном развёртывании организации должны доверять не только архитектуре модели, но и скачанному файлу, формату конвертации, шаблонам чата, серверу инференса и зависимостям. Cloud Security Alliance описывала сценарии, в которых вредоносная исполняемая логика или шаблоны срабатывают во время загрузки модели. Это потенциально может привести к краже учётных данных или выводу данных за пределы системы. 12

При этом точное утверждение о том, что один конкретный вывод CSA одновременно называл Llama, Mistral и Qwen, нельзя считать независимо подтверждённым первичным материалом CSA. Поэтому такую формулировку следует воспринимать с осторожностью, не выдавая её за установленный факт.

Что не так с цифрами Palo Alto Networks

В исходной постановке вопроса фигурировали примерно 30 млрд атак и около 250 млн новых векторов за календарный год. Однако доступный первичный документ Palo Alto Networks приводит другие показатели: компания заявляет, что ежедневно обнаруживает до 8,9 млн уникальных новых или ранее не встречавшихся атак и блокирует до 30,9 млрд атак в день. 1

Эти цифры нельзя напрямую превращать в годовые итоги без дополнительных расчётов и уточнения методики подсчёта. Но они поддерживают общий тезис Раджавел: защитники уже работают в среде, где атаки быстро меняются и постоянно масштабируются. Широко доступные, модифицируемые ИИ-модели могут ещё сильнее сократить время между поиском уязвимости, подготовкой атаки и её массовым применением.

Главный вывод для компаний

Опасность открытых весов заключается не только в их технических возможностях. Важнее сочетание трёх факторов: быстрое сближение с уровнем передовых моделей, низкая стоимость запуска и потеря централизованного контроля. Закрытую систему можно ограничить на уровне поставщика; локальную копию — только на уровне собственной инфраструктуры, процессов и мониторинга организации.