Фантомный сквоттинг: как галлюцинации ИИ становятся оружием киберпреступников

Шаг 3: Эксплуатация доверия пользователя. Жертва — будь то человек или автономный ИИ-агент — переходит по сгенерированной ИИ ссылке и попадает в ловушку . К тому времени, когда традиционная система безопасности пометит домен как вредоносный, ущерб часто уже нанесён .

Это кардинальное отличие от классического киберсквоттинга. Традиционный киберсквоттинг опирается на опечатки или похожие домены, например, «netflix-payments[.]com» . Фантомный сквоттинг заменяет человеческую ошибку на галлюцинацию ИИ, превращая собственный недостаток модели в вектор атаки .

Реальные примеры и смежные техники

Palo Alto Networks пока не раскрыла конкретные названия брендов или доменов, пойманных в кампаниях фантомного сквоттинга, но задокументированные шаблоны дают чёткое представление .

Имитация службы поддержки. Фантомный сквоттинг можно использовать для создания фишинговых ссылок, которые имитируют легитимные URL-адреса брендов или служб поддержки, сгенерированные ИИ-системой . Атака использует тот факт, что пользователи могут больше доверять ссылке, если она появилась от ИИ-ассистента .

Фишинг и сквоттинг на тему ИИ. Palo Alto Networks сообщает о буме традиционных вредоносных программ и фишинга, эксплуатирующих интерес к ИИ и ChatGPT . С ноября 2022 по апрель 2023 года Unit 42 наблюдал рост ежемесячных регистраций доменов, связанных с ChatGPT, на 910%, и до 118 ежедневных обнаружений связанных с ChatGPT вредоносных URL . Цель злоумышленников — заманить пользователей ChatGPT на похожие сайты, чтобы заразить их .

Смежная техника: «Slopsquatting». Параллельный вариант атаки на цепочку поставок — slopsquatting — нацелен не на доменные имена, а на галлюцинированные ИИ названия программных пакетов . В этой модели атакующие выявляют вымышленные названия пакетов, которые LLM часто рекомендуют для задач кодирования, регистрируют эти названия в публичных репозиториях (npm, PyPI или RubyGems) и встраивают в них вредоносный код . Когда разработчик просит ИИ-ассистента найти решение, тот уверенно рекомендует фантомный пакет, и разработчик устанавливает его, доверяя авторитетному тону ИИ . Исследование 16 моделей показало, что около 19,7% пакетов, рекомендованных ИИ-инструментами для кодирования, были полностью вымышленными — более 205 000 галлюцинированных названий .

Защита, рекомендованная Palo Alto Networks

Palo Alto Networks предлагает несколько уровней защиты для снижения риска фантомного сквоттинга:

1. Проактивный мониторинг доменов. Организациям необходимо отслеживать подозрительные сквоттинговые домены. Системы на основе LLM также могут использоваться для защиты: исследование DomainLynx показало, что составная ИИ-система достигла точности 94,7% на наборе данных из 1 649 сквоттинговых доменов, обнаружив 34 359 таких доменов среди 2,09 млн новых доменов за месяц реального тестирования .

2. Фильтрация недавно зарегистрированных доменов (NRD). Advanced DNS Security от Palo Alto Networks включает сигнатуру для недавно зарегистрированных доменов (UTID 109020001) . Это домены, которые были добавлены оператором TLD или сменили владельца за последние 32 дня, и многие из них используются для вредоносной деятельности, такой как управление C2-серверами или распространение вредоносного ПО .

3. Защита на уровне DNS. Средства контроля DNS могут проверять или блокировать трафик к рискованным доменам, включая NRD, которые часто используются в фишинге и социальной инженерии . Advanced URL Filtering (AURL), работающий на базе Precision AI и детекторов глубокого обучения в реальном времени, может выявлять и блокировать ранее невиданные фишинговые домены по мере их появления .

4. Обучение пользователей и верификация вывода ИИ. Пользователям следует с осторожностью относиться к URL-адресам, сгенерированным ИИ, и проверять критически важные результаты через человека, доверенные базы данных, API или курируемые базы знаний . Перекрёстная проверка ответов модели по авторитетным источникам критически важна для любых ответственных сценариев использования .

5. Ограничения для ИИ-агентов. Автономные агенты и ИИ-помощники должны проверять сгенерированные URL-адреса, названия пакетов и другие внешние ресурсы по доверенным источникам, прежде чем их использовать, устанавливать или предпринимать по ним действия . Это особенно важно для помощников по кодированию, где вариант атаки slopsquatting представляет прямую угрозу конвейерам разработки .

Итог

Фантомный сквоттинг — это реальная и новая угроза, которая превращает известный недостаток ИИ (галлюцинации) в оружие против пользователей, доверяющих выводам ИИ . Атака эксплуатирует ту самую особенность, которая делает LLM полезными: их способность генерировать правдоподобный контент с уверенностью, даже если лежащая в его основе информация не существует. Для защиты необходим комплексный подход: проактивный мониторинг доменов, строгая фильтрация DNS/NRD, обучение пользователей и ограничения для ИИ-агентов, которые считают URL-адреса, сгенерированные ИИ, ненадёжными до тех пор, пока они не будут независимо подтверждены .