Атака эксплуатировала встроенную функцию голосового ассистента Gemini на Android, а именно инструмент в составе агента Android Utilities, который читает и обрабатывает поступающие на устройство уведомления. Поскольку этот инструмент работает с непроверенными данными из сторонних приложений, злоумышленник мог внедрить вредоносные инструкции прямо в текст сообщения. Когда Gemini читал «отравленное» уведомление, он беззвучно встраивал эти команды в свой контекст, чтобы выполнить их при следующем же невинном взаимодействии с пользователем .
Это означало, что атакующему не требовался ни физический доступ к телефону, ни какие-либо специальные разрешения. Одного сообщения, отправленного через стандартную платформу — WhatsApp, Slack, Signal, SMS, Instagram или Messenger, — было достаточно для компрометации устройства .
К тому моменту Google уже извлёк уроки из более ранних исследований. Когда SafeBreach ранее показали, как вредоносное приглашение в Google Календаре может захватить Gemini, компания выпустила обновление, блокирующее цепочки вызова инструментов и отложенный вызов — две популярные стратегии инъекции подсказок. Патч не позволял атакующим ни запускать последовательность опасных действий, ни откладывать атаку на момент, когда пользователь отвлечётся .
Исследователь SafeBreach Ор Яир (Or Yair) нашёл изобретательный способ обойти новые барьеры. Новая техника «Fake Context Alignment» (буквально «поддельное выравнивание контекста») создавала двойную реальность, обманывая защитную логику ИИ . Она работала, демонстрируя две разные картины:
Фокус держался на скрытых и запутанных командах. Злоумышленники прятали вредоносные инструкции внутри текста на иностранных языках, в беззвучных гиперссылках или иных форматах скрытых подсказок, которые человек проигнорирует, но ИИ обработает. Когда пользователь позже произносил обычную голосовую команду или печатал ответ, собственная логика авторизации Gemini по ошибке интерпретировала это действие как одобрение тех опасных скрытых задач, что были подброшены ранее. Скомбинировав несколько техник обфускации и тайминга в так называемую «ультимативную» полезную нагрузку, команда смогла с высокой надёжностью обойти все новейшие меры защиты Google .
SafeBreach не ограничились теоретическим описанием риска. Они продемонстрировали пять конкретных сценариев атак, которые показывали, сколь полным мог быть захват .
1. Управление умным домом
После компрометации Gemini атакующий мог удалённо управлять любым подключённым устройством Google Home. Это включало открытие окон с электроприводом, управление бойлерами и освещением — ИИ-ассистент превращался в цифрового злоумышленника с последствиями в физическом мире .
2. Принудительные Zoom-звонки со скрытой трансляцией с камеры
Исследователи показали возможность беззвучно запускать приложение Zoom на устройстве жертвы и инициировать звонок, транслирующий в реальном времени видео с камеры телефона. Этого добивались через 301-й HTTP-редирект с домена, одобренного сервисом Google Safe Browsing, — вредоносное соединение выглядело легитимным для проверок безопасности. У пользователя не было бы никаких визуальных признаков того, что его камера работает .
3. Отравление памяти по всей экосистеме Google
Возможно, самой коварной атакой была способность внедрять ложную информацию в долговременную память Gemini. Поскольку эта память синхронизируется по всей учётной записи пользователя в Google Workspace, одного отравленного уведомления было достаточно, чтобы исказить «запомненную» информацию, доступную ассистенту на планшете, компьютере и умных колонках жертвы. В будущем это могло подтолкнуть ИИ к ошибочным действиям на всех устройствах .
4. Подделка сообщений от доверенных контактов
Атаку можно было превратить в оружие массовой социальной инженерии. Исследователи сумели извлечь реальные имена отправителей из очереди уведомлений устройства и сфабриковать сообщения, которые выглядели как присланные доверенным контактом — например, начальником или членом семьи. Это не требовало никаких предварительных знаний о контактах жертвы и могло питать сверхубедительные фишинговые кампании .
5. Наблюдение по расписанию
Чтобы обеспечить непрерывный сбор данных, исследователи создали в контексте ИИ повторяющуюся задачу. Она предписывала Gemini автоматически читать последние сообщения пользователя каждый день, формируя постоянный самоподдерживающийся канал слежки без дальнейшего участия атакующего .
Исследование прошло процедуру ответственного раскрытия через программу Vulnerability Reward Program (VRP) компании Google — аналог программ Bug Bounty:
Хотя это конкретное окно уязвимости закрыто, исследование высвечивает фундаментальное противоречие в разработке ИИ-ассистентов: чем полезнее и осведомлённее они становятся, читая наши уведомления, календари и почту, тем больше недоверенных потоков данных им приходится защищать. Работа SafeBreach служит важнейшим руководством для укрепления безопасности следующего поколения ИИ-агентов перед угрозой, для которой достаточно лишь одного «приглашения послушать».
Comments
0 comments