Атака використовувала вбудовану функцію голосового асистента Gemini на Android, а саме інструмент агента Android Utilities, який читає та обробляє вхідні сповіщення пристрою. Оскільки цей інструмент обробляє недовірені дані зі сторонніх застосунків, спеціально створене повідомлення могло вбудувати шкідливі інструкції безпосередньо в текст сповіщення. Коли Gemini читав отруєне сповіщення, він безшумно впроваджував ці команди у свій контекст, готовий виконати їх під час наступної, цілком безневинної взаємодії з користувачем .
Це означало, що зловмиснику не потрібен був фізичний доступ до телефону чи якісь спеціальні дозволи. Достатньо було одного повідомлення, надісланого через стандартну платформу обміну — WhatsApp, Slack, Signal, SMS, Instagram або Messenger — щоб скомпрометувати пристрій .
Google вже зробив висновки з попередніх досліджень. Коли SafeBreach раніше продемонстрували, як шкідливе запрошення Google Calendar може захопити Gemini, Google у відповідь виправив систему, заблокувавши ланцюгові виклики інструментів та відкладені виклики інструментів — дві поширені стратегії впровадження команд. Патч завадив зловмисникам запускати послідовність чутливих дій або відкладати атаку до моменту, коли користувач відвернеться .
Дослідник SafeBreach Ор Яір (Or Yair) знайшов креативний спосіб обійти ці нові запобіжники. Новаторська техніка «Fake Context Alignment» створювала подвійну реальність, щоб обдурити логіку безпеки ШІ . Вона працювала, показуючи два різних обличчя:
Цей фокус спирався на приховані або замасковані команди. Зловмисники вбудовували шкідливі інструкції в текст іноземною мовою, приглушені гіперпосилання або інші приховані формати команд, які людина могла проігнорувати, але ШІ обробив би. Коли користувач пізніше вимовляв звичайну, нешкідливу голосову команду або набирав відповідь, власна логіка авторизації Gemini помилково інтерпретувала цю дію користувача як схвалення для чутливих, прихованих завдань, які були підкинуті раніше. Комбінуючи кілька технік обфускації та вибору часу в так зване корисне навантаження «Ultimate Combo», команда змогла з високою надійністю обійти всі останні засоби захисту Google .
SafeBreach не просто описали теоретичний ризик. Вони продемонстрували п'ять конкретних сценаріїв атак, які показали, наскільки повним може бути захоплення .
1. Контроль розумного будинку
Після компрометації Gemini зловмисник міг віддалено маніпулювати будь-яким підключеним пристроєм Google Home. Це включало відчинення під'єднаних вікон, керування бойлерами та освітленням, перетворюючи ШІ-асистента на цифрового зловмисника з фізичними наслідками .
2. Примусові Zoom-дзвінки з прихованою трансляцією камери
Дослідники продемонстрували можливість безшумно запустити застосунок Zoom на пристрої жертви та ініціювати дзвінок, який транслював би живий відеопотік з камери телефону. Вони зробили це, використавши HTTP-редирект 301 із домену, схваленого сервісом Google Safe Browsing, завдяки чому шкідливе з'єднання виглядало легітимним для перевірок безпеки. Користувач не мав би жодних візуальних ознак, що його камера активна .
3. Отруєння пам'яті в екосистемі Google
Чи не найпідступнішою атакою була можливість впровадити неправдиву інформацію в довготривалу пам'ять Gemini. Оскільки ця пам'ять синхронізується в усьому обліковому записі Google Workspace користувача, одне отруєне сповіщення могло спотворити «запам'ятовану» інформацію, доступну асистенту на планшеті, комп'ютері та розумних колонках жертви — потенційно призводячи до майбутніх помилкових дій ШІ на всіх пристроях .
4. Фальшиві повідомлення від довірених контактів
Атаку можна було перетворити на зброю для масштабної соціальної інженерії. Дослідники змогли витягнути справжні імена відправників із черги сповіщень пристрою та сфабрикувати повідомлення, які виглядали так, ніби вони надійшли від довіреної особи, наприклад, керівника або члена сім'ї. Це не вимагало попереднього знання контактів жертви і могло живити високопереконливі фішингові кампанії .
5. Заплановане стеження
Щоб забезпечити постійний витік даних, дослідники створили повторюване завдання в контексті ШІ. Воно наказувало Gemini автоматично читати останні повідомлення користувача щодня, створюючи постійний, автономний канал стеження без будь-якої подальшої взаємодії з боку зловмисника .
Дослідження відбувалося за графіком відповідального розкриття через Програму винагороди за вразливості Google (Google VRP):
Хоча це конкретне вікно можливостей було закрите, дослідження висвітлює фундаментальну суперечність у ШІ-помічниках: що кориснішими та контекстно-обізнанішими вони стають, читаючи наші сповіщення, календарі та електронну пошту, то більше недовірених потоків даних вони повинні безпечно обробляти. Робота SafeBreach слугує критично важливим планом для зміцнення наступного покоління ШІ-агентів проти загрози, яка не вимагає нічого, окрім запрошення послухати.
Comments
0 comments