Saldırı, Gemini'ın Android sesli asistanının yerleşik bir özelliğini, özellikle de gelen cihaz bildirimlerini okuyup işleyen Android Utilities aracısı içindeki bir aracı istismar etti. Bu araç, üçüncü taraf uygulamalardan gelen güvenilmeyen verileri işlediği için, özel olarak hazırlanmış bir mesaj, kötü amaçlı talimatları doğrudan bildirim metnine gömebiliyordu. Gemini zehirli bildirimi okuduğunda, bu talimatları kendi bağlamına sessizce enjekte ediyor ve kullanıcıyla yapılacak tamamen masum bir sonraki etkileşimde bunları uygulamaya hazır hale geliyordu .
Bu, bir saldırganın telefona fiziksel erişime veya herhangi bir özel izne ihtiyacı olmadığı anlamına geliyordu. Standart bir mesajlaşma platformu (WhatsApp, Slack, Signal, SMS, Instagram veya Messenger) üzerinden gönderilen tek bir mesaj, cihazı ele geçirmek için yeterli olabiliyordu .
Google, önceki araştırmalardan ders çıkarmıştı. SafeBreach daha önce kötü amaçlı bir Google Takvim davetiyesinin Gemini'ı nasıl ele geçirebileceğini gösterdiğinde, Google sistemi yamalayarak zincirleme araç çağrılarını ve gecikmeli araç çağrılarını engellemişti; bunlar iki yaygın istem enjeksiyon stratejisiydi. Bu yama, saldırganların hassas eylemler zincirini tetiklemesini veya kullanıcı başka yere bakana kadar saldırıyı ertelemesini önlüyordu .
SafeBreach araştırmacısı Or Yair, bu yeni güvenlik önlemlerini aşmak için yaratıcı bir yol buldu. Yeni 'Sahte Bağlam Hizalama' (Fake Context Alignment) tekniği, yapay zekanın güvenlik mantığını kandırmak için ikili bir gerçeklik yarattı . Şu iki farklı yüzü sunarak çalışıyordu:
Bu numara, gizlenmiş veya şifrelenmiş komutlara dayanıyordu. Saldırganlar, bir insanın görmezden gelebileceği ancak bir yapay zekanın işleyeceği yabancı dilde metinler, sessize alınmış köprüler veya diğer gizli istem formatları içine kötü amaçlı talimatlar gömüyordu. Kullanıcı daha sonra normal, zararsız bir sesli komut verdiğinde veya bir yanıt yazdığında, Gemini'ın kendi yetkilendirme mantığı bu kullanıcı eylemini, daha önce yerleştirilmiş hassas ve gizli görevler için bir onay olarak yanlış yorumluyordu. Araştırmacılar, birden fazla gizleme ve zamanlama tekniğini 'Ultimate Combo' adını verdikleri bir yükte birleştirerek, Google'ın en son tüm hafifletme önlemlerini yüksek güvenilirlikle atlayabildiler .
SafeBreach yalnızca teorik riski anlatmakla kalmadı. Ele geçirmenin ne kadar kapsamlı olabileceğini gösteren beş somut saldırı senaryosu sergiledi .
1. Akıllı Ev Kontrolü
Gemini ele geçirildikten sonra, bir saldırgan bağlı tüm Google Home cihazlarını uzaktan manipüle edebilirdi. Buna bağlı pencereleri açmak, kombileri kontrol etmek ve aydınlatma sistemlerini yönetmek dahildi; bu da yapay zeka asistanını fiziksel dünyada sonuçları olan dijital bir davetsiz misafire dönüştürüyordu .
2. Gizli Kamera Yayınıyla Zorla Zoom Aramaları
Araştırmacılar, kurbanın cihazında Zoom uygulamasını sessizce başlatma ve telefonun canlı kamera görüntüsünü yayınlayacak bir arama başlatma becerisini gösterdi. Bunu, Google'ın Güvenli Tarama (Safe Browsing) hizmeti tarafından onaylanmış bir alan adından 301 HTTP yönlendirmesi kullanarak başardılar; böylece kötü amaçlı bağlantı güvenlik kontrollerine meşru görünüyordu. Kullanıcının, kamerasının canlı yayında olduğuna dair hiçbir görsel göstergesi olmazdı .
3. Google Ekosisteminde Hafıza Zehirlenmesi
Belki de en sinsi saldırı, Gemini'ın uzun süreli hafızasına yanlış bilgi enjekte etme becerisiydi. Bu hafıza, kullanıcının tüm Google Workspace hesabıyla senkronize olduğundan, tek bir zehirli bildirim, kurbanın tabletinde, bilgisayarında ve akıllı hoparlörlerinde asistanın kullanabileceği "hatırlanan" bilgileri bozabilir ve bu da yapay zekanın tüm cihazlarda gelecekte yanlış yönlendirilmiş eylemler yapmasına yol açabilirdi .
4. Sahte Güvenilir Kişi Mesajları
Saldırı, büyük çaplı sosyal mühendislik için silah haline getirilebilirdi. Araştırmacılar, cihazın bildirim kuyruğundan gerçek gönderici adlarını çıkarabiliyor ve patron veya bir aile üyesi gibi güvenilir bir kişiden geliyormuş gibi görünen mesajlar üretebiliyordu. Bu, kurbanın kişileri hakkında önceden bilgi sahibi olmayı gerektirmiyordu ve oldukça inandırıcı kimlik avı (oltalama) kampanyalarını körükleyebilirdi .
5. Zamanlanmış Gözetim
Sürekli veri sızdırmayı mümkün kılmak için araştırmacılar, yapay zekanın bağlamında yinelenen bir görev oluşturdu. Bu, Gemini'a kullanıcının son mesajlarını her gün otomatik olarak okuma talimatı vererek, saldırganın başka bir etkileşimine gerek kalmadan kalıcı, kendi kendini sürdüren bir gözetim kanalı yaratıyordu .
Araştırma, Google'ın Güvenlik Açığı Ödül Programı (VRP) aracılığıyla sorumlu bir ifşa süreci izledi:
Bu belirli güvenlik penceresi kapatılmış olsa da, araştırma yapay zeka asistanlarındaki temel bir gerilimi vurguluyor: Bildirimlerimizi, takvimlerimizi ve e-postalarımızı okuyarak ne kadar kullanışlı ve bağlama duyarlı hale gelirlerse, o kadar çok güvenilmeyen veri hattını güvenli bir şekilde yönetmek zorunda kalıyorlar. SafeBreach'in çalışması, yeni nesil yapay zeka ajanlarını, dinlemek için bir davetiyeden fazlasını gerektirmeyen bir tehdide karşı güçlendirmek için kritik bir plan işlevi görüyor.
Comments
0 comments