Yapay Zeka Halüsinasyonları Artık Siber Saldırılarda Kullanılıyor: 'Hayalet İşgal' Nedir?

Saldırı Zinciri: Yapay Zeka Halüsinasyonundan Alan Adı Ele Geçirmeye

Hayalet işgal, büyük dil modellerinin (LLM) eksik bilgiyi ele alış biçimindeki zafiyeti kullanan, üç adımlı tehlikeli bir süreçtir .

Adım 1: Halüsinasyonları tespit etme. Saldırganlar, belirli markalar için yapay zeka modellerinin halüsinasyon görme eğiliminde olduğu 'hayali' alan adlarını keşfetmek amacıyla sistematik olarak yapay zekaya sorgular gönderir . Bu modeller, daha önce hiç kaydedilmemiş alan adlarını işaret eden 'mükemmel yapılandırılmış, son derece ikna edici URL'ler' üretebilir .

Adım 2: Hayali alan adını kaydettirme. Saldırgan, tespit ettiği bu kayıtlı olmayan alan adını birkaç dolara satın alır, kötü niyetli bir altyapı kurar ve kurbanını beklemeye başlar .

Adım 3: Kullanıcı güvenini sömürme. Kurban (ister insan bir kullanıcı ister otonom bir yapay zeka ajanı olsun), yapay zeka tarafından oluşturulan bağlantıyı takip eder ve doğrudan tuzağa düşer . Geleneksel bir güvenlik sistemi bu alan adını zararlı olarak işaretlediğinde ise çoğu zaman iş işten geçmiş olur .

Bu, geleneksel siber işgalden önemli bir farklılık gösterir. Klasik siber işgal, insanların yazım hatalarına veya 'netflix-payments[.]com' gibi benzer alan adlarına dayanırken , hayalet işgal insan hatasını yapay zeka halüsinasyonuyla değiştirerek modelin kendi kusurunu saldırı vektörüne dönüştürür .

Gerçek Dünyadan Örnekler ve İlgili Teknikler

Palo Alto Networks, hayalet işgal kampanyalarında yakalanan belirli marka veya alan adlarını kamuoyuyla paylaşmamış olsa da , belgelenmiş birkaç örüntü somut bir bağlam sağlamaktadır:

Müşteri hizmetlerini taklit etme. Hayalet işgal, bir yapay zeka sistemi tarafından oluşturulan meşru marka veya destek URL'lerini taklit eden kimlik avı bağlantıları oluşturmak için kullanılabilir . Saldırı, kullanıcıların bir yapay zeka asistanından geliyormuş gibi görünen bir bağlantıya daha fazla güvenme eğiliminden yararlanır .

Yapay zeka temalı kimlik avı ve işgal. Palo Alto Networks, siber suçluların yapay zeka ve ChatGPT'ye olan ilgiyi kullanan geleneksel kötü amaçlı yazılım ve kimlik avı tekniklerinde bir patlama yaşandığını bildirmiştir . Unit 42, Kasım 2022 ile Nisan 2023 arasında ChatGPT ile ilgili alan adı kayıtlarında aylık %910'luk bir artış ve günlük 118'e kadar ChatGPT ile ilgili kötü amaçlı URL tespiti gözlemlemiştir . Saldırganların amacı, ChatGPT kullanıcılarını alakalı görünen ancak aslında onlara zarar vermek için tasarlanmış sitelere çekmektir .

İlgili teknik: 'Slopsquatting.' Saldırının alan adları yerine yapay zeka halüsinasyonuyla oluşturulmuş yazılım paketi adlarını hedef alan bir varyantına 'slopsquatting' adı veriliyor . Bu modelde saldırganlar, LLM'lerin kodlama görevleri için sıkça önerdiği uydurma paket adlarını belirler, bu adları npm, PyPI veya RubyGems gibi genel depolara kaydeder ve içlerine kötü amaçlı yazılım yerleştirir . Bir geliştirici, yapay zeka asistanından bir çözüm istediğinde, asistan kendinden emin bir şekilde bu hayali paketi önerir ve geliştirici de yapay zekanın otoriter tonuna güvenerek paketi yükler . 16 farklı model üzerinde yapılan bir araştırma, yapay zeka kodlama araçları tarafından önerilen paketlerin yaklaşık %19,7'sinin tamamen uydurma olduğunu ve 205.000'den fazla hayali paket adı bulunduğunu ortaya koymuştur .

Palo Alto Networks'ün Önerdiği Savunma Yöntemleri

Palo Alto Networks, hayalet işgal riskini azaltmak için birkaç savunma katmanı sıralamaktadır:

1. Proaktif alan adı izleme. Kuruluşlar şüpheli işgal amaçlı alan adlarını izlemelidir. LLM tabanlı sistemler savunma amaçlı da kullanılabilir: DomainLynx üzerine yapılan bir araştırma, bileşik bir yapay zeka sisteminin 1.649 işgal amaçlı alan adından oluşan bir veri setinde %94,7 doğruluk elde ettiğini ve bir aylık gerçek dünya testinde 2,09 milyon yeni alan adından 34.359'unu tespit ettiğini göstermiştir .

2. Yeni Kaydedilmiş Alan Adı (NRD) filtrelemesi. Palo Alto Networks'ün Gelişmiş DNS Güvenliği, Yeni Kaydedilmiş Alan Adları için bir imza içerir (UTID 109020001) . NRD'ler, bir TLD operatörü tarafından yakın zamanda eklenmiş veya son 32 gün içinde sahipliği değişmiş alan adlarıdır ve birçoğu komuta-kontrol sunucuları işletmek veya kötü amaçlı yazılım dağıtmak gibi zararlı faaliyetler için kullanılır .

3. DNS katmanı korumaları. DNS güvenlik kontrolleri, kimlik avı ve sosyal mühendislikte sıkça istismar edilen NRD'ler de dahil olmak üzere riskli alan adlarına giden trafiği inceleyebilir veya engelleyebilir . Precision AI ve gerçek zamanlı, satır içi derin öğrenme dedektörleri tarafından desteklenen Gelişmiş URL Filtreleme (AURL), daha önce hiç görülmemiş kimlik avı alan adlarını ortaya çıktıkları anda tespit edip engelleyebilir .

4. Kullanıcı eğitimi ve yapay zeka çıktılarının doğrulanması. Kullanıcılar, yapay zeka tarafından oluşturulan URL'lere karşı temkinli olmalı ve kritik öneme sahip çıktıları insan incelemesi, güvenilir veritabanları, API'ler veya özenle seçilmiş bilgi tabanları aracılığıyla doğrulamalıdır . Yüksek riskli kullanım durumlarında model yanıtlarının yetkili kaynaklarla çapraz referanslanması kritik öneme sahiptir .

5. Yapay zeka ajanları için güvenlik önlemleri. Otonom ajanlar ve yapay zeka destekli iş akışları, oluşturulan URL'leri, paket adlarını ve diğer harici kaynakları, getirmeden, yüklemeden veya bunlara göre hareket etmeden önce güvenilir kaynaklara karşı doğrulamalıdır . Bu, özellikle slopsquatting varyantının geliştirme hatlarını doğrudan riske attığı kodlama asistanları için önemlidir .

Özet

Hayalet işgal, yapay zekanın bilinen bir kusurunu (halüsinasyon), yapay zeka tarafından üretilen çıktılara güvenen kullanıcılara karşı silah haline getiren, pratik ve yeni ortaya çıkan bir tehdittir . Saldırı, LLM'leri faydalı kılan temel özelliklerini (arka planda var olmayan bir referans olsa bile, kendinden emin bir şekilde makul görünen içerik üretebilme yetenekleri) sömürmektedir. Bu tehdide karşı savunma yapmak için kuruluşların, proaktif alan adı izleme, sıkı DNS/NRD filtrelemesi, kullanıcı eğitimi ve yapay zeka tarafından oluşturulan URL'leri bağımsız olarak doğrulanana kadar güvenilmez olarak kabul eden yapay zeka ajanı güvenlik önlemlerini birleştiren çok katmanlı bir yaklaşım benimsemesi gerekir .