Phantom Squatting: Nowe zagrożenie, w którym halucynacje AI napędzają porywanie domen

Łańcuch ataku: od halucynacji AI do porwania domeny

Phantom squatting to prosty, ale niebezpieczny, trzyetapowy proces, który wykorzystuje sposób, w jaki duże modele językowe (LLM) radzą sobie z brakującymi informacjami .

Krok 1: Wyszukiwanie halucynacji. Atakujący systematycznie sondują modele AI, aby odkryć „widmowe” domeny, które modele mają tendencję do halucynowania dla konkretnych marek . LLM potrafią generować „idealnie ustrukturyzowane, bardzo przekonujące adresy URL”, które wskazują na domeny, które nigdy wcześniej nie zostały zarejestrowane .

Krok 2: Rejestracja widmowej domeny. Po zidentyfikowaniu halucynacyjnej domeny, atakujący kupuje niezarejestrowaną domenę za kilka dolarów, konfiguruje złośliwą infrastrukturę i czeka .

Krok 3: Wykorzystanie zaufania użytkownika. Ofiara – czy to człowiek, czy autonomiczny agent AI – podąża za wygenerowanym przez AI linkiem i wpada w pułapkę . Zanim tradycyjne zabezpieczenia oznaczą domenę jako złośliwą, szkoda jest często już wyrządzona .

To stanowi znaczące odejście od tradycyjnego cybersquattingu. Klasyczny cybersquatting opierał się na ludzkich błędach literowych lub domenach podobnych wizualnie, takich jak „netflix-payments[.]com” . Phantom squatting zastępuje ludzki błąd halucynacją AI, czyniąc wadę samego modelu wektorem ataku .

Przykłady z życia wzięte i powiązane techniki

Firma Palo Alto Networks nie ujawniła publicznie konkretnych nazw marek lub domen złapanych w kampanie phantom squatting, ale kilka udokumentowanych wzorców dostarcza konkretnego kontekstu .

Podszywanie się pod obsługę klienta. Phantom squatting może być używany do tworzenia linków phishingowych, które podszywają się pod legalne adresy URL marek lub wsparcia generowane przez system AI . Atak wykorzystuje fakt, że użytkownicy mogą bardziej ufać linkowi, który wydaje się pochodzić od asystenta AI .

Phishing i squatterstwo o tematyce AI. Palo Alto Networks donosi o boomie na tradycyjne techniki złośliwego oprogramowania i phishingu, które wykorzystują zainteresowanie AI i ChatGPT . Między listopadem 2022 a kwietniem 2023 roku Unit 42 zaobserwował 910% wzrost miesięcznej rejestracji domen związanych z ChatGPT oraz do 118 dziennych detekcji złośliwych adresów URL związanych z ChatGPT . Celem atakujących jest zwabienie użytkowników ChatGPT na pozornie powiązane strony, które mają ich zainfekować .

Powiązana technika: „Slopsquatting”. Równoległy wariant ataku na łańcuch dostaw – nazwany slopsquattingiem – celuje w halucynacyjne nazwy pakietów oprogramowania zamiast nazw domen . W tym modelu atakujący identyfikują zmyślone nazwy pakietów, które LLM często polecają do zadań programistycznych, rejestrują te nazwy w publicznych repozytoriach, takich jak npm, PyPI czy RubyGems, i osadzają w nich złośliwe oprogramowanie . Kiedy programista pyta asystenta AI o rozwiązanie, asystent z pewnością siebie sugeruje widmowy pakiet, a programista instaluje go, ufając autorytatywnemu tonowi AI . Badania przeprowadzone na 16 modelach wykazały, że około 19,7% pakietów zalecanych przez narzędzia AI do kodowania było całkowicie zmyślonych – to ponad 205 000 halucynacyjnych nazw pakietów .

Zabezpieczenia zalecane przez Palo Alto Networks

Palo Alto Networks przedstawia kilka warstw obrony, aby złagodzić ryzyko phantom squattingu:

1. Proaktywne monitorowanie domen. Organizacje powinny monitorować podejrzane domeny typu squatting. Systemy oparte na LLM mogą być również używane defensywnie: badania nad DomainLynx wykazały, że złożony system AI osiągnął 94,7% dokładności na zbiorze 1649 domen typu squatting, wykrywając 34 359 takich domen z 2,09 miliona nowych domen podczas miesięcznego testu w rzeczywistym świecie .

2. Filtrowanie nowo zarejestrowanych domen (NRD). Advanced DNS Security od Palo Alto Networks zawiera sygnaturę dla nowo zarejestrowanych domen (UTID 109020001) . Nowo zarejestrowane domeny to domeny niedawno dodane przez operatora TLD lub takie, które zmieniły właściciela w ciągu ostatnich 32 dni. Wiele z nich jest wykorzystywanych do ułatwiania złośliwych działań, takich jak obsługa serwerów command-and-control lub dystrybucja złośliwego oprogramowania .

3. Ochrona na poziomie DNS. Zabezpieczenia DNS mogą kontrolować lub blokować ruch do ryzykownych domen, w tym NRD, które są często wykorzystywane w phishingach i inżynierii społecznej . Advanced URL Filtering (AURL), oparty na Precision AI i działających w czasie rzeczywistym detektorach głębokiego uczenia, może identyfikować i blokować nigdy wcześniej niewidziane domeny phishingowe w momencie ich pojawienia się .

4. Edukacja użytkowników i weryfikacja wyników AI. Użytkownicy powinni traktować adresy URL generowane przez AI z ostrożnością i weryfikować wyniki o wysokiej stawce poprzez przegląd przez człowieka, zaufane bazy danych, API lub starannie dobrane bazy wiedzy . Krzyżowe sprawdzanie odpowiedzi modelu z autorytatywnymi źródłami ma kluczowe znaczenie w każdym przypadku użycia o wysokiej stawce .

5. Zabezpieczenia agentów AI. Autonomiczne agenty i przepływy pracy wspomagane AI powinny weryfikować wygenerowane adresy URL, nazwy pakietów i inne zewnętrzne zasoby w zaufanych źródłach przed ich pobraniem, zainstalowaniem lub podjęciem na ich podstawie działań . Jest to szczególnie ważne w przypadku asystentów kodowania, gdzie wariant slopsquatting stanowi bezpośrednie zagrożenie dla potoków programistycznych .

Podsumowanie

Phantom squatting to realne, pojawiające się zagrożenie, które wykorzystuje znaną wadę AI – halucynacje – przeciwko użytkownikom, którzy ufają wynikom generowanym przez AI . Atak wykorzystuje właśnie tę cechę, która czyni LLM użytecznymi: ich zdolność do generowania prawdopodobnie brzmiących treści z pewnością siebie, nawet jeśli podstawowe odniesienie nie istnieje. Aby się przed nim bronić, organizacje potrzebują wielowarstwowego podejścia łączącego proaktywne monitorowanie domen, rygorystyczne filtrowanie DNS/NRD, edukację użytkowników i zabezpieczenia agentów AI, które traktują adresy URL generowane przez AI jako niezaufane, dopóki nie zostaną niezależnie zweryfikowane .