Spøkelseskvattering: Når KI-hallusinasjoner blir våpen for nettkriminelle

Angrepskjeden: Fra KI-hallusinasjon til domenerobring

Spøkelseskvattering (phantom squatting) følger en enkel, men farlig tretrinnsprosess som utnytter måten store språkmodeller (LLM-er) håndterer manglende informasjon på .

Trinn 1: Utsetting for hallusinasjoner. Angripere systematisk utfordrer KI-modeller for å oppdage "spøkelsesdomener" som modellene har en tendens til å dikte opp for spesifikke merkevarer . LLM-er kan generere "perfekt strukturerte, svært overbevisende URL-er" som peker til domener som aldri har vært registrert før .

Trinn 2: Registrering av spøkelsesdomenet. Når et hallusinert domene er identifisert, kjøper angriperen det uregistrerte domenet for noen få dollar, setter opp ondsinnet infrastruktur og venter .

Trinn 3: Utnyttelse av brukertillit. Offeret — enten det er et menneske eller en autonom KI-agent — følger den KI-genererte lenken og går rett i fellen . Innen en tradisjonell sikkerhetsfeed flagger domenet som ondsinnet, er skaden ofte allerede skjedd .

Dette representerer et betydelig skifte fra tradisjonell domenekvattering (cybersquatting). Klassisk domenekvattering baserer seg på menneskelige tastefeil eller forveksling av domener som "netflix-payments[.]com" . Spøkelseskvattering erstatter menneskelige feil med KI-hallusinasjoner og gjør modellens egen svakhet til angrepsvektoren .

Eksempler fra virkeligheten og relaterte teknikker

Palo Alto Networks har ikke offentliggjort spesifikke merkenavn eller domener som er fanget i spøkelseskvatteringskampanjer, men flere dokumenterte mønstre gir konkret kontekst .

Etterligning av kundeservice. Spøkelseskvattering kan brukes til å lage phishing-lenker som etterligner legitime merkevare- eller support-URL-er generert av et KI-system . Angrepet utnytter det faktum at brukere stoler mer på en lenke når den ser ut til å komme fra en KI-assistent .

KI-tema phishing og kvattering. Palo Alto Networks har rapportert om en boom i tradisjonelle malware- og phishing-teknikker som utnytter interesse for KI og ChatGPT . Mellom november 2022 og april 2023 observerte Unit 42 en 910% økning i månedlige registreringer av domener relatert til ChatGPT, og opptil 118 daglige deteksjoner av ChatGPT-relaterte ondsinnede URL-er . Angripernes mål er å lokke ChatGPT-brukere til tilsynelatende relaterte nettsteder designet for å infisere dem .

Relatert teknikk: "Slopsquatting." En parallell variant kalt slopsquatting retter seg mot KI-hallusinerte programpakkenavn i stedet for domenenavn . I denne modellen identifiserer angripere fabrikerte pakkenavn som LLM-er ofte anbefaler for kodingsoppgaver, registrerer disse navnene på offentlige pakkebibliotek som npm, PyPI eller RubyGems, og skjuler skadevare . Når en utvikler spør en KI-assistent om en løsning, foreslår assistenten trygt den imaginære pakken, og utvikleren installerer den i tillit til KIens autoritative tone . Forskning på tvers av 16 modeller viste at omtrent 19,7% av pakkene anbefalt av KI-kodeverktøy var fullstendig oppdiktede — over 205 000 hallusinerte pakkenavn .

Forsvar anbefalt av Palo Alto Networks

Palo Alto Networks skisserer flere forsvarslag for å redusere risikoen for spøkelseskvattering:

1. Proaktiv domenovervåking. Organisasjoner bør overvåke mistenkelige kvatteringsdomener. LLM-baserte systemer kan også brukes defensivt: forskning på DomainLynx viste at et sammensatt KI-system oppnådde 94,7% nøyaktighet på et datasett av 1 649 kvatteringsdomener, og oppdaget 34 359 kvatteringsdomener fra 2,09 millioner nye domener i en månedslang test i den virkelige verden .

2. Filtrering av nyregistrerte domener (NRD). Palo Alto Networks' Advanced DNS Security inkluderer en signatur for nyregistrerte domener (UTID 109020001) . Nyregistrerte domener er domener som nylig er lagt til av en TLD-operatør eller som har skiftet eier de siste 32 dagene, og mange brukes til ondsinnede aktiviteter som kommandoserver eller distribusjon av skadevare .

3. DNS-beskyttelse. DNS-sikkerhetskontroller kan inspisere eller blokkere trafikk til risikable domener, inkludert nyregistrerte domener som ofte misbrukes i phishing og sosial manipulering . Advanced URL Filtering (AURL), drevet av Precision AI og sanntids, inline dyp-læring detektorer, kan identifisere og blokkere aldri-før-sett phishing-domener når de dukker opp .

4. Brukeropplæring og verifisering av KI-utdata. Brukere bør behandle KI-genererte URL-er med forsiktighet og verifisere viktige utdata gjennom menneskelig gjennomgang, pålitelige databaser, API-er eller kuraterte kunnskapsbaser . Kryssjekking av KI-responser mot autoritative kilder er avgjørende for høyrisiko-bruksområder .

5. Sikkerhetsmekanismer for KI-agenter. Autonome agenter og KI-assisterte arbeidsflyter bør validere genererte URL-er, pakkenavn og andre eksterne ressurser mot pålitelige kilder før de hentes, installeres eller handles på . Dette er spesielt viktig for kodeassistenter, hvor slopsquatting-varianten utgjør en direkte risiko for utviklingspipelines .

Oppsummering

Spøkelseskvattering er en praktisk ny trussel som utnytter en kjent KI-svakhet — hallusinasjon — mot brukere som stoler på KI-genererte utdata . Angrepet utnytter akkurat den egenskapen som gjør LLM-er nyttige: deres evne til å generere troverdig innhold med selvtillit, selv når den underliggende referansen ikke eksisterer. For å forsvare seg mot dette trenger organisasjoner en lagdelt tilnærming som kombinerer proaktiv domenovervåking, streng DNS/NRD-filtrering, brukeropplæring og sikkerhetsmekanismer for KI-agenter som behandler KI-genererte URL-er som upålitelige inntil de er uavhengig verifisert .