Phantom Squatting: Når AI's hallucinationer bliver våben mod dig

Trin 3: Udnyttelse af brugertillid. Ofrene – hvad enten det er et menneske eller en autonom AI-agent – følger det AI-genererede link og går lige i fælden . Når en traditionel sikkerhedsfeed først markerer domænet som ondsindet, er skaden ofte allerede sket .

Dette er et markant skift i forhold til traditionel 'cybersquatting'. Klassisk cybersquatting er afhængig af menneskelige tastefejl eller domæner, der ligner, f.eks. 'netflix-payments[.]com' . Phantom squatting erstatter menneskelige fejl med AI-hallucination og gør modellens egen svaghed til angrebsvektoren .

Virkelige eksempler og relaterede teknikker

Palo Alto Networks har ikke offentliggjort specifikke brandnavne eller domæner, der er fanget i phantom squatting-kampagner, men flere dokumenterede mønstre giver konkret kontekst .

Efterligning af kundesupport. Phantom squatting kan bruges til at oprette phishing-links, der efterligner legitime brand- eller support-URL'er genereret af et AI-system . Angrebet udnytter, at brugere kan have større tillid til et link, når det ser ud til at komme fra en AI-assistent .

AI-tematisk phishing og squatting. Palo Alto Networks har rapporteret om en boom i traditionelle malware- og phishing-teknikker, der udnytter interessen for AI og ChatGPT . Mellem november 2022 og april 2023 observerede Unit 42 en stigning på 910 % i månedlige registreringer af domæner relateret til ChatGPT og op til 118 daglige detektioner af ChatGPT-relaterede ondsindede URL'er . Angribernes mål er at lokke ChatGPT-brugere til tilsyneladende relaterede sider designet til at inficere dem .

Relateret teknik: 'Slopsquatting'. En parallel variant i forsyningskæden – kaldet slopsquatting – retter sig mod AI-hallucinerede softwarepakkenavne i stedet for domænenavne . I denne model identificerer angribere opdigtede pakkenavne, som sprogmodeller ofte anbefaler til kodningsopgaver, registrerer disse navne på offentlige repositories som npm, PyPI eller RubyGems og indlejrer malware . Når en udvikler spørger en AI-assistent om en løsning, foreslår assistenten selvsikkert fantome-pakken, og udvikleren installerer den i tillid til AI'ens autoritative tone . Forskning på tværs af 16 modeller viste, at cirka 19,7 % af pakker anbefalet af AI-kodningsværktøjer var fuldstændig opdigtede – over 205.000 hallucinerede pakkenavne .

Forsvar, som Palo Alto Networks anbefaler

Palo Alto Networks skitserer flere forsvarslag for at mindske risikoen for phantom squatting:

1. Proaktiv domæneovervågning. Organisationer bør overvåge for mistænkelige squatting-domæner. AI-baserede systemer kan også bruges defensivt: forskning i DomainLynx viste, at et sammensat AI-system opnåede 94,7 % nøjagtighed på et datasæt med 1.649 squatting-domæner og detekterede 34.359 squatting-domæner ud af 2,09 millioner nye domæner i en månedslang virkelig test .

2. Filtrering af nyligt registrerede domæner (NRD). Palo Alto Networks' Advanced DNS Security inkluderer en signatur for nyligt registrerede domæner (UTID 109020001) . Nyligt registrerede domæner er domæner, der for nylig er tilføjet af en TLD-operator eller har skiftet ejerskab inden for de sidste 32 dage, og mange bruges til at lette ondsindede aktiviteter såsom drift af kommando- og kontrolservere eller distribution af malware .

3. DNS-beskyttelse på netværkslaget. DNS-sikkerhedskontroller kan inspicere eller blokere trafik til risikable domæner, herunder NRD'er, der ofte misbruges i phishing og social engineering . Advanced URL Filtering (AURL), drevet af Precision AI og realtids-, inline deep learning-detektorer, kan identificere og blokere aldrig før sete phishing-domæner, når de opstår .

4. Brugeruddannelse og verifikation af AI-output. Brugere bør behandle AI-genererede URL'er med forsigtighed og verificere højrisiko-output gennem menneskelig gennemgang, betroede databaser, API'er eller kuraterede vidensbaser . Krydsreference af modelresponser mod autoritative kilder er afgørende for enhver højrisiko-anvendelse .

5. Sikkerhedsbarrierer for AI-agenter. Autonome agenter og AI-assisterede arbejdsgange bør validere genererede URL'er, pakkenavne og andre eksterne ressourcer mod betroede kilder, før de henter, installerer eller handler på dem . Dette er især vigtigt for kodningsassistenter, hvor slopsquatting-varianten udgør en direkte risiko for udviklingspipelines .

Bundlinje

Phantom squatting er en praktisk, ny trussel, der bevæbner en kendt AI-svaghed – hallucination – mod brugere, der stoler på AI-genererede output . Angrebet udnytter netop den egenskab, der gør sprogmodeller nyttige: deres evne til at generere plausibelt klingende indhold med selvtillid, selv når den underliggende reference ikke eksisterer. For at forsvare sig mod det har organisationer brug for en lagdelt tilgang, der kombinerer proaktiv domæneovervågning, streng DNS/NRD-filtrering, brugeruddannelse og sikkerhedsbarrierer for AI-agenter, der behandler AI-genererede URL'er som utroværdige, indtil de er uafhængigt verificeret .