Google sleept Chinees cybercrimineel netwerk voor de rechter dat zijn eigen Gemini AI gebruikte voor massale phishing

Hoe het Google's Gemini AI gebruikte

De groep zette Gemini op twee cruciale manieren in:

• Geautomatiseerd genereren van valse sites – De toolkit gebruikte Gemini om de HTML-code te genereren voor phishingpagina's die banken, bezorgdiensten (zoals FedEx en PostNL zouden hier voorbeelden van zijn), tolwegbedrijven en Google-inlogschermen nabootsten . De AI produceerde op grote schaal gepolijste, overtuigende nepwebpagina's.
• Omzeiling van veiligheidsfilters – De beheerders omzeilden Gemini's misbruikfilters door hun verzoeken te verpakken als onschuldige taken. Zo vroegen ze de AI bijvoorbeeld om "een HTML-pagina voor een pakketbezorgingsnotificatie te genereren", in plaats van expliciet om een phishingpagina te vragen .

Door het aanmaken van sites te automatiseren met AI, verlaagde Outsider de technische drempel voor potentiële oplichters. Een handmatig proces werd veranderd in een operatie op industriële schaal. In de aanklacht van Google wordt beweerd dat het netwerk meer dan 1 miljoen frauduleuze websites heeft ingezet en meer dan 2 miljoen oplichtings-sms'jes naar Amerikaanse mobiele bellers heeft gestuurd .

Groepsstructuur onthuld in de rechtszaak

Uit de rechtszaak en gerelateerde onderzoeken komt een geavanceerde, bijna zakelijke organisatiestructuur naar voren met ten minste vijf gespecialiseerde divisies :

Deze taakverdeling – gecombineerd met de AI-automatisering – stelde Outsider Enterprise in staat te opereren op een schaal en met een efficiëntie die je eerder van een legitiem softwarebedrijf zou verwachten dan van een traditionele criminele bende .

Bredere implicaties voor AI-gestuurde fraude

• De 'democratisering' van cybercriminaliteit – Door AI in te bouwen in een goedkope, gebruiksvriendelijke toolkit, stelde Outsider mensen zonder programmeerkennis in staat om geavanceerde phishingcampagnes te lanceren. Dit markeert een verschuiving van gerichte hacks naar gecommoditiseerde, AI-aangedreven fraud-as-a-service .
• Primeur voor de rechter – Dit is de eerste rechtszaak van Google vanwege misbruik van zijn generatieve AI-producten . Het signaleert dat techbedrijven niet langer alleen technisch misbruik blokkeren, maar nu ook bereid zijn om te procederen om de criminele toeleveringsketen te verstoren.
• Nieuw publiek-privaat handhavingsmodel – Google werkte samen met de FBI, AT&T, T-Mobile, Verizon en Lumen Technologies. Dit toont aan dat de verstoring van AI-gestuurde fraude gecoördineerde actie vereist van AI-providers, telecomaanbieders en wetshandhaving .
• Regelgevingshiaat benadrukt – Google gebruikte de rechtszaak om te pleiten voor bijgewerkte wetten die AI-specifiek misbruik aanpakken. Het gaat dan bijvoorbeeld om wetten die de bewapening van generatieve AI voor fraude strafbaar stellen, iets wat huidige wetgeving mogelijk niet goed dekt .

Belangrijke nuance: De rechtszaak is een civiele klacht, geen strafrechtelijke veroordeling. De beschuldigingen tegen Outsider Enterprise zijn niet bewezen voor de rechtbank en de beheerders van de groep zijn niet bij naam publiekelijk geïdentificeerd. De $1,9 miljard en 3,87 miljoen creditcards zijn FBI-schattingen die in de klacht worden genoemd, geen definitieve, rechterlijk vastgestelde cijfers .