AI v kyberútocích: z pomocníka se stává koordinátor útoku

Zprávy Googlu, Anthropicu a Microsoftu se shodují v podstatném bodě: umělá inteligence zatím nepřinesla úplně nové druhy průniků do systémů. Mění ale zavedené útočné postupy na opakovatelné, vícekrokové pracovní toky. Modely mohou útočníkům pomáhat s plánováním, tvorbou obsahu a kódu, testováním, úpravami i škálováním operací — s menší potřebou specializované práce a kratší dobou aktivní obsluhy. Nejsilnější důkazy se týkají urychlování a koordinace známých útoků, nikoli plně nezávislých systémů fungujících bez významného lidského řízení. 107

Od chatového pomocníka k agentnímu pracovnímu toku

Google ve svém trackeru popsal posun od jednotlivých promptů k integrovaným agentním pracovním tokům. Ty mohou zahrnovat automatizované skenování, získávání přihlašovacích údajů, řešení technických problémů či střídání infrastruktury. Operace, která dříve vyžadovala více nástrojů a lidí, se tak může změnit v rychle iterující proces. 11

To neznamená, že by AI samostatně prováděla celý útok od začátku do konce. Microsoft naopak uvádí, že většina pozorovaného škodlivého využití AI se stále soustředí na tvorbu textu, kódu nebo médií. Útočníci ji používají například pro phishingové návnady, překlady, souhrny ukradených dat, generování či ladění malwaru a přípravu skriptů nebo infrastruktury. 10

K čemu útočníci AI používají

Napříč zveřejněnými zjištěními se objevuje průzkum a profilování cílů, vícejazyčný spear phishing, vývoj a opravy malwaru či skriptů, budování podpůrné infrastruktury, zpracování odcizených dat a materiály pro sociální inženýrství. Význam není v jediném škodlivém promptu, ale v navazujícím cyklu: vytvořit, otestovat, upravit a nasadit.

Anthropic ve svých popsaných případech upozornil, že útočník může model využít k přepracování kódu poté, co jej zachytí bezpečnostní produkt. Odcizené přihlašovací údaje nebo API klíče lze zároveň zneužít jako levný výpočetní zdroj pro další iterace. 87

Státem napojené skupiny i kyberzločinci

Anthropic uvedl, že narušil aktivity aktérů spojovaných s Ruskem, Čínou a Íránem, vedle finančně motivovaných skupin. Jeho případové studie se týkaly kybernetických operací, vlivových aktivit, sledování, podvodů, možného biologického zneužití, práce na konvenčních zbraních i extrakce schopností modelů. Reuters informoval mimo jiné o operaci spojované s Ruskem, která cílila na ukrajinské představitele, a o tvrzeních Anthropicu ohledně zneužívání Claude čínskými AI společnostmi. Jde ovšem o firemní atribuce a konkrétní případové studie, ne o úplné měřítko veškeré škodlivé aktivity. 724

Příkladem běžného útoku zdokonaleného lepším cílením jsou kampaně proti firemním účtům Microsoft 365. Microsoft je připsal aktérům napojeným na ShinyHunters, Helix a příbuzné vyděračské skupiny. Popisovaný postup začínal průzkumem a následovalo vydávání se za IT podporu s cílem získat přístup a odcizit cloudová data. Šlo o sociální inženýrství s návnadami souvisejícími s passkeys a jednotným přihlášením (SSO), ne o důkaz, že AI nezávisle provedla celý průnik. 3

Proč je phishing a vydávání se za jinou značku nebezpečnější

AI snižuje náklady na vytváření přesvědčivých podvodných zpráv, falešných podpůrných stránek, chatových interakcí, vícejazyčných variant i případných klonovaných hlasů či vizuálů. Obránci proto čelí většímu objemu, personalizaci a proměnlivosti obsahu. Filtry založené na známých šablonách nebo nápadných gramatických chybách jsou méně účinné. Microsoft konkrétně zaznamenal využití AI pro tvorbu phishingových návnad a překlady. 10

Extrakce modelů: útok také na samotnou AI

Google označuje systematické dotazování modelu Gemini s cílem získat jeho proprietární schopnosti jako destilaci, respektive útok na extrakci modelu. Jde především o problém ochrany duševního vlastnictví a schopností modelu, nejen o tradiční kyberkriminalitu. Útočník může přes legitimní přístupové rozhraní API model opakovaně testovat a získané odpovědi využít při trénování vlastního systému; poskytovatelé se snaží takové zneužívání dotazů rozpoznat a chránit model i jeho bezpečnostní opatření. 118

Veřejné zprávy popisovaly kampaně s mimořádně vysokým počtem promptů. Samotný rozsah ale neznamená, že se útočníkovi podařilo model věrně zkopírovat; ukazuje především, že modely, jejich rozhraní API a výpočetní kapacita jsou novým atraktivním cílem.

Obrana: problém rychlosti, ne nevyhnutelnosti

AI zlevňuje psaní, lokalizaci, průzkum, pomoc s kódem i průběžné zdokonalování klamavého obsahu. Menším kriminálním skupinám a hacktivistům tak může propůjčit část kapacit, které dříve vyžadovaly větší týmy. Pro obránce je těžší odlišit legitimní komunikaci od škodlivého obsahu, jenž je více personalizovaný a často se mění. Zprávy tak popisují nerovnováhu v rychlosti a škále — nikoli jistotu, že každý útok podpořený AI uspěje. 610

Dopady navíc přesahují phishing a krádeže účtů. Anthropicův report zahrnoval také pokusy o zneužití v oblasti biologického a konvenčního zbrojního vývoje. Debata o odpovědném vývoji AI proto zahrnuje sledování zneužití, kontroly účtů a API, limity dotazů, detekci extrakce modelů, sdílení informací o incidentech i ochranná opatření pro oblasti s vysokými následky. 162

Důležitá výhrada zůstává: tyto publikace zachycují odhalené a narušené případy. Dokládají schopnosti a vznikající provozní vzorce, samy o sobě však neprokazují, že autonomní útoky jsou již dominantní formou kyberkriminality. 7