Co odhalil útok dronu s umělou inteligencí v Záporoží

Nahlášený ruský útok dronu v Záporoží zřejmě překročil důležitou technologickou hranici. Dron podle ukrajinských představitelů, forenzních expertů a reportáže The New York Times nepoužíval umělou inteligenci jen ke stabilizaci letu, sledování trasy nebo navádění na cíl, který předem vybral člověk. Jeho palubní systém měl samostatně rozpoznat a zvolit objekt, na který zaútočí. Při útoku 6. července dron narazil do zdi poblíž čerpací stanice a výbuch zabil tři civilisty. 13

Dostupné důkazy podporují opatrný závěr: incident je popisován jako první zdokumentované smrtící použití plně autonomního systému pro výběr cílů ve válce mezi Ruskem a Ukrajinou. Neznamená to ale nutně, že šlo o první použití autonomní zbraně vůbec. 13

Co se v Záporoží stalo

Malý dron připomínající model letadla byl podle dostupných informací nasměrován k čerpací stanici. V její blízkosti měl jeho systém pomocí umělé inteligence vyhledat a zvolit konkrétní cíl – pravděpodobně propanové nádrže – namísto toho, aby od člověka obdržel poslední příkaz k útoku. Dron však narazil do zdi a explodoval. Zahynula devatenáctiletá Tetiana Bubynetsová a další dva civilisté. 146

Právě selhání dronu je pro pochopení případu zásadní. Autonomie neznamená spolehlivou ani „lidskou“ inteligenci. Systém může zaměnit objekt, špatně odhadnout jeho polohu nebo pokračovat v útoku poté, co se situace na místě změnila. V městském prostředí mohou takové chyby proměnit vojenské rozhodnutí v civilní oběti – bez člověka, který by v poslední chvíli posoudil aktuální situaci nebo útok zastavil. 16

Počítač přímo na palubě dronu

Ukrajinští vyšetřovatelé údajně ve zbytcích dronu nalezli modul Nvidia Jetson Orin. Nvidia řadu Jetson popisuje jako kompaktní výpočetní platformu pro civilní využití, například v robotice a strojovém vidění. Vyšetřovatelé zároveň uvedli, že dron neměl externí komunikační anténu. Forenzní analýza měla odhalit palubní kamery, uložené snímky terénu a software vytrénovaný k rozpoznávání kategorií cílů, mezi nimiž byly například propanové nádrže. 281011

Jde o příklad takzvaného edge computingu, tedy výpočtů přímo na zařízení. Dron nemusí odesílat obraz vzdálenému operátorovi ani se spoléhat na cloud. Kamera a palubní počítač mohou scénu vyhodnotit přímo za letu, pomoci s navigací a učinit rozhodnutí o závěrečném navedení na cíl.

Tento rozdíl je důležitý zejména v prostředí elektronického boje. Dálkově řízený dron potřebuje funkční komunikační spojení a jeho účinnost může výrazně klesnout, pokud protivník ruší signál nebo obrazový přenos. Autonomní či částečně autonomní stroj může po ztrátě spojení pokračovat alespoň v části mise. Zprávy z války naznačují, že Rusko i Ukrajina zapojují umělou inteligenci do navigace, rozpoznávání objektů, navádění a sledování cílů. Rozsah skutečně plně autonomního nasazení však zůstává obtížně nezávisle ověřitelný.

Ne každý dron s AI je autonomní zbraň

Označení „autonomní“ může popisovat několik různých funkcí:

• Pomoc při letu: stabilizace stroje nebo vyhýbání se překážkám.
• Navigace: let po předem naprogramované trase či orientace podle obrazu v situaci, kdy je rušen satelitní signál.
• Sledování cíle: udržování zaměření na objekt, který vybral člověk.
• Závěrečné navedení: přiblížení k cíli poté, co jej člověk identifikoval a schválil.
• Výběr cíle: vyhledání, rozpoznání, volba a napadení objektu bez dalšího zásahu člověka.

Nejzávažnější je poslední kategorie. Mezinárodní výbor Červeného kříže definuje autonomii v kritických funkcích zbraně jako schopnost vybrat a napadnout cíl bez lidského zásahu.

Právě proto případ ze Záporoží vzbudil takovou pozornost. Podle dostupných zjištění se část takzvaného „řetězce útoku“ – posloupnosti od nalezení cíle po použití síly – přesunula z lidského operátora na software. Dřívější dálkově řízené FPV drony a řada misí s povalující se municí mohly využívat automatizaci, obvykle však stále vyžadovaly, aby člověk označil cíl nebo schválil závěrečný útok. 46

Co ukazuje a neukazuje reakce Nvidie

Nvidia podle médií uvedla, že Jetson Orin je spotřebitelský produkt určený mimo jiné studentům, vývojářům a začínajícím firmám. Společnost také tvrdí, že řadu Jetson v Rusku přímo neprodávala. Zároveň připustila, že tyto produkty jsou dostupné na trzích s použitým zbožím, kde je jejich další pohyb obtížné sledovat. 21819

Samotný nález modulu Nvidia v ruském dronu proto neprokazuje, že společnost vědomě dodávala technologie ruské armádě nebo porušila sankce. Z dostupných zpráv není znám způsob, jakým se konkrétní komponent dostal k ruskému vojenskému průmyslu, ani kdo jej přeprodal či upravil.

Případ přesto odhaluje širší problém dodavatelských řetězců. Výpočetní technika původně určená pro civilní robotiku může být přeprodána, odkloněna a následně zabudována do zbraně. Přímý zákaz vývozu do sankcionované země tak nemusí stačit, pokud komponenty putují přes prostředníky, sekundární trhy a globální distribuční síť.

Právní a etické otázky

Umělá inteligence nevytváří zvláštní právní prostor, v němž přestávají platit pravidla války. Na zbraně s autonomními funkcemi se vztahuje mezinárodní humanitární právo. To mimo jiné vyžaduje rozlišovat mezi vojenskými cíli a civilisty či civilními objekty, posuzovat přiměřenost útoku a přijímat proveditelná preventivní opatření.

Složitější je otázka odpovědnosti. Pokud cíl vybere algoritmus, odpovědnost nepřechází na software. Vyšetřování musí stále zjistit, kdo systém navrhl, testoval, schválil, naprogramoval, nasadil a dohlížel na jeho použití. Důležité jsou také nastavená pravidla nasazení a bezpečnostní pojistky. Právní analýzy zdůrazňují, že provoz a účinky autonomní zbraně musí být zpětně přiřaditelné konkrétním lidským aktérům.

Nejde tedy jen o to, zda byl člověk někde přítomen v širším rámci mise. Klíčové je, zda měl nad použitím smrtící síly smysluplnou kontrolu: dostatečné informace o cíli a okolnostech, jasně vymezené hranice působení systému a možnost útok v proveditelném rozsahu přerušit, pozastavit nebo zrušit.

Jaká pravidla by měla řešit kontrolu zbraní

Incident posiluje výzvy k pravidlům, která zachovají smysluplnou lidskou kontrolu nad použitím smrtící síly. Mezi praktické pojistky mohou patřit:

• jasná omezení cílů, geografických oblastí a podmínek, v nichž smí autonomní systém působit;
• důkladné posuzování zbraní před jejich nasazením;
• testování proti klamným podnětům, chybnému rozpoznání a nepřehlednému prostředí s civilisty;
• spolehlivé funkce pro přerušení, pozastavení útoku a bezpečné selhání;
• auditovatelné záznamy o misi a rozhodování systému;
• přesně vymezená lidská odpovědnost od návrhu a nákupu až po nasazení a použití;
• vyšetřování po útoku, které dokáže rekonstruovat, co systém zaznamenal a proč jednal.

Evropské státy opakovaně potvrzují, že mezinárodní humanitární právo se na autonomní systémy vztahuje v plném rozsahu a že lidé si musí zachovat schopnost provádět právní posouzení spojená s použitím smrtící síly. Širší mezinárodní debata zahrnuje návrhy zakázat systémy, které nelze používat v souladu s humanitárním právem, a ostatní systémy regulovat vymahatelnými požadavky na lidskou kontrolu a odpovědnost.

Proč důsledky přesahují válku na Ukrajině

Nejdůležitějším zjištěním může být, jak málo hardwaru stačí k doplnění autonomie do zbraně. Malý letoun, kamera, palubní počítač, software a výbušná nálož mohou přesunout zásadní rozhodnutí o cíli ze vzdáleného člověka na stroj pracující přímo v terénu. Civilní původ modulu Jetson Orin činí tento problém zvlášť naléhavým: potřebná schopnost nemusí vyžadovat vojenský superpočítač vyvinutý speciálně pro tento účel. 28

Rusko i Ukrajina pokračují ve vývoji dronů s umělou inteligencí. Autonomie může být v prostředí nespolehlivého spojení stále běžnější, protože zvyšuje odolnost proti rušení a snižuje potřebu nepřetržitého ručního řízení. Zároveň však může zkrátit čas na rozhodnutí, znásobit následky softwarových chyb a ztížit ochranu civilistů v hustě zastavěných oblastech.

Ústřední otázkou proto není, zda byl dron „inteligentní“ v lidském smyslu. Jde o to, zda relativně dostupný systém edge computingu dokázal zbrani umožnit rozpoznat a napadnout cíl bez toho, aby člověk učinil poslední rozhodnutí. Pokud jsou dostupné reportáže a forenzní nálezy přesné, útok v Záporoží varuje, že hranice mezi pomocí umělé inteligence a autonomním použitím smrtící síly se stává praktickou realitou – zatímco právní, technické a dodavatelské pojistky za touto změnou zaostávají.