Hvad afslører det AI-styrede droneangreb i Zaporizjzja om autonome våben?

Et rapporteret russisk droneangreb i Zaporizjzja ser ud til at have overskredet en vigtig teknologisk grænse. Dronen brugte ikke blot AI til at stabilisere flyvningen, følge en rute eller søge mod et mål, som et menneske allerede havde valgt. Ukrainske embedsmænd, retsmedicinske efterforskere og The New York Times skriver, at systemet om bord selv identificerede og valgte det, der skulle angribes. Ved angrebet 6. juli styrtede dronen ind i en mur nær en tankstation og dræbte tre civile. 13

Den forsigtige konklusion er, at hændelsen bliver omtalt som den første dokumenterede dødelige brug af et fuldt autonomt AI-målsystem i Rusland-Ukraine-krigen – ikke nødvendigvis som den første brug af et autonomt våben nogensinde. 13

Hvad skete der i Zaporizjzja?

Den lille drone, der mindede om et model fly, blev angiveligt sendt mod en tankstation. Da den nærmede sig området, ser dens AI-system ud til at have søgt efter og valgt et mål – sandsynligvis propantanke – i stedet for at modtage den endelige angrebskommando fra en menneskelig operatør. Dronen styrtede derefter ind i en mur og eksploderede. Blandt de dræbte var den 19-årige Tetiana Bubynets. 146

At systemet tilsyneladende fejlede, er afgørende for at forstå sagen. Autonomi er ikke det samme som pålidelig eller menneskelignende intelligens. Et system kan genkende det forkerte objekt, fejlbedømme afstande og positioner eller fortsætte et angreb, selv om forholdene på jorden har ændret sig. I et byområde kan sådanne fejl føre til civile tab, uden at et menneske når at gennemgå den aktuelle situation eller gribe ind. 16

AI’en sad om bord på dronen

Ukrainske efterforskere fandt angiveligt en Nvidia Jetson Orin-enhed i vragresterne. Nvidia beskriver Jetson-serien som en forbrugerorienteret computerplatform til blandt andet robotteknologi og maskinsyn. Efterforskerne oplyste også, at dronen manglede en ekstern kommunikationsantenne, mens den retsmedicinske analyse pegede på kameraer om bord, lagrede terrænbilleder og software, der var trænet til at genkende måltyper som propantanke. 281011

Det er et eksempel på edge computing: Data behandles lokalt på enheden i stedet for at blive sendt til en fjern operatør eller en cloudtjeneste. På en drone kan det betyde, at flyet bruger kameraer og en indbygget computer til at fortolke omgivelserne, navigere og træffe den endelige beslutning om målvalg i realtid.

Forskellen er vigtig i et miljø præget af elektronisk krigsførelse. En fjernstyret drone er afhængig af en kommunikationsforbindelse og kan miste sin funktion, hvis signalet eller videofeedet bliver forstyrret. En autonom eller delvist autonom drone kan fortsætte dele af sin mission, selv efter at forbindelsen er afbrudt.

Rapporteringen fra krigen tyder på, at både Rusland og Ukraine integrerer AI i navigation, objektgenkendelse, styring og målsporing. Omfanget af fuldt autonome systemer er dog fortsat vanskeligt at verificere uafhængigt.

Det er ikke al AI i droner, der er autonomt

Ordet ”autonom” dækker over flere forskellige funktioner:

• Flyvehjælp: Stabilisering af dronen eller undvigelse af forhindringer.
• Navigation: Følge en forprogrammeret rute eller bruge visuel information, når satellitnavigation er forstyrret.
• Målsporing: Holde fast på et objekt, som et menneske allerede har valgt.
• Slutstyring: Søge mod et mål, efter at en person har identificeret og godkendt det.
• Måludvælgelse: Søge efter, identificere, vælge og angribe et objekt uden yderligere menneskelig indgriben.

Den sidste kategori er den mest vidtgående. Den Internationale Røde Kors-Komité, ICRC, definerer autonomi i et våbens kritiske funktioner som evnen til at udvælge og angribe mål uden menneskelig indgriben.

Det er derfor, Zaporizjzja-hændelsen har vakt opsigt. Det rapporterede system ser ud til at have flyttet en del af ”kill chain” – rækken af trin fra at finde et mål til at anvende våbenmagt – fra en menneskelig operatør til software. Tidligere FPV-droner og mange såkaldte loitering-munitions-missioner kunne bruge automatisering, men var stadig afhængige af, at en person udpegede målet eller godkendte det endelige angreb. 46

Hvad Nvidia’s reaktion viser – og ikke viser

Nvidia har ifølge rapporterne sagt, at Jetson Orin er et civilt produkt til blandt andet studerende, udviklere og nystartede virksomheder, og at Jetson-serien ikke blev solgt af Nvidia i Rusland. Selskabet har samtidig erkendt, at produkterne kan være tilgængelige på videresalgsmarkeder, hvor det er vanskeligt at følge deres videre færden. 21819

At der findes en Nvidia-enhed i en russisk drone, beviser derfor ikke i sig selv, at Nvidia bevidst har leveret til det russiske militær eller overtrådt sanktioner. De foreliggende rapporter identificerer ikke indkøbsvejen og fastslår ikke, hvem der har videresolgt eller omdirigeret hardwaren.

Sagen blotlægger dog et bredere problem i forsyningskæden: Dobbeltanvendelig computerteknologi, der er udviklet til civil robotteknologi, kan videresælges, omdirigeres og indbygges i våben.

Det skaber et håndhævelsesproblem. Eksportregler kan forbyde direkte salg til et sanktioneret land, mens sekundære markeder, mellemled og globale elektronikforsyningskæder gør det sværere at fastslå, hvor en komponent ender. Hændelsen rejser dermed spørgsmål om sanktionsefterlevelse uden at dokumentere virksomhedens hensigt eller juridiske ansvar.

De juridiske og etiske konsekvenser

Kunstig intelligens skaber ikke en særlig juridisk kategori, hvor krigens almindelige regler ophører med at gælde. Den humanitære folkeret gælder også for våben med autonome funktioner. Centrale krav er blandt andet at skelne mellem militære mål og civile personer eller genstande, vurdere proportionalitet og tage alle praktisk mulige forholdsregler under et angreb.

Ansvarsspørgsmålet er mere kompliceret. Hvis en algoritme vælger målet, forsvinder ansvaret ikke ind i softwaren. Efterforskere skal stadig fastslå, hvem der har designet, testet, godkendt, programmeret, indsat og overvåget systemet – samt hvilke regler for magtanvendelse og sikkerhedsforanstaltninger der var på plads. Juridiske analyser har fremhævet behovet for at kunne spore et autonomt våbens funktion og virkninger tilbage til de relevante mennesker.

Det afgørende spørgsmål er derfor ikke blot, om et menneske befandt sig et sted i den overordnede mission. Det er, om en person havde reel og meningsfuld kontrol over den dødelige magtanvendelse: tilstrækkelig viden om mål og kontekst, klart definerede begrænsninger for systemet og mulighed for at gribe ind, suspendere eller afbryde angrebet, når det var praktisk muligt.

Hvad bør regler om autonome våben omfatte?

Hændelsen styrker opfordringerne til regler, der sikrer meningsfuld menneskelig kontrol over dødelig magt. Praktiske sikkerhedsforanstaltninger kan blandt andet være:

• klare begrænsninger for, hvilke mål, geografiske områder og driftsforhold et autonomt system må angribe;
• grundige våbengennemgange før indsættelse;
• test mod vildledning, fejlidentifikation og civile genstande i komplekse omgivelser;
• pålidelige funktioner til at afbryde, suspendere og bringe systemet sikkert til standsning;
• revisionsspor med logning af missioner og systembeslutninger;
• et tydeligt menneskeligt ansvar gennem hele forløbet – fra design og indkøb til indsættelse og brug; og
• undersøgelser efter angreb, der kan rekonstruere, hvad systemet registrerede, og hvorfor det handlede.

Europæiske stater har gentagne gange fastslået, at den humanitære folkeret gælder fuldt ud for autonome systemer, og at mennesker skal bevare evnen til at træffe de juridiske vurderinger, der er forbundet med dødelig magtanvendelse.

Den internationale debat omfatter blandt andet forslag om at forbyde systemer, der ikke kan anvendes i overensstemmelse med folkeretten, og regulere andre systemer gennem bindende krav til menneskelig kontrol og ansvarlighed.

Hvorfor konsekvenserne rækker langt ud over Ukraine

Den vigtigste læring kan være, hvor lidt hardware der skal til for at give et våben autonome funktioner. Et lille flystel, et kamera, en indbygget computer, software og en sprængladning kan flytte en afgørende beslutning om målvalg fra et menneske til en maskine, der arbejder lokalt på dronen. Jetson Orins civile oprindelse gør spørgsmålet særligt påtrængende: Evnen kræver ikke nødvendigvis en specialbygget militær supercomputer. 28

Mens Rusland og Ukraine videreudvikler AI-droner, kan autonomi blive mere udbredt i områder, hvor kommunikationsforbindelser er ustabile, og operatører er udsatte. Teknologien kan gøre droner mere modstandsdygtige over for jamming og mindske behovet for konstant manuel styring. Men den kan også forkorte beslutningstiden, forstørre konsekvenserne af softwarefejl og gøre det vanskeligere at beskytte civile i tætbefolkede byområder.

Det centrale spørgsmål er derfor ikke, om dronen var ”intelligent” i menneskelig forstand. Det er, om et relativt tilgængeligt edge-computersystem var nok til at lade et våben identificere og angribe et mål, uden at et menneske traf den endelige beslutning.

Hvis rapporteringen og de retsmedicinske fund holder, er Zaporizjzja-angrebet en advarsel om, at grænsen mellem AI-assistance og autonom dødelig magtanvendelse er ved at blive en praktisk realitet – mens de juridiske, tekniske og forsyningsmæssige sikkerhedsforanstaltninger stadig halter bagefter.