När drönaren själv väljer målet

Den rapporterade ryska drönarattacken i Zaporizjzja tycks ha passerat en viktig teknisk gräns. Drönaren använde inte bara AI för att stabilisera flygningen, följa en rutt eller söka sig mot ett mål som redan hade valts av en människa. Ukrainska myndigheter och kriminaltekniker, samt rapportering från The New York Times, uppger att systemet ombord själv identifierade och valde vad det skulle angripa. Den 6 juli kraschade drönaren in i en mur nära en bensinstation och dödade tre civila. 13

Den försiktiga slutsatsen är att detta rapporteras som det första dokumenterade dödliga fallet av ett helt autonomt AI-baserat målsökningssystem i kriget mellan Ryssland och Ukraina – inte nödvändigtvis det första autonoma vapnet som någonsin har använts. 13

Vad hände i Zaporizjzja?

Den lilla drönaren, som liknade ett modellflygplan, uppges ha styrts mot en bensinstation. När den närmade sig platsen ska AI-systemet ha sökt efter och valt ett mål, sannolikt propantankar, i stället för att invänta en sista attackorder från en mänsklig operatör. Drönaren kraschade sedan in i en mur och exploderade. Bland de döda fanns 19-åriga Tetiana Bubynets och två andra civila. 146

Det rapporterade haveriet är centralt för att förstå fallet. Autonomi innebär inte tillförlitlig eller människolik intelligens. Ett system kan känna igen fel objekt, bedöma dess position fel eller fortsätta ett angrepp trots att situationen på marken har förändrats. I en stadsmiljö kan sådana fel förvandla ett militärt målval till civila dödsoffer – utan att någon människa hinner granska den slutliga situationen eller ingripa. 16

Tekniken: AI som körs direkt på drönaren

Ukrainska utredare uppges ha bärgat en Nvidia Jetson Orin-modul ur vraket. Nvidia beskriver Jetson-serien som en plattform för bland annat robotik och maskinseende, avsedd för civila användningsområden. Utredarna rapporterade också att drönaren saknade extern kommunikationsantenn. Den kriminaltekniska analysen pekade samtidigt på ombordkameror, lagrade terrängbilder och programvara som tränats för att känna igen måltyper som propantankar. 281011

Detta är ett exempel på edge computing, eller lokal databehandling: systemet analyserar information på själva enheten i stället för att skicka videon till en fjärroperatör eller en molntjänst. På en drönare kan det innebära att kameran och datorn ombord tolkar omgivningen, navigerar och fattar ett slutligt beslut om målsökning i realtid.

Skillnaden är särskilt viktig i en miljö präglad av elektronisk krigföring. En fjärrstyrd drönare är beroende av en kommunikationslänk och kan förlora sin funktion om signalen eller videobilden störs ut. En autonom eller delvis autonom farkost kan däremot fortsätta delar av uppdraget även efter att kontakten brutits. Rapporteringen om kriget visar att både Ryssland och Ukraina integrerar AI i navigering, objektigenkänning, styrning och målspårning, även om omfattningen av helt autonom användning fortfarande är svår att verifiera oberoende.

Så skiljer sig autonomi från tidigare AI-stödda attacker

Alla AI-utrustade drönare är inte autonoma vapen. Begreppet kan syfta på flera olika funktioner:

• Flyghjälp: att stabilisera farkosten eller undvika hinder.
• Navigering: att följa en förprogrammerad rutt eller använda visuell information när satellitnavigeringen störs.
• Målspårning: att fortsätta följa ett objekt som en människa redan har valt.
• Slutlig styrning: att söka sig mot ett mål som en person redan har identifierat och godkänt.
• Målval: att själv söka efter, identifiera, välja och angripa ett objekt utan ytterligare mänskligt ingripande.

Den sista kategorin är den mest betydelsefulla. Internationella rödakorskommittén, ICRC, definierar autonomi i ett vapens kritiska funktioner som förmågan att välja och angripa mål utan mänsklig medverkan.

Det är därför händelsen i Zaporizjzja väckt så stor uppmärksamhet. Det rapporterade systemet verkar ha flyttat en del av den så kallade kill chain – kedjan från att hitta ett mål till att använda våld – från en mänsklig operatör till programvara. Tidigare fjärrstyrda FPV-drönare och många insatser med loitering-vapen kunde använda automatisering, men krävde fortfarande att en människa pekade ut målet eller godkände den slutliga attacken. 46

Vad Nvidias svar visar – och inte visar

Nvidia uppges ha sagt att Jetson Orin är en civil produkt i konsumentklass, såld till bland andra studenter, utvecklare och nystartade företag. Företaget har också uppgett att Jetson-serien inte såldes av Nvidia i Ryssland. Samtidigt har bolaget medgett att produkterna kan finnas på andrahandsmarknaden, där det är svårt att följa deras fortsatta väg. 21819

Att en Nvidia-modul hittats i en rysk drönare visar därför inte i sig att Nvidia medvetet levererat till den ryska militären eller brutit mot sanktioner. De rapporter som ligger till grund för denna artikel fastställer inte inköpsvägen och visar inte vem som vidareförmedlade hårdvaran. Däremot synliggör de ett bredare problem i leveranskedjan: datorutrustning med dubbla användningsområden, utvecklad för civil robotik, kan säljas vidare, avledas och byggas in i vapen.

Det skapar en svår lucka i kontrollsystemen. Exportregler kan förbjuda direkta leveranser till ett sanktionsbelagt land, medan mellanhänder, andrahandsmarknader och globala elektronikflöden gör det svårare att veta var en komponent till slut hamnar. Fallet väcker därför frågor om sanktionskontroll utan att bevisa företagsavsikt eller juridiskt ansvar.

De juridiska och etiska konsekvenserna

Artificiell intelligens skapar ingen separat juridisk kategori där krigets regler upphör att gälla. Den internationella humanitära rätten gäller även vapen med autonoma funktioner. Grundkraven omfattar att skilja militära mål från civila och civila objekt, bedöma proportionalitet och vidta genomförbara försiktighetsåtgärder vid ett angrepp.

Ansvarsfrågan blir däremot mer komplicerad. Om en algoritm väljer ett mål flyttas ansvaret inte över till programvaran. Utredare måste fortfarande fastställa vem som utformade, testade, godkände, programmerade, skickade iväg och övervakade systemet – liksom vilka insatsregler och skyddsåtgärder som fanns. Juridiska analyser har betonat att ett autonomt vapens funktion och konsekvenser måste kunna spåras tillbaka till relevanta mänskliga aktörer.

Den praktiska frågan är därför inte bara om en människa fanns med någonstans i det övergripande uppdraget. Det avgörande är om en person hade meningsfull kontroll över användningen av dödligt våld: tillräcklig kunskap om mål och sammanhang, tydliga begränsningar för systemets användning och möjlighet att ingripa, pausa eller avbryta angreppet när det är genomförbart.

Vad regler om vapenkontroll behöver hantera

Händelsen stärker kraven på regler som bevarar meningsfull mänsklig kontroll över dödligt våld. Praktiska skyddsåtgärder skulle kunna vara:

• tydliga begränsningar av vilka mål, geografiska områden och förhållanden ett autonomt system får angripa;
• rigorösa granskningar av vapensystem före användning;
• tester mot vilseledning, felidentifiering och civila objekt i komplexa miljöer;
• tillförlitliga funktioner för avbrytande, paus och felsäkring;
• granskningsbara loggar över uppdrag och systemhändelser;
• ett tydligt mänskligt ansvar genom hela kedjan – från utveckling och inköp till utplacering och användning; samt
• undersökningar efter angrepp som kan återskapa vad systemet upptäckte och varför det agerade.

Europeiska stater har vid upprepade tillfällen bekräftat att internationell humanitär rätt gäller fullt ut för autonoma system och att människor måste behålla förmågan att göra de juridiska bedömningar som krävs vid användning av dödligt våld. Den internationella debatten omfattar bland annat förslag om att förbjuda system som inte kan följa humanitär rätt och att reglera andra system genom bindande krav på mänsklig kontroll och ansvarsutkrävande.

Varför konsekvenserna sträcker sig långt utanför Ukraina

Den kanske viktigaste lärdomen är hur lite hårdvara som krävs för att ge ett vapen autonoma funktioner. En liten flygkropp, en kamera, en dator ombord, programvara och en sprängladdning kan flytta ett avgörande målbeslut från en människa på distans till en maskin som arbetar lokalt. Jetson Orins civila ursprung gör frågan särskilt angelägen: förmågan kräver inte nödvändigtvis en specialbyggd militär superdator. 28

När Ryssland och Ukraina fortsätter att utveckla AI-drönare kan autonomi bli vanligare i miljöer där kommunikationen är opålitlig och operatörer är utsatta. Tekniken kan göra systemen mer motståndskraftiga mot störsändning och minska behovet av ständig manuell styrning. Samtidigt kan den förkorta beslutstiden, förstora följderna av programvarufel och göra det svårare att skydda civila i tätbebyggda områden.

Kärnfrågan är därför inte om drönaren var ”intelligent” i mänsklig mening. Frågan är om en relativt lättillgänglig edge-dator räckte för att låta ett vapen identifiera och angripa ett mål utan att en människa fattade det slutliga beslutet. Om rapporteringen och de kriminaltekniska fynden stämmer är attacken i Zaporizjzja en varning: gränsen mellan AI-stöd och autonomt dödligt våld håller på att bli verklighet i strid – medan de juridiska, tekniska och leveranskedjemässiga skydden fortfarande släpar efter.