Dron sterowany przez AI zabił cywilów. Atak z Zaporoża pokazuje nowe ryzyko autonomicznej broni

Zgłoszony rosyjski atak drona w Zaporożu może oznaczać przekroczenie ważnej granicy technologicznej. Maszyna nie miała jedynie stabilizować lotu, podążać wyznaczoną trasą ani naprowadzać się na cel wskazany wcześniej przez człowieka. Według ukraińskich urzędników, biegłych badających szczątki oraz dziennikarzy The New York Times system pokładowy samodzielnie rozpoznał i wybrał obiekt, który miał zaatakować. 6 lipca dron uderzył w ścianę w pobliżu stacji benzynowej. W wyniku eksplozji zginęło troje cywilów. 13

Najostrożniejszy wniosek brzmi: jest to opisywany jako pierwszy udokumentowany śmiertelny przypadek użycia w wojnie rosyjsko-ukraińskiej w pełni autonomicznego systemu AI wybierającego cel. Nie oznacza to jednak, że był to pierwszy autonomiczny system uzbrojenia użyty kiedykolwiek. 13

Co wydarzyło się w Zaporożu

Niewielki dron przypominający model samolotu miał zostać skierowany w stronę stacji benzynowej. W pobliżu obiektu jego system AI miał wyszukać i wybrać cel — najprawdopodobniej zbiorniki z propanem — zamiast otrzymać od człowieka ostateczne polecenie ataku. Następnie maszyna rozbiła się o ścianę i eksplodowała, zabijając 19-letnią Tetianę Bubynets oraz dwoje innych cywilów. 146

Kluczowe znaczenie ma właśnie sposób, w jaki doszło do awarii. Autonomia nie oznacza niezawodnej ani „ludzkiej” inteligencji. System może pomylić obiekt, błędnie ocenić jego położenie albo kontynuować działanie mimo zmiany sytuacji na ziemi. W środowisku miejskim taki błąd może doprowadzić do śmierci cywilów, jeśli człowiek nie analizuje już końcowej fazy ataku i nie ma czasu, by go przerwać. 16

AI działająca bezpośrednio na pokładzie drona

Ukraińscy śledczy mieli odzyskać z wraku moduł Nvidia Jetson Orin. Firma Nvidia opisuje linię Jetson jako platformę obliczeniową przeznaczoną m.in. do robotyki i widzenia maszynowego. Biegli poinformowali także, że dron nie miał zewnętrznej anteny łączności. Analiza kryminalistyczna miała wskazać na obecność kamer, zapisanych obrazów terenu oraz oprogramowania wyszkolonego do rozpoznawania kategorii celów, takich jak zbiorniki z propanem. 281011

To przykład przetwarzania brzegowego (ang. edge computing): dane są analizowane lokalnie, na urządzeniu, zamiast być przesyłane do operatora lub chmury. W przypadku drona oznacza to, że kamera i komputer pokładowy mogą wspólnie interpretować obraz, pomagać w nawigacji, a w końcowej fazie lotu podjąć decyzję o wyborze celu.

Ta różnica ma szczególne znaczenie w warunkach walki radioelektronicznej. Dron sterowany zdalnie potrzebuje sprawnego łącza i może stracić skuteczność, gdy jego sygnał lub obraz zostaną zakłócone. Maszyna autonomiczna albo częściowo autonomiczna może kontynuować część misji po utracie łączności. Doniesienia z wojny wskazują, że zarówno Rosja, jak i Ukraina wykorzystują AI do nawigacji, rozpoznawania obiektów, naprowadzania i śledzenia celów. Niezależne potwierdzenie skali w pełni autonomicznych operacji pozostaje jednak trudne.

Nie każdy dron z AI jest bronią autonomiczną

Słowo „autonomiczny” opisuje kilka różnych funkcji, które nie mają takiego samego znaczenia prawnego ani operacyjnego:

• Wsparcie lotu: stabilizacja maszyny i omijanie przeszkód.
• Nawigacja: podążanie zaprogramowaną trasą lub korzystanie z obrazu, gdy zakłócony zostaje sygnał satelitarny.
• Śledzenie celu: utrzymywanie namierzenia obiektu wcześniej wskazanego przez człowieka.
• Końcowe naprowadzanie: kierowanie się na cel po tym, jak człowiek już go zidentyfikował i zatwierdził atak.
• Wybór celu: wyszukanie, rozpoznanie, wybranie i zaatakowanie obiektu bez dalszej interwencji człowieka.

Najbardziej doniosła jest ostatnia kategoria. Międzynarodowy Komitet Czerwonego Krzyża definiuje autonomię w funkcjach krytycznych broni jako zdolność do wybierania i atakowania celów bez udziału człowieka.

Dlatego incydent z Zaporoża przyciągnął tak dużą uwagę. Opisywany system miał przenieść część tzw. łańcucha rażenia — sekwencji od wykrycia celu do użycia siły — z operatora na oprogramowanie. Wcześniejsze ataki z użyciem zdalnie sterowanych dronów FPV i amunicji krążącej mogły korzystać z automatyzacji, ale zwykle człowiek nadal wskazywał cel albo zatwierdzał końcowy atak. 46

Co odpowiedź Nvidii wyjaśnia, a czego nie dowodzi

Nvidia miała oświadczyć, że Jetson Orin jest cywilnym, konsumenckim produktem sprzedawanym m.in. studentom, deweloperom i startupom. Firma twierdzi również, że linia Jetson nie była sprzedawana w Rosji. Jednocześnie przyznała, że urządzenia są dostępne na rynku wtórnym, gdzie ich dalszy obieg jest trudny do śledzenia. 21819

Samo znalezienie modułu Nvidia w rosyjskim dronie nie dowodzi, że firma świadomie dostarczała sprzęt rosyjskim siłom zbrojnym albo naruszyła sankcje. Dostępne relacje nie wskazują drogi zakupu i nie ustalają, kto mógł przekierować urządzenie do zastosowania wojskowego. Sprawa pokazuje jednak szerszy problem łańcuchów dostaw: sprzęt podwójnego zastosowania, projektowany dla cywilnej robotyki, może zostać odsprzedany, przekierowany i wykorzystany w broni.

Powstaje w ten sposób luka w egzekwowaniu ograniczeń eksportowych. Bezpośrednia sprzedaż do objętego sankcjami państwa może być zakazana, ale pośrednicy, rynek wtórny i międzynarodowy obieg elektroniki utrudniają ustalenie, gdzie ostatecznie trafia komponent. Incydent rodzi więc pytania o zgodność z sankcjami, ale sam w sobie nie przesądza o zamiarze firmy ani jej odpowiedzialności prawnej.

Prawo i odpowiedzialność nie znikają wraz z algorytmem

Sztuczna inteligencja nie tworzy odrębnej strefy, w której przestają obowiązywać zasady prowadzenia wojny. Międzynarodowe prawo humanitarne ma zastosowanie także do broni wykorzystującej funkcje autonomiczne. Wymaga ono m.in. odróżniania celów wojskowych od cywilów i obiektów cywilnych, oceny proporcjonalności oraz podejmowania możliwych do wykonania środków ostrożności podczas ataku.

Bardziej skomplikowana jest kwestia odpowiedzialności. Jeśli cel wybiera algorytm, odpowiedzialność nie przechodzi na oprogramowanie. Śledczy muszą nadal ustalić, kto system zaprojektował, testował, zatwierdził, zaprogramował, wdrożył i nadzorował, a także jakie zasady użycia broni i zabezpieczenia obowiązywały. Analizy prawne podkreślają znaczenie możliwości odtworzenia działania autonomicznej broni i powiązania jej skutków z konkretnymi ludźmi.

Praktyczne pytanie nie brzmi więc tylko: czy człowiek uczestniczył w misji w szerokim sensie? Chodzi o to, czy miał realną kontrolę nad użyciem śmiercionośnej siły — wystarczająco dobrze rozumiał cel i kontekst, określił granice działania systemu oraz mógł, gdy było to możliwe, przerwać, zawiesić lub anulować atak.

Jakie zabezpieczenia powinny obejmować regulacje

Incydent wzmacnia apele o przepisy chroniące realną kontrolę człowieka nad użyciem śmiercionośnej siły. Wśród proponowanych zabezpieczeń znajdują się:

• precyzyjne ograniczenia dotyczące celów, obszarów i warunków, w których system autonomiczny może działać;
• rygorystyczne przeglądy broni przed jej wdrożeniem;
• testy odporności na zmylenie systemu, błędną identyfikację i obecność cywilów;
• niezawodne funkcje awaryjnego przerwania, zawieszenia i bezpiecznego wyłączenia;
• możliwe do sprawdzenia logi misji oraz działania systemu;
• jasno przypisana odpowiedzialność na etapie projektowania, zakupu, wdrażania i użycia;
• dochodzenia po ataku, które pozwalają odtworzyć, co system wykrył i dlaczego zadziałał.

Państwa europejskie wielokrotnie potwierdzały, że międzynarodowe prawo humanitarne w pełni dotyczy systemów autonomicznych, a ludzie muszą zachować zdolność do podejmowania ocen prawnych związanych z użyciem śmiercionośnej siły. Szersza debata międzynarodowa obejmuje propozycje zakazu systemów, których nie da się używać zgodnie z prawem humanitarnym, oraz regulowania pozostałych systemów za pomocą egzekwowalnych wymogów dotyczących kontroli człowieka i odpowiedzialności.

Dlaczego konsekwencje wykraczają poza Ukrainę

Najważniejsza lekcja może dotyczyć tego, jak niewiele sprzętu potrzeba, by nadać broni autonomię. Niewielki płatowiec, kamera, komputer pokładowy, model oprogramowania i ładunek wybuchowy wystarczą, by krytyczna decyzja o wyborze celu została przeniesiona z człowieka na maszynę działającą lokalnie. Cywilne pochodzenie Jetson Orin jest tu szczególnie istotne: taka zdolność nie musi wymagać specjalistycznego wojskowego superkomputera. 28

W miarę jak Rosja i Ukraina rozwijają drony wykorzystujące AI, autonomia może upowszechniać się na polach walki, gdzie łączność jest zawodna, a operatorzy są narażeni na atak. Technologia może zwiększyć odporność na zakłócenia i ograniczyć potrzebę stałego ręcznego sterowania. Jednocześnie może skrócić czas na podjęcie decyzji, zwielokrotnić skutki błędów oprogramowania i utrudnić ochronę cywilów, zwłaszcza w gęsto zabudowanych miastach.

Sedno sprawy nie polega na tym, czy dron był „inteligentny” w ludzkim znaczeniu. Chodzi o to, czy stosunkowo łatwo dostępny system przetwarzania brzegowego wystarczył, by broń rozpoznała i zaatakowała cel bez człowieka podejmującego ostateczną decyzję. Jeśli relacje i wyniki badań szczątków są trafne, atak w Zaporożu pokazuje, że granica między wsparciem AI a autonomicznym użyciem śmiercionośnej siły staje się realnym problemem operacyjnym — podczas gdy zabezpieczenia prawne, techniczne i dotyczące łańcuchów dostaw wciąż za nim nie nadążają.