โดรน AI เลือกเป้าหมายเองจนพลเรือนเสียชีวิต: บทเรียนจากเหตุโจมตีซาปอริซเซีย

เหตุโจมตีด้วยโดรนที่เมืองซาปอริซเซียของยูเครนอาจเป็นจุดเปลี่ยนสำคัญของเทคโนโลยีการสงคราม เพราะโดรนลำดังกล่าวไม่ได้ใช้ AI เพียงเพื่อรักษาสมดุลการบิน เดินทางตามเส้นทาง หรือพุ่งเข้าหาเป้าหมายที่มนุษย์เลือกไว้แล้วเท่านั้น

เจ้าหน้าที่ยูเครน ผู้ตรวจสอบซากอากาศยาน และรายงานของ The New York Times ระบุว่า ระบบบนโดรนอาจสามารถระบุและเลือกสิ่งที่จะโจมตีได้ด้วยตัวเอง เหตุการณ์เมื่อวันที่ 6 กรกฎาคมทำให้ เทเทียนา บูบิเน็ตส์ นักศึกษาวัย 19 ปี และพลเรือนอีก 2 รายเสียชีวิต หลังโดรนพุ่งชนกำแพงใกล้สถานีบริการน้ำมันและระเบิด 13

ข้อสรุปที่ควรใช้ด้วยความระมัดระวังคือ นี่ถูกนำเสนอว่าเป็นการใช้ระบบ AI กำหนดเป้าหมายแบบอัตโนมัติเต็มรูปแบบที่ทำให้เกิดผู้เสียชีวิตครั้งแรกที่มีการบันทึกหลักฐานในสงครามรัสเซีย-ยูเครน ไม่ได้หมายความว่าเป็นการใช้อาวุธอัตโนมัติครั้งแรกของโลก 13

เกิดอะไรขึ้นที่ซาปอริซเซีย

โดรนขนาดเล็กที่มีรูปลักษณ์คล้ายเครื่องบินจำลองถูกตั้งโปรแกรมให้บินไปยังบริเวณสถานีบริการน้ำมัน เมื่อเข้าใกล้พื้นที่ ระบบ AI บนเครื่องดูเหมือนจะค้นหาและเลือกเป้าหมายเอง โดยคาดว่าน่าจะเป็นถังโพรเพน แทนที่จะรอคำสั่งโจมตีขั้นสุดท้ายจากผู้ควบคุมที่เป็นมนุษย์

จากนั้นโดรนได้ชนกำแพงและระเบิด ส่งผลให้เทเทียนา บูบิเน็ตส์ และพลเรือนอีก 2 รายเสียชีวิต 146

ความผิดพลาดของโดรนเป็นส่วนสำคัญของเรื่องนี้ เพราะแสดงให้เห็นว่า “อัตโนมัติ” ไม่ได้แปลว่าแม่นยำหรือมีความเข้าใจแบบมนุษย์ ระบบอาจจำแนกวัตถุผิด ประเมินตำแหน่งคลาดเคลื่อน หรือเดินหน้าปฏิบัติการต่อแม้สถานการณ์ภาคพื้นดินจะเปลี่ยนไปแล้ว ในเขตเมือง ความผิดพลาดเหล่านี้อาจเปลี่ยนการตัดสินใจทางทหารให้กลายเป็นความสูญเสียของพลเรือน โดยไม่มีมนุษย์ตรวจสอบภาพสุดท้ายหรือเข้าหยุดการโจมตีได้ทัน 16

Nvidia Jetson Orin กับ AI ที่ประมวลผลบนตัวโดรน

ผู้ตรวจสอบของยูเครนรายงานว่าพบโมดูล Nvidia Jetson Orin จากซากโดรน โดย Nvidia อธิบายตระกูล Jetson ว่าเป็นแพลตฟอร์มคอมพิวเตอร์ระดับผู้บริโภคสำหรับงานต่าง ๆ เช่น หุ่นยนต์และการมองเห็นด้วยคอมพิวเตอร์ หรือ machine vision 281011

ผู้ตรวจสอบยังรายงานว่าโดรนไม่มีเสาอากาศสื่อสารภายนอก ขณะที่การวิเคราะห์ทางนิติวิทยาศาสตร์พบกล้อง ข้อมูลภาพภูมิประเทศที่จัดเก็บไว้ และซอฟต์แวร์ที่ผ่านการฝึกให้รู้จักหมวดหมู่เป้าหมาย เช่น ถังโพรเพน 281011

เทคโนโลยีลักษณะนี้เรียกว่า edge computing หรือการประมวลผลที่ปลายทาง หมายถึงระบบนำข้อมูลมาวิเคราะห์บนอุปกรณ์เอง แทนการส่งวิดีโอไปให้ผู้ควบคุมระยะไกลหรือพึ่งพาบริการคลาวด์ สำหรับโดรน นั่นอาจหมายถึงการใช้กล้องและคอมพิวเตอร์บนเครื่องเพื่อทำความเข้าใจภาพ นำทาง และตัดสินใจในช่วงสุดท้ายของการกำหนดเป้าหมายแบบเรียลไทม์

ความแตกต่างนี้มีความสำคัญอย่างมากในสภาพแวดล้อมที่มีสงครามอิเล็กทรอนิกส์ โดรนที่บังคับจากระยะไกลต้องพึ่งพาสัญญาณสื่อสารและอาจสูญเสียประสิทธิภาพเมื่อสัญญาณหรือภาพวิดีโอถูกก่อกวน แต่โดรนที่ทำงานแบบอัตโนมัติหรือกึ่งอัตโนมัติอาจยังเดินหน้าบางส่วนของภารกิจได้แม้การสื่อสารขาดหาย

รายงานเกี่ยวกับสงครามระบุว่าทั้งรัสเซียและยูเครนกำลังผสาน AI เข้ากับการนำทาง การรู้จำวัตถุ การชี้นำ และการติดตามเป้าหมาย แม้ระดับการใช้งานระบบที่เลือกเป้าหมายเองอย่างเต็มรูปแบบยังยากต่อการตรวจสอบโดยอิสระ

AI ช่วยบินไม่เท่ากับอาวุธอัตโนมัติ

โดรนที่มี AI ไม่ได้เป็น “อาวุธอัตโนมัติ” ทั้งหมด คำว่าอัตโนมัติอาจหมายถึงความสามารถหลายระดับ ได้แก่

• ช่วยควบคุมการบิน: รักษาเสถียรภาพของอากาศยานหรือหลบสิ่งกีดขวาง
• การนำทาง: เดินทางตามเส้นทางที่ตั้งโปรแกรมไว้ หรือใช้ข้อมูลจากภาพเมื่อระบบนำทางด้วยดาวเทียมถูกรบกวน
• การติดตามเป้าหมาย: รักษาการล็อกเป้าวัตถุที่มนุษย์เลือกไว้แล้ว
• การชี้นำช่วงสุดท้าย: พุ่งเข้าหาเป้าหมายหลังมนุษย์ระบุและอนุมัติเป้าหมายดังกล่าว
• การเลือกเป้าหมาย: ค้นหา ระบุ เลือก และโจมตีวัตถุโดยไม่ต้องมีมนุษย์แทรกแซงเพิ่มเติม

ระดับสุดท้ายมีความสำคัญที่สุด คณะกรรมการกาชาดระหว่างประเทศ หรือ ICRC อธิบายว่าอาวุธมีความเป็นอัตโนมัติใน “หน้าที่สำคัญ” เมื่อสามารถเลือกและโจมตีเป้าหมายได้โดยไม่มีมนุษย์เข้ามาแทรกแซง

นี่คือเหตุผลที่เหตุการณ์ซาปอริซเซียได้รับความสนใจ ระบบที่มีรายงานนี้ดูเหมือนจะย้ายส่วนหนึ่งของ “ห่วงโซ่การสังหาร” หรือกระบวนการตั้งแต่การค้นหาเป้าหมายไปจนถึงการใช้กำลัง จากผู้ควบคุมที่เป็นมนุษย์ไปสู่ซอฟต์แวร์

โดรน FPV ที่ควบคุมจากระยะไกลและภารกิจของอาวุธลอยตัวจำนวนมากในอดีตอาจใช้ระบบอัตโนมัติบางส่วน แต่ยังต้องอาศัยมนุษย์ระบุเป้าหมายหรืออนุมัติการโจมตีขั้นสุดท้าย 46

คำชี้แจงของ Nvidia บอกอะไร และยังไม่ยืนยันอะไร

Nvidia ระบุว่า Jetson Orin เป็นผลิตภัณฑ์ระดับผู้บริโภคสำหรับพลเรือน เช่น นักเรียน นักพัฒนา และสตาร์ตอัป อีกทั้งบริษัทไม่ได้จำหน่ายผลิตภัณฑ์ตระกูล Jetson ในรัสเซีย อย่างไรก็ตาม Nvidia ยอมรับว่าอุปกรณ์เหล่านี้อาจหาได้ผ่านตลาดขายต่อ ซึ่งทำให้ติดตามเส้นทางหลังการขายได้ยาก 21819

การพบโมดูล Nvidia ในโดรนรัสเซียจึงไม่ได้พิสูจน์ด้วยตัวเองว่า Nvidia จงใจจัดหาอุปกรณ์ให้กองทัพรัสเซียหรือละเมิดมาตรการคว่ำบาตร รายงานที่มีอยู่ยังไม่ระบุเส้นทางการจัดซื้อหรือยืนยันว่าใครเป็นผู้เบี่ยงเบนฮาร์ดแวร์ไปใช้ทางทหาร

แต่กรณีนี้เผยให้เห็นปัญหาที่กว้างกว่า นั่นคืออุปกรณ์ประมวลผลแบบใช้ได้สองทาง หรือ dual-use ซึ่งออกแบบมาสำหรับหุ่นยนต์พลเรือน อาจถูกขายต่อ เบี่ยงเส้นทาง และนำไปประกอบเป็นอาวุธได้

จุดนี้ทำให้การบังคับใช้มาตรการควบคุมการส่งออกเป็นเรื่องซับซ้อน แม้การขายโดยตรงไปยังประเทศที่ถูกคว่ำบาตรอาจถูกห้าม แต่ตลาดมือสอง ตัวกลาง และห่วงโซ่อุปทานอิเล็กทรอนิกส์ระดับโลกทำให้ยากขึ้นที่จะรู้ว่าส่วนประกอบหนึ่งจะไปอยู่ที่ใดในท้ายที่สุด กรณีนี้จึงก่อให้เกิดคำถามด้านการปฏิบัติตามมาตรการคว่ำบาตร แต่ยังไม่ใช่หลักฐานยืนยันเจตนาหรือความรับผิดทางกฎหมายของบริษัท 210

ความเสี่ยงด้านกฎหมายและจริยธรรม

การใช้ AI ไม่ได้สร้างพื้นที่พิเศษที่ทำให้กฎสงครามทั่วไปหมดผลบังคับ กฎหมายมนุษยธรรมระหว่างประเทศยังใช้กับอาวุธที่มีฟังก์ชันอัตโนมัติ หลักสำคัญรวมถึงการแยกแยะเป้าหมายทางทหารออกจากพลเรือนและวัตถุพลเรือน การประเมินความได้สัดส่วน และการใช้มาตรการป้องกันที่ทำได้ในการโจมตี

ปัญหาคือความรับผิดชอบไม่ได้ย้ายไปอยู่ที่ซอฟต์แวร์เมื่ออัลกอริทึมเป็นผู้เลือกเป้าหมาย ผู้สอบสวนยังต้องพิจารณาว่าใครเป็นผู้ออกแบบ ทดสอบ อนุมัติ เขียนโปรแกรม นำระบบไปใช้งาน และกำกับดูแล รวมถึงตรวจสอบกฎการปะทะและมาตรการป้องกันที่มีอยู่

งานวิเคราะห์ทางกฎหมายชี้ว่าการทำงานและผลกระทบของอาวุธอัตโนมัติต้องสามารถย้อนตรวจสอบกลับไปยังมนุษย์หรือหน่วยงานที่เกี่ยวข้องได้ มิฉะนั้นจะประเมินหรือกำหนดความรับผิดของรัฐและบุคคลได้ยาก

คำถามในทางปฏิบัติจึงไม่ใช่เพียงว่า “มีมนุษย์อยู่ในภารกิจหรือไม่” แต่คือมนุษย์มีการควบคุมการใช้กำลังถึงระดับที่มีความหมายหรือไม่ กล่าวคือ เข้าใจเป้าหมายและบริบทอย่างเพียงพอ กำหนดขอบเขตการทำงานของระบบไว้อย่างชัดเจน และสามารถแทรกแซง ระงับ หรือยกเลิกการโจมตีได้เมื่อทำได้

กติกาควบคุมอาวุธควรรับมืออย่างไร

เหตุการณ์นี้เพิ่มแรงกดดันให้เกิดกติกาที่รักษาการควบคุมกำลังสังหารไว้ภายใต้มนุษย์ มาตรการที่ถูกเสนอในงานด้านกฎหมายและนโยบาย ได้แก่

• กำหนดขอบเขตชัดเจนว่าอาวุธอัตโนมัติสามารถโจมตีเป้าหมาย พื้นที่ และในสภาพแวดล้อมใดได้บ้าง
• ตรวจสอบอาวุธก่อนนำไปใช้งานอย่างเข้มงวด
• ทดสอบระบบต่อการหลอกลวง การจำแนกผิด และสภาพแวดล้อมในเมืองที่มีวัตถุพลเรือนปะปนจำนวนมาก
• มีฟังก์ชันยกเลิก ระงับ และระบบความปลอดภัยที่เชื่อถือได้
• จัดเก็บบันทึกภารกิจและการทำงานของระบบที่สามารถตรวจสอบย้อนหลังได้
• กำหนดความรับผิดชอบของมนุษย์ตลอดวงจร ตั้งแต่การออกแบบ จัดซื้อ นำไปใช้ ไปจนถึงการปฏิบัติการ
• สืบสวนหลังการโจมตีเพื่อสร้างภาพย้อนกลับได้ว่าระบบตรวจพบอะไร และเหตุใดจึงตัดสินใจลงมือ

ประเทศยุโรปยืนยันซ้ำหลายครั้งว่ากฎหมายมนุษยธรรมระหว่างประเทศมีผลอย่างเต็มที่กับระบบอัตโนมัติ และมนุษย์ต้องยังมีความสามารถในการตัดสินใจเชิงกฎหมายที่เกี่ยวข้องกับการใช้กำลังสังหาร

การถกเถียงในระดับนานาชาติยังรวมถึงข้อเสนอให้ห้ามระบบที่ไม่สามารถปฏิบัติตามกฎหมายมนุษยธรรมได้ และกำกับระบบประเภทอื่นด้วยข้อกำหนดที่บังคับใช้ได้จริงเกี่ยวกับการควบคุมโดยมนุษย์และความรับผิด

ทำไมผลกระทบจึงไม่ได้จำกัดอยู่แค่ยูเครน

บทเรียนสำคัญอาจอยู่ที่ฮาร์ดแวร์เพียงเล็กน้อยก็เพียงพอที่จะเติมความสามารถอัตโนมัติให้กับอาวุธได้ อากาศยานขนาดเล็ก กล้อง คอมพิวเตอร์บนเครื่อง ซอฟต์แวร์ และวัตถุระเบิด อาจทำให้การตัดสินใจเรื่องเป้าหมายถูกย้ายจากมนุษย์ที่อยู่ห่างไกลไปสู่เครื่องจักรซึ่งทำงานอยู่ ณ จุดปฏิบัติการ

ต้นกำเนิดของ Jetson Orin ในฐานะผลิตภัณฑ์สำหรับพลเรือนยิ่งทำให้ประเด็นนี้น่าจับตา เพราะความสามารถดังกล่าวไม่จำเป็นต้องอาศัยซูเปอร์คอมพิวเตอร์ทางทหารที่สร้างขึ้นโดยเฉพาะ 28

ขณะที่รัสเซียและยูเครนเดินหน้าพัฒนาโดรนที่ใช้ AI ความเป็นอิสระของระบบอาจแพร่หลายขึ้นในพื้นที่ที่การสื่อสารไม่เสถียรและผู้ควบคุมมีความเสี่ยง เทคโนโลยีอาจช่วยให้โดรนทนต่อการรบกวนสัญญาณได้ดีขึ้นและลดความจำเป็นในการควบคุมด้วยมืออย่างต่อเนื่อง แต่ก็อาจทำให้เวลาตัดสินใจสั้นลง ขยายผลกระทบจากข้อผิดพลาดของซอฟต์แวร์ และทำให้การคุ้มครองพลเรือนยากขึ้น โดยเฉพาะในเขตเมืองหนาแน่น

ประเด็นสำคัญจึงไม่ใช่ว่าโดรน “ฉลาด” ในความหมายแบบมนุษย์หรือไม่ แต่คือคอมพิวเตอร์ edge AI ที่เข้าถึงได้ในเชิงพาณิชย์อาจเพียงพอแล้วที่จะทำให้อาวุธราคาต่ำสามารถระบุและโจมตีเป้าหมายได้ โดยไม่มีมนุษย์เป็นผู้ตัดสินใจขั้นสุดท้าย

หากรายงานและผลการตรวจสอบทางนิติวิทยาศาสตร์ถูกต้อง เหตุการณ์ซาปอริซเซียคือสัญญาณเตือนว่าเส้นแบ่งระหว่าง AI ที่ช่วยมนุษย์กับการสังหารโดยอัตโนมัติกำลังเกิดขึ้นจริงในสนามรบ ขณะที่กติกาทางกฎหมาย มาตรการทางเทคนิค และระบบควบคุมห่วงโซ่อุปทานยังตามไม่ทัน