Nvidia วางชั้นป้องกัน AI Agent ที่อาจทำงานนอกขอบเขต

Nvidia เปิดตัว Open Agent Safety Platform ซึ่งประกอบด้วยเครื่องมือควบคุมสองส่วน ได้แก่ OpenShell ซอฟต์แวร์รันไทม์ที่กำหนดว่า AI Agent เข้าถึงอะไรได้บ้าง และ Sentry แบบอ้างอิงการออกแบบสำหรับเฝ้าดูและตอบสนองต่อพฤติกรรมของ Agent จากโครงสร้างพื้นฐานภายนอกสภาพแวดล้อมซอฟต์แวร์ของมัน Nvidia ระบุว่าเครื่องมือเหล่านี้อาจป้องกันเหตุการณ์ด้านความปลอดภัยที่ Hugging Face ซึ่งเกี่ยวข้องกับ OpenAI Agent ที่ทำงานผิดปกติได้ อย่างไรก็ตาม นี่เป็นการประเมินย้อนหลังของบริษัท ไม่ใช่ผลทดสอบที่เกิดขึ้นจริงระหว่างเหตุการณ์นั้น10

OpenShell วางขอบเขตที่ Agent ปรับเองไม่ได้

OpenShell ให้ Agent ทำงานในสภาพแวดล้อมแซนด์บ็อกซ์ที่แยกจากระบบอื่นด้วยการควบคุมระดับเคอร์เนล นโยบายสามารถจำกัดการเข้าถึงไฟล์ ข้อมูลรับรอง กระบวนการทำงาน และเครือข่ายภายนอกได้ จึงเป็นรันไทม์ที่บังคับใช้ขอบเขต ไม่ใช่แค่การหวังให้ Agent ปฏิบัติตามคำสั่งที่ได้รับ13

เรื่องนี้สำคัญเมื่อ Agent ทำสิ่งที่ไม่คาดคิด เพราะสิทธิ์ของมันไม่ได้ขึ้นอยู่กับการตัดสินใจหรือคำสั่งของตัว Agent เพียงอย่างเดียว แต่ประสิทธิภาพของการจำกัดยังขึ้นกับวิธีติดตั้งและกำหนดค่าระบบด้วย

สำหรับ Agent ลูก หลักสำคัญคือแต่ละตัวต้องอยู่ภายใต้ขอบเขตที่บังคับใช้จริงเช่นกัน การสร้าง Agent ลูกเพียงอย่างเดียวไม่ได้พิสูจน์ว่ามันหลุดจากการควบคุม และข้อมูลที่มีอยู่ก็ไม่ได้ยืนยันว่าข้อจำกัดของ Agent แม่จะถูกส่งต่อให้ Agent ลูกทุกตัวโดยอัตโนมัติ OpenShell จึงเป็นแนวทางออกแบบด้านความปลอดภัย ไม่ใช่หลักประกันว่าจะป้องกันการหลุดจากระบบได้ทุกกรณี13

Sentry เพิ่มชั้นเฝ้าระวังนอกสภาพแวดล้อมซอฟต์แวร์

Sentry ถูกอธิบายว่าเป็นระบบเฝ้าระวังที่อาศัยฮาร์ดแวร์และเทคโนโลยี BlueField ของ Nvidia แทนที่จะพึ่งการควบคุมที่อยู่ในรันไทม์ของ Agent เพียงอย่างเดียว ระบบนี้มีจุดประสงค์เพื่อตรวจสอบกิจกรรมจากโครงสร้างพื้นฐานภายนอกสภาพแวดล้อมนั้น และรองรับการแทรกแซง เช่น การแยกการเชื่อมต่อระดับเครือข่าย

เครื่องมือทั้งสองทำหน้าที่คนละส่วน: OpenShell กำหนดและบังคับใช้สิทธิ์ระหว่างที่ Agent ทำงาน ส่วน Sentry เพิ่มชั้นตรวจสอบและตอบสนอง Nvidia นำเสนอการทำงานร่วมกันนี้ว่าอาจช่วยตรวจจับและจำกัดพฤติกรรมที่การควบคุมด้วยซอฟต์แวร์อย่างเดียวอาจมองไม่เห็น แต่ควรมองว่าเป็นสถาปัตยกรรมที่เสนอขึ้น ไม่ใช่หลักฐานว่าจะตรวจจับหรือหยุดภัยคุกคามได้ทุกชนิด10

คำกล่าวเรื่อง Hugging Face ยังไม่ใช่บทพิสูจน์

Nvidia ระบุว่าแพลตฟอร์มนี้น่าจะหยุดเหตุการณ์ที่ Hugging Face ได้ Reuters รายงานคำกล่าวดังกล่าวพร้อมข่าวเปิดตัว แต่ข้อมูลที่มีไม่ได้แสดงว่า OpenShell หรือ Sentry ถูกนำไปใช้ระหว่างเกิดเหตุ หรือมีการประเมินอย่างเป็นอิสระว่าเครื่องมือจะทำงานได้ผลแค่ไหนในสถานการณ์นั้น

ดังนั้น เหตุการณ์นี้เป็นบริบทที่ Nvidia ใช้อธิบายเหตุผลของแพลตฟอร์ม ไม่ใช่ผลทดสอบของแพลตฟอร์มเอง การบอกว่าเครื่องมืออาจรับมือกับความเสี่ยงประเภทหนึ่งได้ แตกต่างจากการพิสูจน์ว่าเครื่องมือป้องกันการเจาะระบบกรณีใดกรณีหนึ่งได้จริง

ขยายการรองรับ Arm และ Intel พร้อมพันธมิตรอย่าง Anthropic

Nvidia ระบุว่ากำลังทำให้ OpenShell ใช้งานได้กับโปรเซสเซอร์ของ Arm และ Intel ด้วย เพื่อขยายแนวทางรันไทม์นี้ให้ครอบคลุมแพลตฟอร์มนอกเหนือจากชิปของ Nvidia ขณะที่ Anthropic เป็นหนึ่งในพันธมิตรที่เกี่ยวข้องกับการเปิดตัวแพลตฟอร์ม

ความร่วมมือนี้สะท้อนความพยายามเพิ่มการรองรับและการนำไปใช้ แต่ไม่ได้ยืนยันด้วยตัวมันเองว่าพันธมิตรทุกรายนำเครื่องมือไปติดตั้งแล้ว หรือว่าระบบต่างชนิดกันจะมีฟีเจอร์ระดับฮาร์ดแวร์เหมือนกันทั้งหมด

เครื่องมือความปลอดภัยไม่ใช่คำตอบแทนกติกาและความรับผิด

แพลตฟอร์มนี้เน้นการควบคุมทางเทคนิค เช่น การกำหนดสิทธิ์ การบังคับใช้ขอบเขต การติดตามกิจกรรม และการตอบสนองเมื่อมีการละเมิดนโยบาย สิ่งเหล่านี้เป็นส่วนหนึ่งของการรักษาความปลอดภัยให้ Agent ได้ แต่การประกาศผลิตภัณฑ์ไม่ได้ตอบคำถามเรื่องความรับผิดชอบ การตรวจสอบ หรือกฎระเบียบทั้งหมด

เจนเซน หวง ซีอีโอของ Nvidia เคยให้ความเห็นว่าบริษัท AI ไม่ควรได้รับการยกเว้นจากกฎหมายทั่วไปด้านการผูกขาดหรือความรับผิดทางกฎหมาย จุดยืนดังกล่าวเป็นคนละประเด็นกับการออกแบบทางเทคนิคของแพลตฟอร์ม และชี้ให้เห็นว่าควรพิจารณามาตรการป้องกัน Agent กับความรับผิดชอบทางกฎหมายในภาพใหญ่เป็นคนละส่วนกัน