OSAA ของ Nvidia เปิดตัว SAFE เพียงหนึ่งสัปดาห์หลังรวมกลุ่ม

เป้าหมายคือการเปลี่ยนข้อมูลจากเหตุการณ์เฉพาะรายให้กลายเป็นข่าวกรองเพื่อการป้องกันร่วมกัน แทนที่ทุกบริษัทจะต้องเรียนรู้จากเหตุการณ์ prompt injection การรั่วไหลของข้อมูล หรือเอเจนต์ที่ทำงานนอกการควบคุมแบบแยกจากกัน

OSAA กำลังสร้างชุดเครื่องมือ ไม่ใช่ผลิตภัณฑ์ชิ้นเดียว

SAFE เป็นเพียงส่วนหนึ่งของแนวทาง OSAA พันธมิตรยังรวบรวมเทคโนโลยีโอเพนซอร์สและเทคโนโลยีที่สามารถตรวจสอบได้ ซึ่งครอบคลุมความปลอดภัยของเอเจนต์ AI ในหลายชั้น

ผลงานที่สมาชิกนำเสนอ ได้แก่

• Nvidia: ตระกูลโมเดลแบบเปิดน้ำหนัก (open-weight) ระบบรันไทม์ OpenShell สำหรับจำกัดสิ่งที่เอเจนต์เข้าถึงหรือดำเนินการได้ เครื่องมือทดสอบและตรวจสอบเอเจนต์ รวมถึง Garak เครื่องมือสแกนโอเพนซอร์สสำหรับความเสี่ยง เช่น การรั่วไหลของข้อมูล prompt injection และการเจลเบรก
• Okta: ตัวอย่างการใช้งานอ้างอิงสำหรับจัดการตัวตนและสิทธิ์ของเอเจนต์ โดยใช้โปรโตคอล Cross App Access เพื่อเชื่อมต่อเอเจนต์กับแอปพลิเคชันองค์กรภายใต้สภาพแวดล้อมที่ควบคุมได้มากขึ้น
• Red Hat: asago โครงการโอเพนซอร์สด้านธรรมาภิบาลที่มุ่งเชื่อมโยงนโยบายขององค์กรเข้ากับสิทธิ์ระหว่างการทำงาน และสร้างเส้นทางที่ตรวจสอบย้อนหลังได้จากนโยบายไปสู่การควบคุม
• Amazon: Strands Agents ชุดเครื่องมือโอเพนซอร์สสำหรับสร้างและประเมินเอเจนต์ พร้อม Cedar ภาษาสำหรับกำหนดสิทธิ์การเข้าถึง
• สมาชิกอื่น ๆ: โครงการด้านตัวตน เช่น Agent Guard และ Agent Watch ซึ่งสะท้อนว่า ความปลอดภัยของเอเจนต์ต้องครอบคลุมมากกว่าการสแกนโมเดลเพียงอย่างเดียว

เมื่อมองรวมกัน เครื่องมือเหล่านี้ครอบคลุมตัวตน สิทธิ์การเข้าถึง ชุดควบคุมเอเจนต์ พฤติกรรมระหว่างรันไทม์ การประเมิน ข้อมูล ธรรมาภิบาล และความทนทานต่อความผิดพลาด

ในอนาคต องค์ประกอบเหล่านี้อาจพัฒนาเป็นชุดการควบคุมร่วมที่องค์กรใช้จำกัดและติดตามการทำงานของเอเจนต์ AI รวมถึงรับมือเอเจนต์ที่มีพฤติกรรมเป็นอันตรายหรือทำงานเกินขอบเขตที่กำหนดไว้ได้ แต่ขณะนี้ยังเป็นเพียงความเป็นไปได้ ไม่ใช่ผลลัพธ์ที่เกิดขึ้นแล้ว

ใครเข้าร่วม OSAA และใครยังไม่เข้าร่วม

รายงานระบุว่า OSAA มีสมาชิกมากกว่า 120 องค์กรภายในสัปดาห์แรก โดยมีบริษัทสำคัญที่ถูกกล่าวถึง ได้แก่ Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat และ Visa ส่วน Amazon ถูกระบุว่าเป็นสมาชิกที่เข้าร่วมในภายหลัง

การก่อตั้งพันธมิตรเกิดขึ้นหลังจากจดหมายเปิดผนึกลงวันที่ 24 กรกฎาคม เรียกร้องให้ผู้กำหนดนโยบายสหรัฐฯ หลีกเลี่ยงข้อจำกัดต่อโมเดล AI แบบเปิดน้ำหนักที่กว้างเกินไปหรือเกิดขึ้นเร็วเกินไป จดหมายฉบับแรกมีบริษัทสนับสนุน 25 แห่ง รวมถึง Nvidia, Microsoft, Meta, IBM, Dell, Palantir และ Hugging Face โดยให้เหตุผลว่าการจำกัดโมเดลที่ดาวน์โหลดได้อาจบั่นทอนการแข่งขัน และผลักผู้ใช้งานไปสู่ระบบ AI ของจีน ขณะที่วอชิงตันกำลังพิจารณาท่าทีด้านความมั่นคงแห่งชาติ

ในช่วงที่มีรายงานข่าวจากงาน Black Hat Anthropic, OpenAI และ Google เป็นบริษัท AI รายใหญ่ที่ยังไม่ปรากฏในรายชื่อ OSAA อย่างไรก็ตาม ความเชื่อมโยงกับจดหมายเปิดผนึกมีรายละเอียดที่ไม่ตรงกันทุกแหล่ง รายงานบางฉบับระบุว่า OpenAI และ Google เข้าร่วมรายชื่อผู้ลงนามในภายหลัง ขณะที่รายงานอื่นกล่าวว่าทั้งสองไม่ได้อยู่ในกลุ่มผู้ลงนามชุดแรก

แหล่งข้อมูลที่มีอยู่ไม่ได้อธิบายว่าเหตุใดบริษัทเหล่านี้จึงยังไม่เข้าร่วม OSAA ดังนั้นจึงไม่ควรสรุปแรงจูงใจจากการไม่ปรากฏชื่อดังกล่าว

เหตุใดความเร็วของพันธมิตรจึงมีความหมาย

ข้อเสนอหลักของ OSAA คือ ความเปิดกว้างกับความปลอดภัยไม่จำเป็นต้องเป็นสิ่งที่ขัดแย้งกัน โมเดล เครื่องมือ วิธีประเมิน และบทเรียนจากเหตุการณ์ที่เปิดให้ตรวจสอบได้ อาจช่วยให้ผู้ป้องกันจำนวนมากขึ้นตรวจสอบความล้มเหลว ทำซ้ำช่องโหว่ และปรับใช้วิธีแก้ไขได้

SAFE พยายามสร้างสมดุลระหว่างความโปร่งใสกับการรักษาความลับ โดยให้การเก็บและวิเคราะห์เหตุการณ์เป็นความลับสำหรับผู้เกี่ยวข้อง ขณะเดียวกันก็เผยแพร่บทเรียนทั่วไปที่อิงหลักฐานให้ระบบนิเวศนำไปใช้ในวงกว้าง

การรวมตัวข้ามอุตสาหกรรมยังอาจช่วยสร้างอินเทอร์เฟซและแนวปฏิบัติร่วมกันระหว่างผู้พัฒนาโมเดล ผู้ให้บริการคลาวด์และโครงสร้างพื้นฐาน ผู้เชี่ยวชาญด้านตัวตน บริษัทความปลอดภัย และผู้ใช้งานระดับองค์กร หากโครงการเหล่านี้พัฒนาได้เต็มที่ ระบบ AI แบบเปิดอาจประเมิน ควบคุม และนำไปใช้งานอย่างรับผิดชอบได้ง่ายขึ้น

แนวทางดังกล่าวอาจช่วยสนับสนุนมุมมองเชิงนโยบายที่ว่า AI แบบเปิดน้ำหนักเป็นประเด็นด้านความสามารถในการแข่งขันของสหรัฐฯ โดยเฉพาะในช่วงที่ผู้กำหนดนโยบายกำลังถกเถียงว่าจะรับมือกับห้องปฏิบัติการ AI ของจีนอย่างไร แต่ OSAA ยังไม่ได้แสดงให้เห็นว่าช่วยเพิ่มความสามารถในการแข่งขันของสหรัฐฯ หรือลดความเสี่ยง AI เชิงระบบได้แล้ว

สิ่งที่วัดผลได้ในตอนนี้จึงมีขอบเขตชัดเจนกว่า นั่นคือ พันธมิตรที่มีสมาชิกมากกว่า 120 องค์กรได้ขยับจากการผลักดันนโยบาย AI แบบเปิดมาสู่ร่างแนวทางสาธารณะสำหรับการรายงานเหตุการณ์ความปลอดภัย AI ร่วมกัน พร้อมกับการนำเสนอเครื่องมือที่อาจกลายเป็นชั้นป้องกันที่ทำงานร่วมกันได้มากขึ้นในอนาคต