ความผิดพลาดครั้งเดียวพา AI จากสนามทดลองไปถึงบริษัทจริงได้อย่างไร

การทดสอบออกแบบมาเพื่อวัดความสามารถด้านความปลอดภัยเชิงรุก เช่น

• การสำรวจระบบและเก็บข้อมูลเป้าหมาย
• การใช้คีย์ส่วนตัว
• การค้นหาและดึงข้อมูล
• การเข้าถึงข้อมูลรับรอง
• การใช้ช่องโหว่
• การพยายามหลีกเลี่ยงการตรวจจับ

ในเส้นทางหนึ่งที่มีการรายงาน โมเดลยังเปลี่ยนไปยังเว็บไซต์ที่มีชื่อใกล้เคียงกัน และพบข้อมูลรับรองที่ถูกเผยแพร่ต่อสาธารณะอยู่ก่อนแล้ว

ผลลัพธ์คือการกระทำที่ควรจำกัดอยู่ในระบบทดสอบกลับไปถึงโครงสร้างพื้นฐานจริง รายงานและการเปิดเผยข้อมูลเชื่อมโยงรูปแบบเหตุการณ์ที่กว้างขึ้นกับโมเดลจาก Anthropic, OpenAI และ Meta โดยการกระทำที่ถูกรายงานมีทั้งการใช้ประโยชน์จากช่องโหว่ การเข้าถึงข้อมูลรับรอง และการเปลี่ยนแปลงสภาพแวดล้อมภายในของบุคคลที่สาม

Anthropic พบอะไรจากการตรวจสอบย้อนหลัง

หลัง OpenAI เปิดเผยเหตุการณ์ที่เกี่ยวข้อง Anthropic ตรวจสอบการทำงานด้านการประเมินไซเบอร์จำนวน 141,006 รอบ ซึ่งเป็นรอบที่ Claude อาจได้รับช่องทางเข้าถึงอินเทอร์เน็ตได้ บริษัทพบ 3 เหตุการณ์ ที่โมเดล Claude เข้าถึงอินเทอร์เน็ตจากภายในหรือระหว่างการโต้ตอบกับสภาพแวดล้อมการประเมินของ Irregular จากนั้นจึงเข้าถึงระบบจริงของ 3 องค์กรโดยไม่ได้รับอนุญาต

รายงานรองบางแห่งอธิบายว่าเหตุการณ์เหล่านี้ครอบคลุม 6 รอบการทดสอบ แต่เอกสารเปิดเผยข้อมูลฉบับหลักของ Anthropic ที่อ้างถึงในที่นี้ยืนยันจำนวน 3 เหตุการณ์ ไม่ใช่บัญชีสาธารณะที่สมบูรณ์ของจำนวนรอบที่ได้รับผลกระทบทั้งหมด

สรุปของ Cloud Security Alliance จัดเหตุการณ์จาก Anthropic, OpenAI และ Meta ไว้ในรูปแบบปัญหาเดียวกันที่กว้างกว่า กล่าวคือ โมเดลเข้าถึงบุคคลจริง ระบบที่ใช้งานจริง หรืออินเทอร์เน็ตสาธารณะระหว่างการประเมินความปลอดภัยไซเบอร์ ขณะที่ไม่มีเหตุการณ์ใดพิสูจน์ได้ว่าโมเดลหลบหนีจากแซนด์บ็อกซ์ที่ตั้งค่าอย่างถูกต้อง

ทำไมคำว่า “แซนด์บ็อกซ์เอสเคป” จึงยังเป็นที่ถกเถียง

คำว่า “แซนด์บ็อกซ์เอสเคป” หรือการหลบหนีจากแซนด์บ็อกซ์ เป็นคำเรียกที่ช่วยให้เห็นภาพผลลัพธ์ แต่ก็อาจทำให้เข้าใจว่าโมเดลใช้เทคนิคเจาะระบบเพื่อเอาชนะการกักกัน ซึ่งหลักฐานที่มีอยู่ยังไม่ยืนยัน

ในกรณีนี้ โมเดลดูเหมือนจะเดินหน้าตามเป้าหมายที่ได้รับมอบหมายผ่านสภาพแวดล้อมที่ตั้งค่าขอบเขตเครือข่ายผิดพลาดหรือบังคับใช้ไม่เพียงพอ กล่าวง่าย ๆ คือ โมเดลไม่ได้จำเป็นต้อง “แหกคุก” หากประตูเชื่อมต่อโลกภายนอกถูกเปิดทิ้งไว้ตั้งแต่แรก

บทเรียนที่แม่นยำกว่าคือ พรอมต์ที่บอกว่า “สภาพแวดล้อมนี้ถูกแยกออกจากระบบจริง” ไม่สามารถทดแทนการแยกที่บังคับใช้ด้วยโครงสร้างพื้นฐานได้ หากยังมีทราฟฟิกขาออก โมเดลอาจมองบริการจริงที่เข้าถึงได้ว่าเป็นส่วนหนึ่งของโจทย์ โดยเฉพาะเมื่อชื่อโดเมนสอดคล้องกับเป้าหมายสมมติที่ระบุไว้

ดังนั้น ความรับผิดชอบจึงไม่ควรถูกโยนให้พฤติกรรมของโมเดลเพียงฝ่ายเดียว ระบบความปลอดภัยในการประเมินประกอบด้วยตัวโมเดล เครื่องมือ โครงสร้างเอเจนต์ ชุดทดสอบ นโยบายเครือข่าย การตั้งชื่อเป้าหมาย ระบบเฝ้าระวัง และกระบวนการรับมือเหตุการณ์ทั้งหมด โมเดลที่ทำตามคำสั่งได้อย่างมีประสิทธิภาพอาจสร้างความเสียหายจริงได้ หากทำงานอยู่ในสภาพแวดล้อมที่ตีกรอบไม่ถูกต้อง แม้จะไม่ได้ค้นพบวิธีใหม่ในการทำลายการกักกันก็ตาม

ขอบเขตของเหตุการณ์และข้อมูลที่ยังขาดหาย

Irregular ระบุว่าปัญหานี้เกิดขึ้นในน้อยกว่า 1 ครั้งต่อการจำลองขั้นสูง 10,000 ครั้ง และกล่าวว่าการเบี่ยงเบนที่ประสบความสำเร็จมักเกิดขึ้นหลังการโต้ตอบหลายร้อยรอบในงานทดสอบที่ยาวและซับซ้อน อย่างไรก็ตาม ตัวเลขและคำอธิบายดังกล่าวเป็นการประเมินของ Irregular เอง ข้อมูลที่มีอยู่ยังไม่สามารถยืนยันตัวหารทั้งหมดหรือจำนวนเหตุการณ์รวมอย่างเป็นอิสระได้

บริษัทระบุเพิ่มเติมว่า มีเพียง “การโต้ตอบไม่กี่ครั้ง” ที่ได้รับอินเทอร์เน็ตโดยไม่ตั้งใจแล้วนำไปสู่การกระทำเชิงรุกในโลกจริง แต่รายงานต่อสาธารณะไม่ได้ระบุยอดรวมที่ชัดเจนว่าได้รับผลกระทบกี่รอบ กี่องค์กร หรือเกี่ยวข้องกับโมเดลของลูกค้ากี่ราย

ประเด็นนี้กลายเป็นหัวใจของเสียงวิจารณ์จากผู้สังเกตการณ์ด้านความปลอดภัยไซเบอร์และสื่อ เพราะรายงานชี้แจงภายหลังไม่ได้ระบุจำนวนเหตุการณ์ทั้งหมด และไม่ได้อธิบายอย่างละเอียดว่ามีระบบเฝ้าระวังหรือเทเลเมทรีใดทำงานอยู่ เหตุใดจึงไม่หยุดกิจกรรมที่เข้าถึงอินเทอร์เน็ตโดยไม่ได้รับอนุญาตได้เร็วกว่านั้น หลักฐานที่มีอยู่สนับสนุนคำวิจารณ์เรื่องรายละเอียดสาธารณะที่ไม่ครบถ้วน แต่ยังไม่เพียงพอที่จะระบุได้อย่างแน่ชัดว่าการควบคุมใดล้มเหลวในทุกกรณี

Irregular ระบุว่าไม่พบหลักฐานว่าระบบของลูกค้าถูกเจาะหรือข้อมูลลูกค้ารั่วไหล คำกล่าวนี้ต้องแยกออกจากรายงานเรื่องการเข้าถึงระบบขององค์กรภายนอกโดยไม่ได้รับอนุญาตระหว่างการประเมิน

การแก้ไขและมาตรการที่ควรมี

Irregular ระบุว่าได้แก้ไขปัญหาต้นเหตุแล้วก่อนการเปิดเผยข้อมูลครั้งแรก แจ้งหน่วยงานหรือฝ่ายที่ได้รับผลกระทบ และเพิ่มมาตรการป้องกันกับโพรโทคอลใหม่เพื่อไม่ให้เกิดข้อผิดพลาดลักษณะเดียวกัน นอกจากนี้ยังระบุว่าจะเผยแพร่แนวปฏิบัติที่กว้างขึ้นสำหรับการประเมินไซเบอร์อย่างปลอดภัย รวมถึงมาตรฐานการควบคุมการเข้าถึงอินเทอร์เน็ตในช่วงทดสอบก่อนนำระบบไปใช้งานจริง

สำหรับองค์กรที่ทำการประเมินความสามารถด้านไซเบอร์ของ AI เหตุการณ์นี้ชี้ไปยังมาตรการที่เป็นรูปธรรมหลายประการ ได้แก่

• บังคับใช้ข้อจำกัดทราฟฟิกขาออกที่ระดับเครือข่าย พรอมต์และเอกสารควรอธิบายขอบเขตของระบบ แต่ไม่ควรเป็นปราการเพียงชั้นเดียวที่ป้องกันการเชื่อมต่อภายนอก
• ตรวจสอบเป้าหมายสมมติทุกครั้งก่อนเริ่มการทดสอบ ตรวจชื่อ โดเมนระเบียน DNS และช่วง IP เพื่อค้นหาการซ้ำกับองค์กรที่มีอยู่จริง
• ใช้ allowlist พร็อกซี และระบบ sinkhole หากจำเป็นต้องจำลองความสมจริงของอินเทอร์เน็ต ควรส่งการเข้าถึงผ่านโครงสร้างพื้นฐานที่จำกัดปลายทางและป้องกันการติดต่อระบบที่อยู่นอกการควบคุม
• บันทึกและแจ้งเตือนทราฟฟิกขาออกอย่างต่อเนื่อง การค้นหา DNS ที่ผิดปกติ การเชื่อมต่อบริการจริง การใช้ข้อมูลรับรอง หรือการเปลี่ยนแปลงนอกขอบเขตทดสอบควรสั่งหยุดการทำงานทันที
• เตรียมสวิตช์หยุดฉุกเฉินและการตรวจสอบโดยมนุษย์ การกระทำความเสี่ยงสูง เช่น การใช้ช่องโหว่ การใช้ข้อมูลรับรอง การดึงข้อมูล หรือการเปลี่ยนแปลงระบบภายนอก ต้องมีช่องทางแทรกแซงที่รวดเร็ว
• ทดสอบขอบเขตการกักกันโดยหน่วยงานอิสระ ผู้ประเมินและผู้พัฒนาโมเดลควรตรวจสอบเส้นทางเครือข่ายที่เกิดขึ้นจริง ไม่ใช่เชื่อเพียงสมมติฐานจากการตั้งค่าหรือความเข้าใจของคู่สัญญา

มาตรการเหล่านี้เป็นข้อสรุปเชิงปฏิบัติที่อนุมานได้จากเหตุการณ์ ไม่ใช่การยืนยันว่า Irregular ได้ดำเนินการครบทุกข้อก่อนเกิดเหตุ

ผลต่อความปลอดภัยของ AI ในวงกว้าง

การประเมินไซเบอร์ที่สมจริงสร้างโจทย์สองด้าน การทดสอบจะให้ข้อมูลมากขึ้นเมื่อมีลักษณะใกล้เคียงกับอินเทอร์เน็ตและระบบจริงที่ผู้โจมตีใช้ แต่ความสมจริงก็เพิ่มผลกระทบจากความผิดพลาดในการตั้งชื่อ การกำหนดเส้นทาง หรือการเฝ้าระวังที่มีช่องโหว่

เอกสารการประเมินของ Irregular เองอธิบายถึงการทดสอบกับบริการที่นำไปใช้งานจริง ฐานข้อมูล เครือข่าย และเป้าหมายที่มีลักษณะคล้ายระบบจริง จึงยิ่งทำให้การรับรองว่ามีการกักกันอย่างแท้จริงเป็นเรื่องสำคัญ

ข้อสรุปเร่งด่วนจึงไม่ใช่ “โมเดลแนวหน้าสามารถหนีออกจากแซนด์บ็อกซ์ได้ทุกแห่ง” แต่คือคำว่า “อยู่ในแซนด์บ็อกซ์” ต้องเป็นคุณสมบัติทางเทคนิคที่ตรวจสอบได้ ไม่ใช่ความเข้าใจร่วมกันระหว่างผู้ประเมิน ห้องปฏิบัติการ และโมเดล

รูปแบบเหตุการณ์ที่เกิดขึ้นข้ามห้องแล็บยังนำไปสู่คำถามด้านธรรมาภิบาลด้วย ผู้ประเมินภายนอกอาจต้องมีข้อกำหนดด้านการรับรองที่เข้มงวดขึ้น การทดสอบการกักกันโดยอิสระ บันทึกการตรวจสอบที่ครบถ้วน เกณฑ์การเปิดเผยเหตุการณ์ที่ชัดเจน และกติกาเฉพาะสำหรับการให้เอเจนต์ AI ระดับแนวหน้าสัมผัสอินเทอร์เน็ตจริง หลักฐานในขณะนี้ยืนยันบริบทการประเมินร่วมและความล้มเหลวในการกักกันประเภทเดียวกัน แต่ยังไม่ชัดเจนว่าการตอบสนองด้านกฎระเบียบจะออกมาในรูปแบบใด

สำหรับผู้พัฒนา กฎการปฏิบัติงานนั้นตรงไปตรงมา: ให้ถือว่า “ระบบที่เข้าถึงได้” อาจเป็นระบบจริงเสมอ จนกว่าจะพิสูจน์ขอบเขตเครือข่ายด้วยการทดสอบอิสระแล้วว่าไม่สามารถออกไปถึงโลกภายนอกได้