Memory Poisoning: ภัยเงียบที่ฝังในความจำของ AI Agent แล้วค่อยโจมตีภายหลัง

ความจำถาวรทำให้ AI Agent มีประโยชน์มากขึ้น เพราะช่วยจำความต้องการของผู้ใช้ งานก่อนหน้า ขั้นตอนทำงาน และบริบทข้ามงานได้ แต่คุณสมบัติเดียวกันนี้ก็เปิดปัญหาด้านความปลอดภัยอีกแบบหนึ่ง: หาก Agent บันทึกเนื้อหาที่ไม่น่าเชื่อถือไว้เป็นความจำ ผู้โจมตีอาจไม่จำเป็นต้องทำให้ระบบแสดงอาการผิดปกติในทันที เพียงรอวันที่ Agent ดึงบันทึกที่ถูกปนเปื้อนนั้นกลับมาใช้ในงานอื่นที่ดูไม่เกี่ยวข้องกัน 15

การโจมตีแบบหน่วงเวลาด้วย memory poisoning ทำงานอย่างไร

Memory poisoning คือการโจมตีต่อ ความถูกต้องน่าเชื่อถือของข้อมูล ที่ Agent จะนำไปมองเป็นความรู้สะสมของตนในอนาคต ลำดับโดยทั่วไปมีดังนี้

1. การแทรกเนื้อหา (injection): Agent พบข้อมูลที่ชวนให้เข้าใจผิดหรือออกแบบมาเพื่อโจมตี ผ่านอินพุตหรือสภาพแวดล้อมที่ระบบได้รับอนุญาตให้อ่านตามปกติ
2. การฝังอยู่ในความจำ (persistence): เนื้อหานั้นถูกเขียนลงความจำระยะยาว ปะปนกับโน้ต ข้อเท็จจริง หรือบันทึกงานเดิมที่ถูกต้อง
3. ช่วงเงียบ (dormancy): Agent ยังทำงานทั่วไปได้ตามปกติ จึงอาจไม่มีใครสังเกตเห็นการบันทึกข้อมูลอันตรายในตอนแรก
4. การเรียกคืน (retrieval): คำถาม งาน ถ้อยคำ หรือบริบทที่มีความหมายคล้ายกันในอนาคต ทำให้ระบบดึงรายการที่ถูกปนเปื้อนขึ้นมา
5. การถูกกระตุ้น (activation): เนื้อหาที่ถูกเรียกคืนมีอิทธิพลต่อการให้เหตุผล คำแนะนำ หรือการใช้เครื่องมือของ Agent 125

ความต่างสำคัญจาก prompt injection ทั่วไปคือ เวลา การเขียนข้อมูลอันตรายลงความจำเพียงครั้งเดียวอาจส่งผลต่อเซสชันถัด ๆ ไป แม้การโต้ตอบครั้งแรกจะไม่ทำให้พฤติกรรมของ Agent เปลี่ยนแปลงอย่างเห็นได้ชัดก็ตาม 130

ผู้โจมตีไม่จำเป็นต้องเข้าถึงฐานข้อมูลความจำโดยตรงเสมอไป ตัวอย่างงานวิจัยด้าน web agent อธิบายการโจมตีข้ามเซสชันและข้ามเว็บไซต์ โดย Agent เข้าไปพบหน้าที่ถูกดัดแปลงระหว่างทำงานตามปกติ หน้านั้นปนเปื้อนความจำของ Agent และผลโจมตีค่อยถูกกระตุ้นในงานภายหลัง 2

งานวิเคราะห์ของ University of Calgary พบอะไร

นักวิจัยที่เกี่ยวข้องกับ University of Calgary วิเคราะห์ เส้นทางการโจมตีจำลองแบบหลายขั้นตอน 2,614 ชุด ที่เกี่ยวกับ LLM Agent ซึ่งมีความจำ แทนที่จะตัดสินเพียงว่าโจมตีสำเร็จหรือไม่สำเร็จ งานนี้มองว่าการถูกยึดพฤติกรรมพัฒนาขึ้นตามเวลาอย่างไร โดยแบ่งรูปแบบการโจมตีเป็น 4 ประเภท ได้แก่ chain poisoning, policy rewriting, backdoor triggering และ slow drift 14

Chain poisoning: วางข้อมูลตั้งต้นผิดให้เหตุผลต่อเป็นทอด ๆ

Chain poisoning คือการฝังสมมติฐานที่เป็นอันตรายไว้ตั้งแต่ต้นของกระบวนการหลายขั้น จากนั้นการให้เหตุผลในขั้นต่อ ๆ มาอาจต่อยอดจากสมมติฐานนั้นผ่านการตัดสินใจระหว่างทางที่ดูสมเหตุผล จนท้ายที่สุดนำไปสู่ผลลัพธ์ที่ไม่ปลอดภัย ประเด็นสำคัญคือ เมื่อมองแยกเป็นแต่ละขั้น อาจไม่มีขั้นไหนดูมุ่งร้ายอย่างชัดเจน 14

Policy rewriting: เปลี่ยนกติกาที่ Agent จำไว้

Policy rewriting คือการบิดเบือนกฎ การอนุมัติ ลำดับความสำคัญ หรือสมมติฐานในการปฏิบัติงานที่ Agent จดจำไว้ เมื่อเรียกใช้บันทึกที่ถูกแก้ไขในงานถัดไป Agent ก็อาจทำตามนโยบายที่ผู้โจมตีสอดแทรก แทนที่จะเป็นนโยบายที่ตั้งใจไว้ 14

Backdoor triggering: รอเงื่อนไขที่ใช่มากระตุ้น

บันทึกความจำลักษณะแบ็กดอร์อาจอยู่เงียบ ๆ จนกระทั่งงานในอนาคตมีตัวกระตุ้นที่ตรงกัน เช่น วลีเฉพาะ บริบทของงาน หรือความหมายที่ใกล้เคียง งานก่อนหน้านี้แสดงความเสี่ยงในวงกว้างว่า การพบข้อมูลปนเปื้อนเพียงครั้งเดียวอาจถูกบันทึกและถูกกระตุ้นได้ในงานข้ามเซสชันและข้ามเว็บไซต์ 214

Slow drift: ค่อย ๆ ทำให้พฤติกรรมเบนไป

Slow drift คือการเปลี่ยนแปลงเล็ก ๆ ที่ค่อย ๆ ผลักให้คำแนะนำหรือรูปแบบการกระทำของ Agent เบี่ยงไปตามเวลา งานวิจัยเกี่ยวกับการยึดความจำถาวรพบว่า งานภายหลังที่คล้ายคลึงกันทั้งในระดับคำหรือความหมาย สามารถดึงบันทึกที่ถูกปนเปื้อนขึ้นมาและทำให้เกิดรูปแบบที่ไม่ปลอดภัยต่อเนื่องข้ามเซสชันได้ 29

เหตุใดการทดสอบครั้งเดียวจึงอาจไม่เห็นปัญหา

ข้อค้นพบจาก Calgary ชี้ไปที่ปัญหาเชิงเวลา: การโจมตีบางแบบแยกจากพฤติกรรมปกติได้ยากในจังหวะที่มีการเขียนความจำ เพราะผลเสียถูกแยกออกจากจุดที่ข้อมูลถูกบันทึก และอาจปรากฏก็ต่อเมื่อมีการเรียกคืนในอนาคต 14

ความเสี่ยงจึงไม่จำเป็นต้องเพิ่มขึ้นเป็นเส้นตรง อาจเงียบผ่านการใช้งานหลายครั้ง แล้วพุ่งขึ้นเมื่อมีงาน บริบท หรือตัวกระตุ้นที่ทำให้ข้อมูลปนเปื้อนได้อันดับสูงพอจะถูกเรียกคืน งานวิจัยอื่นก็อธิบาย memory poisoning เป็นกระบวนการสองช่วง คือแทรกข้อมูลก่อน แล้วจึงกระตุ้นภายหลังผ่านการเรียกคืน 5

ดังนั้น การถามเพียงว่า “Agent พลาดกับพรอมป์ต์นี้หรือไม่” อาจให้ความมั่นใจเกินจริง เช่นเดียวกับการประเมินทีละขั้นที่รีเซ็ตบริบท ข้ามเซสชันระหว่างทาง หรือไม่เคยทดสอบงานในอนาคตที่เกี่ยวข้อง ก็อาจไม่สร้างเงื่อนไขที่ทำให้การโจมตีแสดงผลออกมา

หน่วยที่ควรทดสอบจึงต้องเป็น เส้นทางการทำงานทั้งหมด (full trajectory) ครอบคลุมเรื่องต่อไปนี้

• อินพุตที่ไม่น่าเชื่อถือ และการตัดสินใจเขียนลงความจำ
• เซสชันปกติที่เกิดคั่นกลาง
• คำถามในอนาคตและรูปแบบถ้อยคำที่ต่างกัน แต่มีโอกาสเรียกคืนข้อมูลเดียวกัน
• การให้เหตุผลของ Agent หลังเรียกคืนความจำ
• การดำเนินการที่ตามมาผ่านเครื่องมือหรือระบบภายนอก 214

เมื่อ Agent มีสิทธิ์ลงมือทำ ความเสี่ยงยิ่งสูงขึ้น

ผลทันทีของความจำที่ถูกปนเปื้อนอาจเป็นเพียงคำตอบที่ผิด แต่ความกังวลใหญ่กว่าจะเกิดขึ้นเมื่อ Agent มีอำนาจลงมือทำหลังอ่านความจำ เช่น ส่งอีเมล ทำงานผ่านเบราว์เซอร์ แก้ไขฐานข้อมูล หรือเรียกใช้เครื่องมืออื่น งาน eTAMP ชี้โดยเฉพาะว่า แนวป้องกันที่อาศัยสิทธิ์อนุญาตเพียงอย่างเดียวอาจหยุดภัยที่แทรกเข้ามาทางสภาพแวดล้อมซึ่ง Agent ได้รับอนุญาตให้ตรวจดูอยู่แล้วไม่ได้ 2

นั่นทำให้ระบบความจำไม่ใช่แค่ฟีเจอร์อำนวยความสะดวก แต่เป็นส่วนหนึ่งของ ขอบเขตความปลอดภัยในการปฏิบัติการ ระบบความจำที่รับเนื้อหาจากแหล่งไม่ไว้ใจ แล้วส่งกลับมาเป็นบริบทที่ดูมีประโยชน์ในภายหลัง อาจเปลี่ยนเหตุการณ์ที่แทบไม่สะดุดตาในอดีตให้กลายเป็นเหตุการณ์ด้านความปลอดภัยที่เกิดช้าได้ 14

เช็กลิสต์สำหรับทดสอบและลดความเสี่ยง

งานวิจัยที่อ้างถึงยังไม่ได้ยืนยันว่ามีวิธีป้องกันที่ใช้ได้กับทุกระบบ หรือระบุได้ว่าองค์กรต่าง ๆ นำกระบวนการรับมือเหตุการณ์ที่成熟แล้วไปใช้มากน้อยเพียงใด แต่หลักฐานสนับสนุนให้ปฏิบัติต่อความจำถาวรของ Agent เป็นระบบที่อ่อนไหวด้านความปลอดภัยและต้องมีมาตรการชัดเจน

1. ทดสอบข้ามเวลา ไม่ใช่แค่ข้ามพรอมป์ต์

ทำ adversarial evaluation ที่มีตัวกระตุ้นแบบหน่วงเวลา หลายเซสชัน งานปกติคั่นกลาง รูปแบบคำค้นเพื่อเรียกคืนที่หลากหลาย และสิทธิ์การใช้เครื่องมือใกล้เคียงของจริง รวมถึงทดสอบว่า Agent ฟื้นตัวได้หรือไม่หลังพบการเขียนความจำที่น่าสงสัย 214

2. เก็บที่มาของทุกการเขียนความจำ

บันทึกว่าความจำมาจากที่ใด เหตุใดจึงถูกจัดเก็บ และขณะเขียนมีเงื่อนไขความน่าเชื่อถืออย่างไร งานด้านการปกป้องความจำระยะยาวเสนอการบันทึกการเขียน การยกระดับสิทธิ์ และคำตัดสินอนุญาตหรือปฏิเสธในรูปแบบที่ตรวจพบการแก้ไขย้อนหลังได้ ซึ่งสะท้อนคุณค่าของประวัติความจำที่ตรวจสอบย้อนหลังได้ 31

3. แยก “ความจำ” ออกจาก “อำนาจสั่งการ”

โน้ตที่ถูกเรียกคืนไม่ควรมีน้ำหนักเท่ากับคำสั่งหรือนโยบายที่ผ่านการตรวจสอบแล้วโดยอัตโนมัติ ควรจำกัดสิ่งที่ Agent ทำได้เมื่ออาศัยความจำจากแหล่งความน่าเชื่อถือต่ำหรือจากภายนอก และแยกข้อมูลรับรองกับการกระทำที่มีผลกระทบสูงออกเป็นส่วน ๆ

4. ตรวจสอบทั้งตอนเขียนและตอนเรียกคืน

การตรวจจับต้องไม่มองเฉพาะพรอมป์ต์ขาเข้า ทีมงานควรมองเห็นว่ามีอะไรเข้าสู่ความจำ มีอะไรถูกเรียกคืนในภายหลัง และมีการกระทำใดตามมา แนวทางตรวจจับหนึ่งเสนอให้ดูการเปลี่ยนผ่านจากการเรียกคืนความจำไปสู่การกระทำที่สังเกตได้ แต่ผลที่รายงานขึ้นอยู่กับสถาปัตยกรรม จึงไม่ควรถูกมองเป็นคำตอบสากล 18

5. เตรียมการเพิกถอนและย้อนกลับ

แผนรับมือควรค้นหารายการที่น่าสงสัยได้ กักกันหรือลบออกได้ ยกเลิกสรุปที่สร้างต่อยอดจากรายการนั้นเมื่อทำได้ และทบทวนการกระทำทั้งหมดที่เกิดขึ้นหลัง Agent เรียกใช้ความจำที่อาจถูกปนเปื้อน

บทเรียนสำคัญ

Memory poisoning ทำให้คำถามด้านความปลอดภัยเปลี่ยนจาก “Agent ต้านทานพรอมป์ต์อันตรายได้ในตอนนี้หรือไม่” เป็น “Agent จัดการข้อมูลที่อาจมีอิทธิพลต่อการตัดสินใจในอีกนานต่อมาได้อย่างปลอดภัยหรือไม่”

การวิเคราะห์ 2,614 เส้นทางของงาน Calgary ย้ำว่า คำตอบนั้นไม่อาจตัดสินได้จากการโต้ตอบเพียงครั้งเดียว สำหรับ Agent ที่มีความจำ การทดสอบความปลอดภัยต้องติดตามทั้งเส้นทาง ตั้งแต่อินพุตที่ไม่น่าเชื่อถือ การจัดเก็บ การเรียกคืนที่เกิดขึ้นภายหลัง ไปจนถึงการลงมือทำในโลกจริง 14