मेमरी पॉइज़निंग: AI एजेंट की पुरानी यादें कैसे बनती हैं देरी से सक्रिय होने वाला साइबर खतरा

स्थायी मेमरी AI एजेंट को अधिक उपयोगी बनाती है। वह उपयोगकर्ता की पसंद, पुराने काम, प्रक्रियाएं और अलग-अलग कार्यों का संदर्भ याद रख सकता है। लेकिन यही सुविधा एक अलग सुरक्षा जोखिम भी बनाती है। यदि किसी अविश्वसनीय स्रोत की सामग्री मेमरी में दर्ज हो जाए, तो हमलावर को तत्काल गड़बड़ी कराने की जरूरत नहीं होती। वह इंतजार कर सकता है कि एजेंट भविष्य के किसी बिल्कुल अलग काम में उस जहरीली एंट्री को फिर से निकाल ले। 15

देरी से सक्रिय होने वाला मेमरी-पॉइज़निंग हमला कैसे काम करता है

मेमरी पॉइज़निंग, एजेंट के उस जमा हुए ज्ञान की विश्वसनीयता पर हमला है जिसे वह बाद में अपना ही भरोसेमंद संदर्भ मान सकता है। इसका सामान्य क्रम इस तरह हो सकता है:

1. इंजेक्शन: एजेंट किसी सामान्य इनपुट या ऐसे डिजिटल वातावरण में भ्रामक अथवा दुर्भावनापूर्ण सामग्री देखता है, जिसे पढ़ने की उसे अनुमति है।
2. स्थायित्व: यह सामग्री दीर्घकालिक मेमरी में वैध नोट्स, तथ्यों या पुराने कार्य रिकॉर्ड के साथ दर्ज हो जाती है।
3. निष्क्रिय अवधि: एजेंट सामान्य काम करता रहता है, इसलिए शुरुआती मेमरी-राइट पर किसी का ध्यान नहीं जाता।
4. रिट्रीवल: भविष्य का कोई प्रश्न, कार्य, वाक्यांश या अर्थ की दृष्टि से मिलता-जुलता संदर्भ उस जहरीली एंट्री को वापस ले आता है।
5. सक्रियता: वापस मिली सामग्री एजेंट के तर्क, सलाह या किसी टूल के उपयोग को प्रभावित करती है। 125

सामान्य प्रॉम्प्ट इंजेक्शन से मुख्य फर्क समय का है। दुर्भावनापूर्ण मेमरी-राइट शुरुआती बातचीत में एजेंट के व्यवहार को बदले बिना भी भविष्य के सेशन को प्रभावित कर सकता है। 130

हर मामले में हमलावर को मेमरी डेटाबेस सीधे संपादित करने की जरूरत नहीं होती। वेब एजेंट पर हुए शोध में क्रॉस-सेशन और क्रॉस-साइट हमले का वर्णन है: सामान्य संचालन के दौरान एजेंट एक हेरफेर किए गए वेब पेज को देखता है, उसकी मेमरी दूषित हो जाती है और फिर किसी बाद के कार्य में हमला सक्रिय होता है। 2

यूनिवर्सिटी ऑफ कैलगरी के ट्रैजेक्टरी विश्लेषण में क्या देखा गया

यूनिवर्सिटी ऑफ कैलगरी से जुड़े शोधकर्ताओं ने मेमरी-सक्षम LLM एजेंटों से जुड़ी 2,614 सिम्युलेटेड मल्टी-स्टेप अटैक ट्रैजेक्टरी का विश्लेषण किया। उन्होंने इसे केवल “हमला सफल हुआ या नहीं” के सवाल तक सीमित नहीं रखा, बल्कि देखा कि समय के साथ समझौता कैसे विकसित होता है। अध्ययन में चार पैटर्न शामिल थे: चेन पॉइज़निंग, पॉलिसी रीराइटिंग, बैकडोर ट्रिगरिंग और स्लो ड्रिफ्ट। 14

चेन पॉइज़निंग

इसमें बहु-चरणीय प्रक्रिया की शुरुआत में एक हानिकारक आधार-मान्यता डाल दी जाती है। बाद का तर्क उसी आधार पर आगे बढ़ता है और देखने में सामान्य लगने वाले बीच के फैसले आखिरकार असुरक्षित नतीजे तक पहुंचा सकते हैं। सुरक्षा के लिहाज से अहम बात यह है कि हर अलग चरण को देखकर वह स्पष्ट रूप से दुर्भावनापूर्ण न लगे। 14

पॉलिसी रीराइटिंग

पॉलिसी रीराइटिंग में एजेंट की याद में मौजूद नियम, मंजूरियां, प्राथमिकताएं या संचालन संबंधी मान्यताएं बदल दी जाती हैं। बाद में जब एजेंट ये बदले हुए रिकॉर्ड निकालता है, तो वह निर्धारित नीति के बजाय हमलावर की डाली हुई नीति का पालन कर सकता है। 14

बैकडोर ट्रिगरिंग

बैकडोर जैसी मेमरी एंट्री तब तक निष्क्रिय रह सकती है, जब तक भविष्य के किसी कार्य में सही ट्रिगर—जैसे खास वाक्यांश, कार्य-संदर्भ या अर्थगत मिलान—न आ जाए। संबंधित शोध दिखाता है कि एक दूषित अवलोकन भी अलग-अलग सेशन और वेबसाइटों में भविष्य के काम के दौरान संग्रहित होकर सक्रिय हो सकता है। 214

स्लो ड्रिफ्ट

स्लो ड्रिफ्ट छोटे-छोटे बदलावों का नाम है, जो समय के साथ एजेंट की सलाह या कार्रवाई के तरीके को खिसकाते रहते हैं। स्थायी मेमरी समझौते पर शोध के अनुसार, शब्दों या अर्थ के स्तर पर मिलते-जुलते भविष्य के कार्य जहरीले रिकॉर्ड को फिर से उभार सकते हैं और सेशन के पार असुरक्षित पैटर्न पैदा कर सकते हैं। 29

एक बार की एजेंट टेस्टिंग यह हमला क्यों नहीं पकड़ पाती

कैलगरी विश्लेषण एक समय-संबंधी समस्या को रेखांकित करता है: इंजेक्शन के वक्त कुछ हमले सामान्य व्यवहार से अलग पहचानना कठिन हो सकते हैं। हानिकारक असर शुरुआती मेमरी-राइट से अलग हो जाता है और केवल बाद के रिट्रीवल पर सामने आता है। 14

इसलिए जोखिम जरूरी नहीं कि हर बातचीत के साथ सीधी रेखा में बढ़े। कई इंटरैक्शन तक वह शांत रह सकता है और फिर कोई संबंधित कार्य, संदर्भ या ट्रिगर आते ही बढ़ सकता है, जब जहरीली मेमरी रिट्रीवल में पर्याप्त ऊपर आ जाए। अन्य शोध भी मेमरी पॉइज़निंग को दो चरणों वाली प्रक्रिया बताता है—पहले इंजेक्शन, फिर रिट्रीवल के जरिए बाद में सक्रियता। 5

सिर्फ यह पूछने वाली जांच कि “क्या एजेंट इस प्रॉम्प्ट पर विफल हुआ?” झूठा भरोसा दे सकती है। इसी तरह, हर चरण के बाद संदर्भ रीसेट कर देने वाली, बीच के सेशन छोड़ देने वाली, या संबंधित भविष्य के कार्य को चलाए बिना की गई जांच सक्रियता की जरूरी स्थितियां दोहरा ही नहीं पाएगी।

इसलिए जांच की उपयुक्त इकाई पूरी ट्रैजेक्टरी है:

• अविश्वसनीय इनपुट और मेमरी में लिखने का निर्णय;
• बीच के सामान्य, अहानिकर सेशन;
• भविष्य के प्रश्न और उनके अर्थगत रूपांतर, जो एंट्री को वापस ला सकते हैं;
• रिट्रीवल के बाद एजेंट का तर्क; और
• टूल या बाहरी सिस्टम के जरिए होने वाली कार्रवाई। 214

स्वायत्त एजेंटों में स्थायी मेमरी जोखिम क्यों बढ़ाती है

पॉइज़निंग का तात्कालिक नतीजा एक गलत जवाब हो सकता है। असली बड़ी चिंता तब है जब एजेंट को मेमरी देखकर कार्रवाई करने का अधिकार मिला हो। बाद में हुई रिट्रीवल ईमेल, ब्राउज़र-आधारित वर्कफ़्लो, डेटाबेस ऑपरेशन या किसी दूसरे टूल-आधारित कार्य को प्रभावित कर सकती है। eTAMP शोध खास तौर पर बताता है कि केवल अनुमति-आधारित सुरक्षा उपाय उस खतरे को नहीं रोक सकते, जो ऐसे वातावरण से अप्रत्यक्ष रूप से आया हो जिसे एजेंट देखने के लिए अधिकृत है। 2

इसका अर्थ है कि मेमरी सिर्फ सुविधा नहीं, बल्कि ऑपरेशनल सुरक्षा सीमा का हिस्सा है। यदि कोई मेमरी सिस्टम अविश्वसनीय सामग्री स्वीकार करता है और बाद में उसे उपयोगी संदर्भ की तरह प्रस्तुत करता है, तो कम दिखने वाली पुरानी घटना देरी से होने वाली सुरक्षा घटना में बदल सकती है। 14

टेस्टिंग और बचाव के लिए व्यावहारिक चेकलिस्ट

उद्धृत शोध किसी सार्वभौमिक बचाव की पुष्टि नहीं करता और न ही यह बताता है कि संगठनों ने परिपक्व घटना-प्रतिक्रिया प्रक्रियाओं को कितनी व्यापकता से अपनाया है। फिर भी, यह स्पष्ट रूप से संकेत देता है कि स्थायी मेमरी को स्पष्ट नियंत्रणों वाली सुरक्षा-संवेदनशील प्रणाली की तरह लेना चाहिए।

केवल प्रॉम्प्ट नहीं, समय के पार टेस्ट करें

ऐसे प्रतिकूल मूल्यांकन करें जिनमें देरी से आने वाले ट्रिगर, बार-बार के सेशन, बीच के सामान्य कार्य, रिट्रीवल के अलग-अलग शब्दांकन और वास्तविक टूल अनुमतियां शामिल हों। यह भी जांचें कि संदिग्ध मेमरी-राइट पहचानने के बाद एजेंट ठीक हो सकता है या नहीं। 214

मेमरी-राइट का स्रोत और इतिहास दर्ज करें

रिकॉर्ड रखें कि कोई मेमरी कहां से आई, उसे क्यों रखा गया और लिखे जाने के समय उस पर भरोसे की क्या शर्तें थीं। दीर्घकालिक मेमरी सुरक्षा पर शोध में राइट और अनुमति-निर्णयों के छेड़छाड़-स्पष्ट लॉग का प्रस्ताव है, जो ऑडिट किए जा सकने वाले मेमरी इतिहास की उपयोगिता दिखाता है। 31

मेमरी और अधिकार को अलग रखें

वापस मिला कोई नोट अपने-आप सत्यापित निर्देश या नीति जितना अधिकार नहीं पा जाना चाहिए। कम-विश्वास या बाहरी स्रोतों से आई मेमरी के आधार पर एजेंट क्या कर सकता है, इसे सीमित रखें; क्रेडेंशियल और अधिक प्रभाव वाली कार्रवाइयों को अलग-अलग हिस्सों में बांटें।

राइट और रिट्रीवल—दोनों की निगरानी करें

सिर्फ आने वाले प्रॉम्प्ट पर नजर रखना पर्याप्त नहीं है। टीमों को यह दिखाई देना चाहिए कि मेमरी में क्या दर्ज हो रहा है, बाद में क्या वापस बुलाया जा रहा है और उसके बाद कौन-सी कार्रवाई हो रही है। एक प्रस्तावित पहचान पद्धति रिट्रीवल से कार्रवाई तक के देखे जा सकने वाले बदलावों का उपयोग करती है, लेकिन उसके रिपोर्ट किए गए परिणाम आर्किटेक्चर पर निर्भर हैं; उन्हें सार्वभौमिक समाधान नहीं मानना चाहिए। 18

रद्दीकरण और रोलबैक की योजना रखें

प्रतिक्रिया प्रक्रिया में संदिग्ध एंट्री खोजने, उसे अलग रखने या हटाने, जहां संभव हो वहां उससे बने सारांशों को अमान्य करने, और संभावित रूप से दूषित मेमरी रिट्रीव होने के बाद की गई कार्रवाइयों की समीक्षा करने की क्षमता होनी चाहिए।

मूल सबक

मेमरी पॉइज़निंग सवाल को “क्या एजेंट अभी किसी दुर्भावनापूर्ण प्रॉम्प्ट का विरोध कर सकता है?” से बदलकर यह कर देती है: “क्या एजेंट ऐसी जानकारी को सुरक्षित ढंग से संभाल सकता है, जो उसे बहुत बाद में प्रभावित करे?” कैलगरी के 2,614 ट्रैजेक्टरी के विश्लेषण से स्पष्ट है कि इसका जवाब किसी एक इंटरैक्शन से नहीं मिल सकता। मेमरी-सक्षम एजेंटों की सुरक्षा जांच को अविश्वसनीय इनपुट से स्टोरेज, फिर देरी से रिट्रीवल और अंततः वास्तविक दुनिया की कार्रवाई तक पूरा रास्ता देखना होगा। 14