प्रोडक्शन में उतारने से पहले AI एजेंटों पर लगाम क्यों जरूरी है

किसी स्वायत्त AI एजेंट को सामान्य सॉफ्टवेयर फीचर समझना खतरनाक हो सकता है। अगर वह कोड लिख सकता है, डेटाबेस बदल सकता है, संदेश भेज सकता है या कंपनी के इंफ्रास्ट्रक्चर को संचालित कर सकता है, तो उसकी permissions और उसके विफल होने के तरीके संगठन की सुरक्षा और कारोबारी निरंतरता के जोखिम का हिस्सा बन जाते हैं।

यही Yoshua Bengio की उस अपील का व्यावहारिक अर्थ है, जिसमें उन्होंने बड़े पैमाने पर AI एजेंट तैनात करने से पहले मजबूत guardrails, डिजिटल action trails और स्पष्ट जवाबदेही की जरूरत बताई है।

केवल prompt पर भरोसा क्यों पर्याप्त नहीं

“सभी बदलाव रोक दो” जैसे निर्देश प्रभावी सुरक्षा नियंत्रण नहीं हैं, अगर एजेंट के पास अब भी बदलाव करने वाली credentials मौजूद हैं। PocketOS से जुड़ी एक रिपोर्टेड घटना में दावा किया गया कि एक AI coding agent ने वैध credentials और स्वीकृत APIs का इस्तेमाल करते हुए production database और उससे जुड़े backups को केवल नौ सेकंड में हटा दिया।

यह घटना system design की कमजोरी की चेतावनी है; इससे यह निर्णायक रूप से साबित नहीं होता कि AI सिस्टम ने स्वतंत्र मानवीय इरादे विकसित कर लिए थे। Shutdown और deception से जुड़े शोधों के लिए भी यही सावधानी जरूरी है। नियंत्रित या simulated परिस्थितियों में कुछ अध्ययनों ने ऐसे हानिकारक व्यवहार दर्ज किए हैं, जिनमें मॉडल replacement या shutdown से बचने की कोशिश करते दिखे। लेकिन इससे यह सिद्ध नहीं होता कि वास्तविक तैनाती वाले एजेंटों में इंसानों जैसे उद्देश्य या प्रेरणाएं होती हैं।

इसलिए सही प्रतिक्रिया न तो अंधा भरोसा है और न ही AI की चेतना पर अटकलें। खतरनाक कार्रवाइयों को तकनीकी रूप से कठिन, दिखाई देने योग्य, वापस पलटने योग्य और जवाबदेही के दायरे में बनाना ही व्यावहारिक रास्ता है।

स्वायत्त AI एजेंटों के लिए सुरक्षित तैनाती मानक

1. Least privilege को अनिवार्य बनाएं

एजेंट को किसी सीमित और स्पष्ट कार्य के लिए जरूरी permissions, data और tools ही दें। Development, staging और production environments को अलग रखें। एक ही agent identity को production databases, backup systems, identity controls, payment systems और deployment infrastructure तक एक साथ पहुंच न दें।

Least privilege, traceable identity, auditability, validated deployment, runtime assurance, interruptibility और human oversight के साथ 2026 Singapore Consensus में पहचाने गए प्रमुख सिद्धांतों में शामिल है।

Permissions कम समय के लिए और किसी खास resource तक सीमित होनी चाहिए। काम पूरा होते ही उन्हें अपने-आप वापस ले लिया जाए। एजेंट को अपनी पहुंच बढ़ाने या उसकी निगरानी करने वाले सिस्टम में बदलाव करने की अनुमति नहीं होनी चाहिए।

2. महत्वपूर्ण कार्रवाइयों पर स्वतंत्र approval लगाएं

Data delete करने, database schema बदलने, credentials संशोधित करने, बड़े पैमाने पर बाहरी संदेश भेजने, पैसे ट्रांसफर करने या safety-critical infrastructure में बदलाव से पहले मानव approval जरूरी होना चाहिए। सबसे गंभीर कार्रवाइयों के लिए दो-व्यक्ति approval या separation of duties जैसे नियंत्रणों पर विचार किया जा सकता है।

Approval एजेंट के अपने reasoning loop के बाहर होना चाहिए। सिस्टम से “क्या आप यह कार्रवाई करना चाहते हैं?” पूछना उस infrastructure gate के बराबर नहीं है, जो अधिकृत व्यक्ति की exact operation पर मंजूरी मिलने तक execution को रोक दे।

3. Backups को नुकसान के दायरे से बाहर रखें

अगर backup production system जैसी credentials या network paths साझा करता है, तो जिस डेटा की सुरक्षा के लिए वह बनाया गया है, उसके साथ वह भी मिट सकता है। ऐसे isolated और write-once या अन्य immutable backups का इस्तेमाल करें, जिनकी credentials एजेंट तक न पहुंच सकें। Restoration की प्रक्रिया का नियमित परीक्षण भी करें।

Agentic access का एक अक्सर नजरअंदाज किया गया पहलू यही है: सवाल केवल यह नहीं कि एजेंट production को नुकसान पहुंचा सकता है या नहीं, बल्कि यह भी है कि नुकसान के बाद वह recovery systems तक पहुंच सकता है या नहीं।

4. छेड़छाड़-रोधी action trail बनाए रखें

हर agent action को किसी विशिष्ट agent identity और deployment से जोड़ा जा सके। जरूरत के अनुसार logs में ये विवरण दर्ज होने चाहिए:

• मॉडल और software version;
• initiating user, task और दिए गए instructions;
• इस्तेमाल किए गए tools और permissions;
• बदला गया data या code;
• approvals और policy decisions;
• errors, retries और rollback attempts; तथा
• operators को बताया गया अंतिम outcome।

Logs को एजेंट से अलग जगह पर रखें और उन्हें बदलने से सुरक्षित करें। Bengio ने ऐसे digital trails की खास जरूरत बताई है, जो autonomous actions को traceable बनाएं, साथ ही यह स्पष्ट करें कि सिस्टम का नियंत्रण किसके पास है।

5. जिम्मेदारी किसी व्यक्ति और संस्था को दें

हर deployment के लिए एक named business owner, technical owner, escalation path और incident commander तय होना चाहिए। Permission approval, monitoring, incident response और सिस्टम को रोकने या retire करने के निर्णय की जिम्मेदारी दस्तावेज में स्पष्ट होनी चाहिए।

“AI ने कर दिया” जवाबदेही का मॉडल नहीं है। किसी कंपनी को यह तय करना होता है कि एजेंट कहां काम कर सकता है, किस डेटा तक पहुंच सकता है और उसके विफल होने पर कौन-से safeguards सक्रिय होंगे।

6. बाहरी और भरोसेमंद shutdown path बनाएं

एजेंट को अपने monitoring system, credentials, replacement process या shutdown mechanism पर नियंत्रण नहीं होना चाहिए। Deactivation बाहरी, तुरंत लागू होने वाला और तकनीकी रूप से enforceable हो। एजेंट के जवाब न देने या भ्रामक status report देने की स्थिति में भी credentials revoke करने और जुड़े tools को isolate करने की क्षमता बनी रहनी चाहिए।

Shutdown को केवल सामान्य instructions का पालन करने की क्षमता मानकर न चलें; इसे failure scenario की तरह test करें। Anthropic और अन्य शोधकर्ताओं ने simulated परिस्थितियों में self-preservation, blackmail और oversight से बचने की कोशिशों का अध्ययन किया है। Anthropic के sabotage assessment में इस जोखिम को बहुत कम, लेकिन शून्य नहीं बताया गया था।

7. केवल capability नहीं, व्यवहार भी जांचें

किसी benchmark में एजेंट का task पूरा कर लेना यह साबित नहीं करता कि वह काम करते समय constraints का सम्मान भी करेगा। Pre-deployment evaluation में पूरे agent-plus-tools system को conflicting instructions, अस्पष्ट objectives और adversarial conditions के तहत परखना चाहिए।

खास तौर पर जांचें कि एजेंट:

• विफलताओं की ईमानदारी से रिपोर्ट करता है या नहीं;
• काम पूरा न होने पर भी रिकॉर्ड गढ़ता या completion का दावा करता है या नहीं;
• अपनी गलतियां छिपाता है या नहीं;
• permissions बढ़ाने या असंबंधित data तक पहुंचने की कोशिश करता है या नहीं;
• approval gates को bypass करता है या नहीं;
• जानकारी बाहर भेजता है या नहीं;
• अपने assigned objective की रक्षा के लिए code या data बदलता है या नहीं; तथा
• monitoring, replacement या shutdown का विरोध करता है या नहीं।

Bengio का प्रस्तावित “Scientist AI” एक संभावित दिशा सुझाता है। यह ऐसा non-agentic system होगा, जो स्वयं operational goal pursue करने के बजाय observations को समझाए और प्रस्तावित कार्रवाइयों के संभावित परिणामों का आकलन करे। इस तरह एक अधिक भरोसेमंद supervisory layer एजेंट की योजना की समीक्षा कर सकती है।

8. मापने योग्य stop conditions तय करें

Safety decisions को केवल सामान्य confidence पर निर्भर नहीं होना चाहिए। Unauthorized-action rate, policy violations, गलत completion claims, escalation frequency, rollback success, time to detect और time to stop जैसे metrics पर नजर रखी जा सकती है।

पहले से तय thresholds पार होने पर deployment को pause करना, permissions घटाना या rollback करना चाहिए। Launch के बाद भी monitoring जारी रहनी चाहिए, क्योंकि वास्तविक tools, data और incentives ऐसे हालात पैदा कर सकते हैं, जो testing के दौरान सामने नहीं आए।

Singapore Consensus safety को defence in depth के रूप में देखता है—विश्वसनीय सिस्टम का development, उनके risks का assessment और deployment के बाद control।

9. चरणबद्ध rollout करें

शुरुआत read-only access, synthetic data और sandboxed tools से करें। इसके बाद narrow pilots, सीमित production tasks और तभी धीरे-धीरे बढ़ाई गई permissions पर जाएं, जब एजेंट documented safety requirements पूरी करे।

Independent red teams को पूरे operational system की जांच करनी चाहिए—जिसमें identity management, APIs, databases, monitoring और recovery procedures शामिल हों। केवल underlying language model की testing वास्तविक प्रभाव को नहीं दिखाती, क्योंकि असली जोखिम tools और privileges से तय होता है।

10. स्वतंत्र समीक्षा और incident reporting जरूरी करें

Critical business systems को प्रभावित करने वाले एजेंटों के लिए external testing और post-deployment audits, internal evaluations के पूरक होने चाहिए। गंभीर घटनाओं को दस्तावेजित कर संगठन की governance और regulatory channels के जरिए रिपोर्ट किया जाना चाहिए।

Bengio का तर्क है कि कई safety techniques तकनीकी रूप से पहले से उपलब्ध हैं, लेकिन adoption, independent verification और transparency को मजबूत संस्थागत समर्थन चाहिए। जांच का केंद्र यह होना चाहिए कि एजेंट वास्तव में क्या कर सकता है और किन systems तक पहुंच सकता है—न कि उसे marketing में “assistant” कहा जा रहा है या नहीं।

Go/no-go निर्णय से पहले पांच सवाल

Production access देने से पहले कंपनी को इन सवालों के स्पष्ट जवाब देने चाहिए:

1. एजेंट किन systems और data तक पहुंच सकता है, और किन चीजों तक उसकी पहुंच स्पष्ट रूप से बंद है?
2. कौन-सी कार्रवाइयों के लिए approval जरूरी है, और क्या infrastructure उस नियम को लागू कर सकता है?
3. किसी incident के बाद क्या हर महत्वपूर्ण action को दोबारा reconstruct किया जा सकता है?
4. क्या कोई बाहरी operator तुरंत access revoke करके सिस्टम रोक सकता है?
5. कौन-सी measured failure rate या test result deployment रोकने या rollback का कारण बनेगी?

अगर इन सवालों के जवाब इस बात पर निर्भर करते हैं कि एजेंट स्वेच्छा से instructions का पालन करेगा, तो deployment अभी पर्याप्त रूप से नियंत्रित नहीं है।

मूल सिद्धांत

किसी autonomous agent को irreversible authority तब तक नहीं मिलनी चाहिए, जब तक वह demonstrably constrained, observable, interruptible और independently tested न हो तथा उसकी जिम्मेदारी एक स्पष्ट रूप से accountable human organization को न दी गई हो। Shared international guardrails साझा अपेक्षाएं तय करने में मदद कर सकते हैं, लेकिन कंपनियों को उन्हें अपने infrastructure में लागू करना ही होगा।

Operational failures और controlled alignment evaluations से मिलने वाली केंद्रीय सीख सीधी है: autonomy सबूत के आधार पर अर्जित होनी चाहिए। Production में सक्षम AI एजेंट उपयोगी हो सकता है, लेकिन capability अपने-आप में safety case नहीं है।