क्लिनिकल AI का विस्तार सुरक्षा निगरानी से तेज़, TU Dresden की Nature समीक्षा ने जताई चिंता

बड़े भाषा मॉडल यानी Large Language Models (LLMs) चिकित्सा दस्तावेज़ तैयार करने, मेडिकल ज्ञान को संक्षेप में जुटाने और निर्णय-सहायता देने में मदद कर सकते हैं। लेकिन TU Dresden के नेतृत्व में की गई और Nature में 19 अगस्त 2026 को प्रकाशित समीक्षा चेतावनी देती है कि क्लिनिकल AI को अपनाने की रफ्तार उन सुरक्षा, शासन और नियामकीय व्यवस्थाओं से तेज़ है जो इसके सुरक्षित इस्तेमाल के लिए जरूरी हैं।

मेडिकल AI, साइबर सुरक्षा, नियामकीय विज्ञान, नैतिकता और व्यवहार मनोविज्ञान से जुड़े शोधकर्ताओं ने इस समीक्षा में जोखिमों को केवल मॉडल की सटीकता तक सीमित नहीं रखा। उनका तर्क है कि क्लिनिकल AI की सुरक्षा को उसके पूरे जीवन-चक्र—डिजाइन से लेकर इस्तेमाल और बाद की निगरानी तक—समझना होगा।

समीक्षा का मुख्य निष्कर्ष

लेखक यह नहीं कहते कि बड़े भाषा मॉडलों की चिकित्सा में कोई जगह नहीं है। वे दस्तावेज़ीकरण, ज्ञान-संश्लेषण और क्लिनिकल निर्णय-सहायता जैसे कामों में इनकी संभावित उपयोगिता को स्वीकार करते हैं। लेकिन किसी मॉडल का धाराप्रवाह जवाब देना, अच्छे benchmark नतीजे हासिल करना या उपयोगी दिखना, अपने-आप में सुरक्षित होने का प्रमाण नहीं है।

क्लिनिकल AI जटिल कार्यप्रवाहों में काम करता है, संवेदनशील मरीज-डेटा से जुड़ सकता है और ऐसे फैसलों को प्रभावित कर सकता है जिनमें उपयोगकर्ता AI की वास्तविक समझ और सीमाओं को बढ़ा-चढ़ाकर आंक सकते हैं। इसलिए सुरक्षा की जांच तैनाती से पहले एक बार करने के बजाय लगातार डिजाइन, परीक्षण और निगरानी का हिस्सा होनी चाहिए। मॉडल अपडेट, बदलता डेटा, नए कार्यप्रवाह, उपयोगकर्ताओं का बदलता व्यवहार और नए साइबर हमले पुराने परीक्षणों को अप्रासंगिक बना सकते हैं।

क्लिनिकल AI का जोखिम केवल accuracy का सवाल नहीं

समीक्षा क्लिनिकल AI के जोखिमों को कई स्तरों और चरणों में रखती है:

• डिजाइन और प्रशिक्षण डेटा: डेटा में जानबूझकर की गई छेड़छाड़ या poisoning मॉडल के क्लिनिकल इस्तेमाल तक पहुंचने से पहले ही उसके व्यवहार को प्रभावित कर सकती है।
• तैनाती और इंटरफेस: prompt injection के जरिए किसी कार्यप्रवाह में दुर्भावनापूर्ण निर्देश डाले जा सकते हैं। समीक्षा एक उदाहरण में बताती है कि ऐसा हमला मॉडल को दिखाई दे रहे ट्यूमर को नजरअंदाज करने की स्थिति तक ले जा सकता है। अस्पताल का कमजोर IT ढांचा इलाज में बाधा डालने या मरीजों की जानकारी उजागर होने का कारण भी बन सकता है।
• मॉडल का व्यवहार: LLM विश्वसनीय लगने वाली लेकिन गलत चिकित्सकीय जानकारी गढ़ सकते हैं, जिसे आम तौर पर hallucination कहा जाता है। वे उपयोगकर्ता की गलत धारणा को चुनौती देने के बजाय उससे सहमत होकर उस गलती को और मजबूत भी कर सकते हैं।
• मानव–AI बातचीत: प्रभावशाली जवाब automation bias बढ़ा सकते हैं—यानी चिकित्सक सिस्टम पर जरूरत से ज्यादा निर्भर हो जाएं। इसी तरह confirmation bias में AI का इस्तेमाल पहले से बनी राय को सही साबित करने के लिए किया जा सकता है।
• संस्थागत इस्तेमाल: चिकित्सक बिना औपचारिक अनुमति के सार्वजनिक या गैर-मंजूर AI टूल इस्तेमाल कर सकते हैं। इस तरह का अनौपचारिक “shadow use” गोपनीयता सुरक्षा, स्थानीय मूल्यांकन, जवाबदेही और incident reporting प्रक्रियाओं को दरकिनार कर सकता है।

इस पूरे जीवन-चक्र वाला नजरिया इसलिए महत्वपूर्ण है क्योंकि कोई सिस्टम नियंत्रित परीक्षण में अच्छा प्रदर्शन करने के बावजूद वास्तविक अस्पताल-परिस्थिति में असुरक्षित हो सकता है। साइबर सुरक्षा, मानवीय व्यवहार, क्लिनिकल संदर्भ और संस्थागत नियंत्रण—सभी अंतिम नतीजे को बदल सकते हैं।

सुरक्षित तैनाती के लिए क्या जरूरी है?

समीक्षा ऐसे सुरक्षा उपायों की मांग करती है जो AI सिस्टम के live होने के बाद भी सक्रिय रहें। इनमें सुरक्षित development, प्रशिक्षण डेटा का मजबूत प्रबंधन, उसी क्लिनिकल संदर्भ में स्थानीय परीक्षण, मानव जिम्मेदारियों की स्पष्ट परिभाषा और प्रदर्शन व घटनाओं की लगातार निगरानी शामिल हैं।

अस्पतालों और स्वास्थ्य-प्रणालियों को केवल यह नहीं देखना चाहिए कि कोई टूल plausible text तैयार करता है या नहीं। उन्हें यह भी तय करना होगा:

• किसे AI इस्तेमाल करने की अनुमति है और किन कामों के लिए;
• सिस्टम किन डेटा तक पहुंच सकता है और वह डेटा कहां भेजा या संग्रहीत किया जाता है;
• चिकित्सकों को AI के जवाबों का सत्यापन किस तरह करना होगा;
• AI-सहायता से तैयार गलत रिकॉर्ड या सिफारिश की स्थिति में जवाबदेह कौन होगा; और
• जोखिम सामने आने पर संगठन सिस्टम की जांच, रोक या वापसी कैसे करेगा।

दो-स्तरीय oversight model

जवाबदेही मजबूत करने के लिए लेखकों ने निगरानी की दो परतों वाला ढांचा सुझाया है।

संस्थागत AI-governance teams

हर स्वास्थ्य-संगठन में समर्पित governance teams AI टूल को मंजूरी देने, स्थानीय स्तर पर उसका मूल्यांकन करने, जिम्मेदारियां तय करने और संचालन की निगरानी करने का काम कर सकती हैं। इससे फैसले उस संगठन के मरीजों, कार्यप्रणालियों, IT ढांचे और पेशेवर दायित्वों से जुड़े रहेंगे।

केंद्रीकृत AI Security Operations Centers

समीक्षा केंद्रीकृत AI Security Operations Centers (SOCs) की भी सिफारिश करती है। ये केंद्र अलग-अलग संस्थानों में होने वाली घटनाओं की पहचान, खतरे से जुड़े संकेतों को साझा करने और प्रतिक्रिया का समन्वय करने में मदद कर सकते हैं। किसी एक क्लिनिकल AI सिस्टम पर हुआ हमला या उसकी विफलता दूसरे अस्पतालों में मौजूद व्यापक कमजोरी का संकेत भी हो सकती है।

इस मॉडल में स्थानीय क्लिनिकल जवाबदेही को व्यापक साइबर-सुरक्षा खुफिया जानकारी के साथ जोड़ा जाता है।

पुराने मेडिकल-डिवाइस नियम क्यों अपर्याप्त हो सकते हैं?

पारंपरिक medical-device regulation ऐसे उत्पादों को ध्यान में रखकर विकसित हुआ था जिनका आकलन अपेक्षाकृत स्थिर रूप में किया जा सकता था। इसके विपरीत, क्लिनिकल AI सॉफ्टवेयर के मॉडल अपडेट हो सकते हैं, डेटा का वितरण बदल सकता है, कार्यप्रवाह विकसित हो सकते हैं और हमलावर नई तकनीकें अपना सकते हैं। इन बदलावों से सिस्टम का व्यवहार और जोखिम-प्रोफाइल भी बदल सकता है।

इससे नियमन में एक अंतर पैदा होता है। किसी सिस्टम की एक समय पर की गई मंजूरी या जांच यह अपने-आप साबित नहीं करती कि वह बाद के हर संदर्भ में सुरक्षित रहेगा। TU Dresden के शोधकर्ताओं के व्यापक काम में भी कहा गया है कि medical AI और MedTech के तेजी से बदलते क्षेत्र के साथ regulatory science को कदम मिलाना होगा।

इसका व्यावहारिक अर्थ है कि तैनाती को निगरानी का अंत नहीं, बल्कि शुरुआत माना जाए। प्रदर्शन, सुरक्षा, साइबर सुरक्षा, गोपनीयता और समानता से जुड़े आकलन लगातार किए जाने चाहिए। साथ ही, घटनाओं की रिपोर्टिंग, जांच और जरूरत पड़ने पर सिस्टम को निलंबित करने की स्पष्ट प्रक्रिया होनी चाहिए।

मरीज की सहमति भी तकनीकी सुरक्षा का हिस्सा है

AI scribes—यानी डॉक्टर और मरीज की बातचीत को रिकॉर्ड या लिखित नोट में बदलने वाले AI टूल—से जुड़ी चिंताएं इस बहस को सीधे मरीजों तक ले आती हैं। ऑस्ट्रेलिया की क्लिनिकल गाइडेंस के अनुसार मरीजों को AI सिस्टम के उद्देश्य, इस्तेमाल की सीमा, संभावित लाभ-जोखिम और सुरक्षा या प्रदर्शन की निगरानी के बारे में जानकारी दी जानी चाहिए। AI की मदद से बने रिकॉर्ड और मरीज की देखभाल की अंतिम जिम्मेदारी चिकित्सक की ही रहती है।

ऑस्ट्रेलियाई general practice से जुड़ी पेशेवर गाइडेंस यह भी कहती है कि चिकित्सकों को AI scribe को समझना और पहले जांचना चाहिए, हर इस्तेमाल से पहले सहमति लेनी चाहिए, संग्रहीत डेटा की सुरक्षा करनी चाहिए और यह सुनिश्चित करना चाहिए कि क्लिनिकल रिकॉर्ड सही हो।

हाल की रिपोर्टिंग में ऑस्ट्रेलियाई क्लीनिकों में सहमति लेने के तरीकों में काफी अंतर का उल्लेख किया गया है। कुछ मामलों में केवल waiting-room sign को पर्याप्त माना गया। वहां के मेडिकल नियामक ने यह भी स्पष्ट किया है कि चिकित्सकों को AI से तैयार हर output की सटीकता जांचनी होगी।

इससे यह बात सामने आती है कि consent केवल औपचारिक checkbox नहीं हो सकता। मरीजों को समझ में आने वाली जानकारी मिलनी चाहिए, चिकित्सकों को टूल की सीमाओं की पर्याप्त तकनीकी समझ होनी चाहिए और अंतिम जिम्मेदारी इंसान के पास रहनी चाहिए। उपलब्ध साक्ष्य यह स्थापित नहीं करते कि ऑस्ट्रेलिया में अपर्याप्त सहमति या तकनीक की कम समझ कितनी व्यापक है। फिर भी, ये उदाहरण समीक्षा के उस व्यापक तर्क को मजबूत करते हैं कि पारदर्शिता, मानवीय निगरानी और संस्थागत जवाबदेही प्रशासनिक औपचारिकताएं नहीं, बल्कि वास्तविक सुरक्षा नियंत्रण हैं।

स्वास्थ्य-संगठनों के लिए सीधा संदेश

इस समीक्षा को क्लिनिकल AI का विरोध नहीं, बल्कि जिम्मेदार तैनाती के मानक के रूप में समझना चाहिए। बड़े भाषा मॉडल उपयोगी क्लिनिकल कार्यप्रवाहों का समर्थन कर सकते हैं, लेकिन स्वास्थ्य-संगठनों को इन्हें साधारण सॉफ्टवेयर नहीं, बल्कि लगातार बदलने वाली sociotechnical systems के रूप में देखना होगा—ऐसी प्रणालियां जिनका परिणाम तकनीक और इंसानी व्यवहार, दोनों से तय होता है।

तैनाती से पहले और उसके बाद स्वास्थ्य-प्रशासकों को मॉडल का मूल्यांकन, आसपास के IT ढांचे की सुरक्षा, उपयोगकर्ताओं का प्रशिक्षण, मरीजों को AI की भूमिका की जानकारी, वास्तविक दुनिया के प्रदर्शन की निगरानी और विफलता की स्थिति में हस्तक्षेप की जिम्मेदारी तय करनी होगी। जब तक ये नियंत्रण मौजूद नहीं होते, क्लिनिकल AI का इस्तेमाल उस सुरक्षा निगरानी से आगे निकलता रह सकता है जो इसे भरोसेमंद बनाने के लिए जरूरी है।