ChatGPT की नई ‘Safety Summaries’ संवेदनशील बातचीत में बढ़ते जोखिम को कैसे पहचानती हैं
OpenAI ने ChatGPT में अस्थायी “Safety Summaries” जोड़ी हैं ताकि सिस्टम लंबी बातचीत के दौरान उभरते जोखिम संकेतों को पहचान सके। ये सारांश पूरी बातचीत नहीं रखते, बल्कि केवल सुरक्षा से जुड़ी सीमित जानकारी को अस्थायी रूप से सुरक्षित रखते हैं। यह फीचर खासकर मानसिक स्वास्थ्य संकट, आत्म‑हानि, या संभावित हिंसा जैसे संवेदनशील...
प्रकाशितकर्ताGPT-5.5 से संपादितGPT Image 2 से चित्र बनाए गए
OpenAI ने ChatGPT में अस्थायी “Safety Summaries” जोड़ी हैं ताकि सिस्टम लंबी बातचीत के दौरान उभरते जोखिम संकेतों को पहचान सके।
ये सारांश पूरी बातचीत नहीं रखते, बल्कि केवल सुरक्षा से जुड़ी सीमित जानकारी को अस्थायी रूप से सुरक्षित रखते हैं।
यह फीचर खासकर मानसिक स्वास्थ्य संकट, आत्म‑हानि, या संभावित हिंसा जैसे संवेदनशील मामलों में सुरक्षित प्रतिक्रिया देने में मदद करने के लिए बनाया गया है।
OpenAI’s New ChatGPT Safety System: How “Safety Summaries” Detect Risk Across ConversationsNew safety systems in ChatGPT analyze patterns across conversations to detect escalating risk signals.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: OpenAI’s New ChatGPT Safety System: How “Safety Summaries” Detect Risk Across Conversations. Article summary: OpenAI updated ChatGPT so it can detect risks that emerge gradually during conversations by using temporary “safety summaries” that carry forward only safety‑relevant signals.. Topic tags: openai, chatgpt, ai safety, mental health, responsible ai. Reference image context from search candidates: Reference image 1: visual subject "OpenAI says the update uses narrowly scoped safety summaries to preserve earlier safety-relevant context, improving safe responses when risk" source context "OpenAI adds safety summaries so ChatGPT can recognize risk across sensitive conversations - NG Tech LLC" Reference image 2: visual subject "A digital display features the text “OpenAI’s ChatGPT Health Tools Ignite Privacy and Saf
openai.com
AI सुरक्षा प्रणालियाँ लंबे समय तक उपयोगकर्ता के हर संदेश को अलग‑अलग जांचने पर आधारित रही हैं। यह तरीका तब ठीक काम करता है जब जोखिम किसी एक संदेश में साफ दिखाई देता है। लेकिन वास्तविक दुनिया में कई खतरनाक स्थितियाँ—खासकर मानसिक‑स्वास्थ्य संकट—अक्सर धीरे‑धीरे पूरी बातचीत के दौरान सामने आती हैं।
इसी समस्या को ध्यान में रखते हुए OpenAI ने ChatGPT में अस्थायी “Safety Summaries” नाम की सुविधा जोड़ी है। यह फीचर सिस्टम को बातचीत के पहले हिस्सों से सीमित सुरक्षा‑संबंधी संदर्भ याद रखने देता है, ताकि बाद के संदेशों को समझते समय बढ़ते जोखिम के पैटर्न पहचाने जा सकें।
पहले की सुरक्षा प्रणाली में क्या कमी थी
पारंपरिक मॉडरेशन सिस्टम आम तौर पर हर संदेश को अलग‑अलग जांचते हैं। यदि कोई उपयोगकर्ता सीधे खतरनाक इरादा व्यक्त करता है तो यह तरीका प्रभावी होता है। लेकिन कई बार चेतावनी संकेत धीरे‑धीरे कई संदेशों में सामने आते हैं।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
"ChatGPT की नई ‘Safety Summaries’ संवेदनशील बातचीत में बढ़ते जोखिम को कैसे पहचानती हैं" का संक्षिप्त उत्तर क्या है?
OpenAI ने ChatGPT में अस्थायी “Safety Summaries” जोड़ी हैं ताकि सिस्टम लंबी बातचीत के दौरान उभरते जोखिम संकेतों को पहचान सके।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
OpenAI ने ChatGPT में अस्थायी “Safety Summaries” जोड़ी हैं ताकि सिस्टम लंबी बातचीत के दौरान उभरते जोखिम संकेतों को पहचान सके। ये सारांश पूरी बातचीत नहीं रखते, बल्कि केवल सुरक्षा से जुड़ी सीमित जानकारी को अस्थायी रूप से सुरक्षित रखते हैं।
मुझे अभ्यास में आगे क्या करना चाहिए?
यह फीचर खासकर मानसिक स्वास्थ्य संकट, आत्म‑हानि, या संभावित हिंसा जैसे संवेदनशील मामलों में सुरक्षित प्रतिक्रिया देने में मदद करने के लिए बनाया गया है।
अनुसंधान और आंतरिक सुरक्षा विश्लेषण से पता चला है कि जोखिमपूर्ण बातचीत अक्सर लंबी चैट के दौरान विकसित होती है, जहाँ भावनात्मक तनाव या खतरनाक इरादे के संकेत कई संदेशों में बिखरे होते हैं।
उदाहरण के लिए, कोई उपयोगकर्ता शुरुआत में केवल थकान या तनाव की बात कर सकता है और बाद में गहरे भावनात्मक संकट का संकेत दे सकता है। अगर AI सिस्टम को पहले के संकेतों का संदर्भ नहीं मिले, तो वह बाद के संदेशों की गंभीरता को समझ नहीं पाएगा।
इसीलिए OpenAI ने ChatGPT की सुरक्षा प्रणाली को केवल संदेश‑दर‑संदेश जांच से आगे बढ़ाकर पूरी बातचीत के स्तर पर जोखिम पहचानने की दिशा में अपडेट किया है।
“Safety Summaries” क्या होती हैं
Safety Summaries मूल रूप से छोटे सिस्टम‑जनित नोट्स होते हैं जो कुछ खास बातचीत के दौरान बनाए जाते हैं। इनमें पूरी चैट का रिकॉर्ड नहीं रखा जाता, बल्कि केवल वह जानकारी दर्ज होती है जो सुरक्षा जोखिम समझने में मदद कर सकती है।
इन सारांशों का उद्देश्य यह है कि सिस्टम नए संदेशों को पहले मिले संकेतों के संदर्भ में समझ सके।
मुख्य विशेषताएँ:
सीमित दायरा: केवल सुरक्षा से जुड़ी जानकारी दर्ज होती है, पूरी बातचीत नहीं।
अस्थायी संदर्भ: यह दीर्घकालिक मेमोरी या व्यक्तिगत प्रोफाइलिंग के लिए नहीं, बल्कि अल्पकालिक संदर्भ के लिए उपयोग होता है।
पैटर्न पहचान: सिस्टम कई संदेशों में उभरते जोखिम संकेतों को जोड़कर समझ सकता है।
इसका उद्देश्य इतना संदर्भ रखना है कि सुरक्षा मूल्यांकन बेहतर हो सके, लेकिन पूरी बातचीत को स्थायी रूप से संग्रहीत करने से बचा जा सके।
यह फीचर कब सक्रिय होता है
Safety Summaries हर बातचीत में नहीं बनतीं। सिस्टम उन्हें तब बनाता है जब बातचीत में संभावित जोखिम के संकेत दिखाई देते हैं।
ऐसे संभावित संकेतों में शामिल हो सकते हैं:
आत्महत्या या आत्म‑हानि के संकेत
गंभीर भावनात्मक तनाव या मानसिक‑स्वास्थ्य संकट
धीरे‑धीरे बढ़ता खतरनाक इरादा
संभावित हिंसा के संकेत
ऐसी स्थितियों में ChatGPT इन सारांशों का उपयोग करके समझ सकता है कि बातचीत किस दिशा में जा रही है और उसी अनुसार सुरक्षित प्रतिक्रिया दे सकता है।
यह सिस्टम किन खतरों को रोकने के लिए बनाया गया है
इस अपडेट का मुख्य फोकस मानसिक‑स्वास्थ्य और संकट से जुड़ी सुरक्षा है।
OpenAI के अनुसार इसका उद्देश्य यह बेहतर बनाना है कि ChatGPT कैसे:
भावनात्मक संकट के संकेत पहचानता है
संवेदनशील बातचीत को शांत या डी‑एस्केलेट करता है
जरूरत पड़ने पर उपयोगकर्ताओं को वास्तविक दुनिया की सहायता की ओर निर्देशित करता है
इन सुधारों को विकसित करने में 170 से अधिक मानसिक‑स्वास्थ्य विशेषज्ञों ने योगदान दिया, जिन्होंने संकट से जुड़ी स्थितियों में बेहतर प्रतिक्रिया के मानक तय करने में मदद की।
सुरक्षा उपाय लंबे समय तक AI के साथ बातचीत से जुड़े अन्य जोखिमों—जैसे आत्म‑हानि की चर्चा, AI पर भावनात्मक निर्भरता, या संभावित हिंसक इरादों—को भी ध्यान में रखते हैं।
सुरक्षित प्रतिक्रियाओं में सुधार के संकेत
OpenAI का कहना है कि ChatGPT के डिफ़ॉल्ट मॉडल में किए गए अपडेट से मानसिक और भावनात्मक संकट से जुड़ी बातचीत को पहचानने और सही प्रतिक्रिया देने की क्षमता बेहतर हुई है।
कुछ रिपोर्टों के अनुसार, मानसिक‑स्वास्थ्य विशेषज्ञों के साथ किए गए सुधारों से परीक्षण वातावरण में असुरक्षित या अपेक्षा से कमज़ोर प्रतिक्रियाओं में उल्लेखनीय कमी देखी गई। कुछ आकलनों में ऐसी प्रतिक्रियाओं में लगभग 65–80% तक कमी की बात कही गई है।
हालाँकि, सार्वजनिक रूप से उपलब्ध रिपोर्टों में विस्तृत मूल्यांकन पद्धति या सभी परीक्षण डेटा हमेशा साझा नहीं किए जाते, इसलिए वास्तविक सुधार की सटीक सीमा पूरी तरह पारदर्शी नहीं है।
शिक्षा और छात्र सुरक्षा के लिए इसका महत्व
स्कूलों, विश्वविद्यालयों और एड‑टेक प्लेटफॉर्म के लिए यह अपडेट खास महत्व रखता है। छात्र जोखिम अक्सर किसी एक संदेश में नहीं दिखता—वह बातचीत के दौरान धीरे‑धीरे सामने आता है।
अगर AI सिस्टम हर संदेश को अलग‑अलग देखता है, तो वह ऐसे पैटर्न मिस कर सकता है। लेकिन बातचीत‑आधारित सुरक्षा फीचर निम्न संकेतों को पहचानने में मदद कर सकते हैं:
बढ़ता भावनात्मक तनाव
संभावित आत्म‑हानि के संकेत
उभरता खतरनाक इरादा
इससे लंबी बातचीत के दौरान असुरक्षित प्रतिक्रियाओं की संभावना कम हो सकती है—एक ऐसा क्षेत्र जहाँ चैटबॉट सुरक्षा पहले कमजोर मानी जाती रही है।
फिर भी, AI सुरक्षा उपाय केवल एक सुरक्षा परत हैं। प्रभावी छात्र सुरक्षा के लिए संस्थानों को स्पष्ट नीतियाँ, प्रशिक्षित कर्मचारी और वास्तविक दुनिया में सहायता के रास्ते भी बनाए रखने होते हैं।
AI सुरक्षा में बड़ा बदलाव
Safety Summaries का परिचय इस बात का संकेत है कि AI सुरक्षा कैसे विकसित हो रही है। पहले ध्यान केवल एक‑एक संदेश पर था, जबकि अब डेवलपर्स पूरी बातचीत में बनने वाले पैटर्न पर ध्यान दे रहे हैं।
यह तरीका मानव संवाद की वास्तविक प्रकृति के अधिक करीब है, जहाँ जोखिम अक्सर धीरे‑धीरे विकसित होता है।
OpenAI के अनुसार AI सुरक्षा एक निरंतर प्रक्रिया है जिसमें मॉडल प्रशिक्षण, मूल्यांकन, तैनाती के बाद निगरानी और समय‑समय पर सुधार शामिल होते हैं।
जैसे‑जैसे संवादात्मक AI शिक्षा, काम और दैनिक जीवन में अधिक उपयोग होने लगेगा, वैसे‑वैसे ऐसी प्रणालियाँ—जो लंबी बातचीत में छिपे जोखिम संकेतों को पहचान सकें—जिम्मेदार AI उपयोग के लिए और भी आवश्यक बनती जाएँगी।
cdn.openai.com
[PDF] Addendum to GPT-5 System Card: Sensitive Conversations | OpenAI