उत्तरप्रकाशित56 मिनट पहलेLast edited 48 मिनट पहले19 स्रोत

सत्या नडेला की AI सुरक्षा पर बदली सोच: स्केलिंग से अलाइनमेंट अपने-आप नहीं आता

नडेला ने पहले सोचा था कि AI की क्षमता बढ़ने के साथ उसका अलाइनमेंट भी स्वाभाविक रूप से बेहतर होगा; अब वे कहते हैं कि ऐसा जरूरी नहीं। उनके मुताबिक, अलाइनमेंट को ट्रेनिंग के दौरान विकसित करने की कोशिश के साथ साथ मॉडल के बाहर सुरक्षा नियंत्रण भी बनाने चाहिए। माइक्रोसॉफ्ट के Project Perception का विस्तार एजेंट के जोखिम क...

प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

नडेला ने पहले सोचा था कि AI की क्षमता बढ़ने के साथ उसका अलाइनमेंट भी स्वाभाविक रूप से बेहतर होगा; अब वे कहते हैं कि ऐसा जरूरी नहीं।
उनके मुताबिक, अलाइनमेंट को ट्रेनिंग के दौरान विकसित करने की कोशिश के साथ साथ मॉडल के बाहर सुरक्षा नियंत्रण भी बनाने चाहिए।
माइक्रोसॉफ्ट के Project Perception का विस्तार एजेंट के जोखिम का आकलन करने, अनुमतियां बदलने और खतरे सीमित करने के लिए किया जा रहा है।

Editorial illustration representing AI alignment and security controls around an AI model — How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in hisAn illustration of the distinction between shaping a model through training and constraining its actions with external controls.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
openai.com

माइक्रोसॉफ्ट के CEO सत्या नडेला की AI सुरक्षा को लेकर सोच बदली है। पहले उन्हें लगता था कि जैसे-जैसे AI मॉडल अधिक सक्षम होंगे, वे अपने-आप इंसानी लक्ष्यों और मूल्यों के अनुरूप भी होते जाएंगे। अब उनका कहना है कि क्षमता बढ़ने से अलाइनमेंट—यानी AI का व्यवहार इंसानी मंशा के अनुरूप रहना—अपने-आप सुनिश्चित नहीं होता। 5 11

26 अक्टूबर, 2026 को 20VC पॉडकास्ट पर और 19 अक्टूबर को अपनी टिप्पणियों में नडेला ने कहा कि स्केलिंग अकेले इस समस्या का हल नहीं है। उनका जोर है कि मॉडल को ट्रेनिंग के दौरान अलाइन करने की कोशिश हो, लेकिन उसके इस्तेमाल के समय सुरक्षा के लिए मॉडल से बाहर भी नियंत्रण मौजूद रहें। 2 5

ज्यादा क्षमता का मतलब ज्यादा सुरक्षा नहीं

नडेला ने माना है कि उनका पुराना अनुमान सही नहीं था: AI मॉडल के अधिक सक्षम होने से उसका अलाइनमेंट अपने-आप बेहतर नहीं हो जाता। 19 अक्टूबर के इंटरव्यू ट्रांसक्रिप्ट में उनकी बात साफ है—स्केलिंग से अलाइनमेंट क्षमता की तरह अपने-आप नहीं उभरता। 5 11

यह फर्क इसलिए अहम है कि मॉडल का अच्छा प्रदर्शन अपने-आप यह साबित नहीं करता कि उसका व्यवहार भरोसेमंद है। नडेला ने यह भी आगाह किया कि मॉडल कैसे निर्णय लेते हैं, इसकी यांत्रिक समझ हासिल करना कठिन बना रह सकता है—भले ही स्केलिंग से उनकी क्षमता बढ़ती रहे। 5

उनका सुझाव अलाइनमेंट पर काम छोड़ने का नहीं है। उपलब्ध 20VC सारांशों के मुताबिक, अलाइनमेंट को ट्रेनिंग में—संभव हो तो प्री-ट्रेनिंग से ही—शामिल करना चाहिए, न कि यह मान लेना चाहिए कि वह बाद में अपने-आप आ जाएगा। वे इस बात को लेकर भी संदेह जताते हैं कि केवल रीइन्फोर्समेंट लर्निंग से अलाइनमेंट हासिल किया जा सकता है। 2 8

मॉडल को प्रशिक्षित करना और उसे सीमित रखना—दो अलग काम

ट्रेनिंग का मकसद मॉडल के व्यवहार को आकार देना है। वहीं, कंटेनमेंट यानी नियंत्रण यह तय करता है कि तैनात होने के बाद मॉडल क्या कर सकता है। नडेला का तर्क है कि तैनाती की सुरक्षा इस उम्मीद पर निर्भर नहीं हो सकती कि अलाइनमेंट की समस्या पहले ही पूरी तरह हल हो चुकी है। इसलिए मॉडल के बाहर भी नियंत्रण होने चाहिए। 2 5

यही सोच माइक्रोसॉफ्ट के Project Perception के 19 अक्टूबर को घोषित विस्तार में दिखती है। नडेला के मुताबिक, इसमें AI एजेंट के जोखिम का आकलन करने, उसकी अनुमतियों को परिस्थिति के अनुसार बदलने और खतरे सीमित करने की क्षमताएं जोड़ी जा रही हैं। इसका आधार यह है कि AI एजेंट को संभावित अंदरूनी जोखिम की तरह देखा जाए—इसका अर्थ यह नहीं कि वह जानबूझकर नुकसान पहुंचाना चाहता है, बल्कि यह कि उसके काम पर स्वतंत्र नियंत्रण जरूरी है। 1 14

सीधा सिद्धांत यह है: किसी मॉडल को कार्रवाई सुझाने या शुरू करने की क्षमता देना, उसे वह कार्रवाई करने का अधिकार देने के बराबर नहीं होना चाहिए। बाहरी अनुमतियां और कंटेनमेंट के उपाय किसी एजेंट के अप्रत्याशित व्यवहार की स्थिति में उसकी पहुंच सीमित कर सकते हैं। 10 अक्टूबर के अपने लेख में नडेला ने यह भी कहा कि कंपनियों को मानकर चलना चाहिए कि मॉडल से छेड़छाड़ हो सकती है, और किसी अधिकृत व्यक्ति के पास काम के बीच में उसे रोकने या बंद करने का तरीका होना चाहिए। 18 22

इस बदली सोच का बड़ा मतलब

नडेला की नई सोच क्षमता और सुरक्षा को अलग-अलग मानती है। अगर स्केलिंग से अलाइनमेंट की गारंटी नहीं मिलती, तो अधिक सक्षम मॉडल को सिर्फ उसके बेहतर प्रदर्शन के कारण अधिक सुरक्षित नहीं मानना चाहिए। उनके बताए रास्ते में दो मोर्चे हैं: ट्रेनिंग के दौरान अलाइनमेंट पर काम और तैनाती के समय ऐसे बाहरी नियंत्रण जो मॉडल के व्यवहार पर निर्भर न हों। 2 5

उनके भरोसे के सिद्धांत का सार भी यही है। नडेला ने सबसे भरोसेमंद सिस्टम को ऐसा बताया है जो लोगों को मॉडल पर कम-से-कम भरोसा करने की जरूरत छोड़े—यानी सुरक्षा मॉडल के भरोसों पर नहीं, बल्कि स्वतंत्र नियंत्रण व्यवस्था पर टिकी हो। 9

उपलब्ध जानकारी से यही सीमित निष्कर्ष निकलता है: स्केलिंग अलाइनमेंट की गारंटी नहीं है, इसलिए ट्रेनिंग के प्रयासों के साथ बाहरी सुरक्षा नियंत्रण और मानवीय निगरानी भी जरूरी हैं। 1 5 18

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं