उत्तरप्रकाशित24 स्रोत
एक robots.txt नियम, चार AI कंपनियाँ: प्रकाशकों के लिए क्या बदलेगा?
30 अक्टूबर 2026 को Google, OpenAI, Microsoft और Anthropic ने AI ट्रेनिंग के लिए robots.txt में साझा पसंद संकेत का समर्थन किया। साइट के लिए उदाहरण: User agent: usage ai training और Disallow: /.[4][8] Microsoft ने 1 फ़रवरी 2027 से इसे Bing के क्रॉल के दौरान मानने की योजना बताई है। Google का लक्ष्य 2027 की शुरुआत है, O...
प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- 30 अक्टूबर 2026 को Google, OpenAI, Microsoft और Anthropic ने AI ट्रेनिंग के लिए robots.txt में साझा पसंद संकेत का समर्थन किया। साइट के लिए उदाहरण: User agent: usage ai training और Disallow: /.[4][8]
- Microsoft ने 1 फ़रवरी 2027 से इसे Bing के क्रॉल के दौरान मानने की योजना बताई है। Google का लक्ष्य 2027 की शुरुआत है, OpenAI ने “आने वाले महीनों” कहा है और Anthropic ने कार्यान्वयन शुरू करने की बात कही है।[8][17]
- यह IETF का Internet Draft है, अंतिम मानक नहीं। संकेत AI ट्रेनिंग की पसंद बताता है—अपने आप क्रॉलिंग रोकने या सामान्य खोज परिणामों से पेज हटाने का निर्देश नहीं।[2][7]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
30 अक्टूबर 2026 को Google, OpenAI, Microsoft और Anthropic ने वेबसाइट प्रकाशकों के लिए AI ट्रेनिंग से जुड़ी एक साझा पसंद-संकेत व्यवस्था का समर्थन किया। इसका मकसद है कि साइट संचालक हर कंपनी के क्रॉलर के लिए अलग-अलग नियम लिखने के बजाय robots.txt में एक साझा संकेत देकर बता सकें कि उनकी सामग्री का उपयोग जनरेटिव AI मॉडल की ट्रेनिंग के लिए किया जाए या नहीं।4
8
लेकिन इसे तकनीकी ताले की तरह नहीं, बल्कि भाग लेने वाली कंपनियों द्वारा मानने की कही गई पसंद के रूप में समझना चाहिए। यह अपने-आप किसी वेबसाइट तक पहुँच रोकता नहीं है।7
8
robots.txt में साझा नियम कैसा दिखेगा?
Anthropic के मानक-विषयक प्रमुख Kevin Kelley ने Machine-Readable Training Preference Signal नाम का प्रस्ताव IETF के AI Preferences कार्यसमूह में Internet-Draft के रूप में रखा। इसमें __usage_ai-training नाम का नीति-टोकन तय किया गया है, जिसे सामान्य robots.txt नियम-समूह में लिखा जा सकता है।2
6
7
पूरी साइट की सामग्री को AI ट्रेनिंग में इस्तेमाल न करने की पसंद इस तरह लिखी जा सकती है:
User-agent: __usage_ai-training
Disallow: /
अगर प्रकाशक कुछ रास्तों के लिए अपवाद रखना चाहते हैं, तो सामान्य Allow और Disallow नियम इस्तेमाल किए जा सकते हैं। उदाहरण के लिए, नीचे का नियम ट्रेनिंग के लिए सामग्री के इस्तेमाल को सामान्य रूप से रोकता है, लेकिन /permitted/ पथ को अनुमति देता है:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
यह टोकन किसी खास कंपनी के क्रॉलर का नाम नहीं, बल्कि सामग्री के इस्तेमाल से जुड़ी पसंद बताता है। प्रस्ताव में टोकन को साफ़ तौर पर लिखना ज़रूरी है: User-agent: * वाला समूह __usage_ai-training से मेल नहीं खाता।7
34
यह क्या नियंत्रित करता है—और क्या नहीं?
साझा संकेत का दायरा जनरेटिव AI ट्रेनिंग में सामग्री के इस्तेमाल की पसंद है। यह अपने-आप वेबसाइट क्रॉल करना बंद करने या पेज को खोज परिणामों से हटाने का अनुरोध नहीं है।2
7 robots.txt में यह निर्देश किसी तकनीकी अवरोध की तरह काम नहीं करता; इसका असर इस बात पर निर्भर करेगा कि संबंधित प्रदाता इसे मानते हैं या नहीं।
7
8
इसका यह मतलब भी नहीं कि कंपनियों के पुराने, अलग-अलग नियंत्रण अप्रासंगिक हो जाते हैं। Google ने कहा है कि यदि साइट साझा संकेत से ट्रेनिंग के लिए मना करती है और Google-Extended के बारे में अलग नियम नहीं देती, तो वह इसे Google-Extended को Disallow करने के समान मानेगा। इसलिए Google के लिए मौजूदा प्रदाता-विशिष्ट नियमों पर भी ध्यान देना ज़रूरी है।33
34
Microsoft ने अलग से कहा है कि उसके नए विकल्प Bing के सामान्य खोज परिणामों में साइट की पात्रता नहीं बदलेंगे।19
31 यह आश्वासन Bing के बारे में है; उपलब्ध स्रोत चारों कंपनियों की सामान्य खोज-इंडेक्सिंग के लिए कोई व्यापक गारंटी स्थापित नहीं करते।
कंपनियों की घोषित समयसीमा
ये कंपनियों की घोषित योजनाएँ हैं—इनसे यह साबित नहीं होता कि सभी जगह कार्यान्वयन पहले से सक्रिय है।
- Anthropic: Kevin Kelley ने बताया कि कंपनी ने संकेत लागू करने का काम शुरू कर दिया है। उपलब्ध रिपोर्टिंग में पूरा होने की पक्की तारीख नहीं दी गई है।
8
- Google: 2027 की शुरुआत में समर्थन देने का लक्ष्य।
- Microsoft/Bing: 1 फ़रवरी 2027 से पेज क्रॉल करते समय साझा ट्रेनिंग-पसंद का सम्मान करने की योजना।
17
- OpenAI: “आने वाले महीनों” में समर्थन की योजना बताई गई है; उपलब्ध स्रोत कोई निश्चित तारीख नहीं देते।
Microsoft के ट्रेनिंग और ग्राउंडिंग विकल्प
Microsoft साझा ट्रेनिंग संकेत के साथ अलग AI Grounding नियंत्रण भी ला रहा है। ग्राउंडिंग का मतलब है कि किसी पेज की सामग्री का उपयोग AI-जनरेटेड जवाबों को जानकारी देने के लिए किया जाए। Microsoft के अनुसार, यह ट्रेनिंग से अलग पेज-स्तरीय पसंद होगी।17
रिपोर्टिंग में ग्राउंडिंग के तीन विकल्प बताए गए हैं: Allow, Disallow और DisallowExtended। तीसरा विकल्प Microsoft के अपने अनुभवों में ग्राउंडिंग की अनुमति देता है, लेकिन Microsoft की तीसरे पक्ष को दी जाने वाली ग्राउंडिंग सेवाओं से सामग्री को बाहर रखता है।3
17
पुराने NoArchive या NoCache टैग इस्तेमाल करने वाली साइटों के लिए बदलाव की तारीखें ध्यान देने योग्य हैं। रिपोर्टों के मुताबिक, पात्र साइटों के लिए Bing Webmaster Tools में अस्थायी ग्राउंडिंग विकल्प 15 दिसंबर 2026 से उपलब्ध होंगे। पुराने टैगों पर निर्भर साइटों के लिए 1 मार्च 2027 को माइग्रेशन की समयसीमा बताया गया है। Microsoft के नए विकल्प Bing द्वारा पेज क्रॉल किए जाने पर 1 फ़रवरी 2027 से लागू होने की योजना है।3
44
51
अभी क्या स्पष्ट नहीं है?
- IETF की प्रक्रिया पूरी नहीं हुई है। यह प्रस्ताव Internet-Draft है, अंतिम IETF मानक नहीं। उद्धृत ड्राफ्ट 30 अक्टूबर 2026 का है और उसकी समाप्ति तारीख 3 मई 2027 दर्ज है।
2
34
41
- पहले से जुटाई गई सामग्री का सवाल खुला है। उपलब्ध प्रस्ताव और घोषणाओं के सार यह नहीं बताते कि पसंद पहले से एकत्र सामग्री पर भी लागू होगी या नहीं, सामग्री हटानी होगी या नहीं, अथवा पहले से प्रशिक्षित मॉडल पर कोई असर पड़ेगा या नहीं।
- पालन प्रदाताओं पर निर्भर है। स्रोत भाग लेने वाली कंपनियों की इसे मानने की योजनाएँ बताते हैं; वे ऐसे प्रदाताओं के खिलाफ प्रवर्तन की व्यवस्था स्थापित नहीं करते जो इसमें शामिल नहीं हैं।
7
- Meta की भागीदारी की पुष्टि नहीं है। उपलब्ध रिपोर्टिंग Google, OpenAI, Microsoft और Anthropic का नाम लेती है, लेकिन Meta की ओर से इसे लागू करने की प्रतिबद्धता की पुष्टि नहीं करती।
4
प्रकाशकों के लिए व्यावहारिक बात यह है: __usage_ai-training एक साझा और उपयोगी पसंद-संकेत हो सकता है, लेकिन इसे हर प्रदाता के अलग नियमों, Microsoft के ग्राउंडिंग विकल्पों या कंपनियों की वास्तविक rollout जानकारी की समीक्षा का विकल्प नहीं मानना चाहिए।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"एक robots.txt नियम, चार AI कंपनियाँ: प्रकाशकों के लिए क्या बदलेगा?" का संक्षिप्त उत्तर क्या है?
30 अक्टूबर 2026 को Google, OpenAI, Microsoft और Anthropic ने AI ट्रेनिंग के लिए robots.txt में साझा पसंद संकेत का समर्थन किया। साइट के लिए उदाहरण: User agent: usage ai training और Disallow: /.[4][8]
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
30 अक्टूबर 2026 को Google, OpenAI, Microsoft और Anthropic ने AI ट्रेनिंग के लिए robots.txt में साझा पसंद संकेत का समर्थन किया। साइट के लिए उदाहरण: User agent: usage ai training और Disallow: /.[4][8] Microsoft ने 1 फ़रवरी 2027 से इसे Bing के क्रॉल के दौरान मानने की योजना बताई है। Google का लक्ष्य 2027 की शुरुआत है, OpenAI ने “आने वाले महीनों” कहा है और Anthropic ने कार्यान्वयन शुरू करने की बात कही है।[8][17]
मुझे अभ्यास में आगे क्या करना चाहिए?
यह IETF का Internet Draft है, अंतिम मानक नहीं। संकेत AI ट्रेनिंग की पसंद बताता है—अपने आप क्रॉलिंग रोकने या सामान्य खोज परिणामों से पेज हटाने का निर्देश नहीं।[2][7]
सूत्र