उत्तरप्रकाशित21 स्रोत
Cloudflare का नया विकल्प: AI ट्रेनिंग रोकें, सर्च विजिबिलिटी बनाए रखें
15 सितंबर 2026 को लॉन्च हुआ Cloudflare का Disallow AI Training विकल्प AI ट्रेनिंग को सर्च इंडेक्सिंग से अलग करता है: योग्य Accountable क्रॉलर सर्च के लिए साइट एक्सेस कर सकते हैं, जबकि ट्रेनिंग क्रॉलर ब्लॉक होते हैं। Apple, Google और Microsoft पहले Accountable ऑपरेटर हैं। इस दर्जे के लिए AI ट्रेनिंग ऑप्ट आउट, AI सर्च...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- 15 सितंबर 2026 को लॉन्च हुआ Cloudflare का Disallow AI Training विकल्प AI ट्रेनिंग को सर्च इंडेक्सिंग से अलग करता है: योग्य Accountable क्रॉलर सर्च के लिए साइट एक्सेस कर सकते हैं, जबकि ट्रेनिंग क्रॉलर ब्लॉक होते हैं।
- Apple, Google और Microsoft पहले Accountable ऑपरेटर हैं। इस दर्जे के लिए AI ट्रेनिंग ऑप्ट आउट, AI सर्च सारांश ऑप्ट आउट, URL स्तर पारदर्शिता और सर्च एक्सेस न हटाने की सार्वजनिक पुष्टि जैसी चार शर्तें हैं।
- नई Cloudflare डोमेन पर विज्ञापन दिखाने वाले पन्नों के लिए Training और Agent ट्रैफिक डिफ़ॉल्ट रूप से ब्लॉक है। साइट मालिक Search, Training और Agent नीतियां अलग अलग नियंत्रित कर सकते हैं।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Cloudflare’s September 15, 2026 launch of “Disallow AI Training” introduce for website owners, how does it allow them to prevent AI. Article summary: Cloudflare’s September 15 launch introduced **Disallow AI Training**: a setting intended to let a site refuse use of its content for model training without sacrificing ordinary search indexing. It combines an opt-out sig. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Cloudflare ने वेबसाइट मालिकों और प्रकाशकों के सामने लंबे समय से मौजूद एक मुश्किल विकल्प को कम करने के लिए Disallow AI Training सेटिंग पेश की है: अपनी सामग्री को AI मॉडल ट्रेनिंग के लिए इस्तेमाल होने से रोकना, लेकिन सामान्य सर्च नतीजों से गायब न होना। 15 सितंबर 2026 को घोषित यह विकल्प साइट को ‘ट्रेनिंग नहीं’ की पसंद दर्ज करने और संबंधित क्रॉलर ट्रैफिक रोकने देता है, जबकि योग्य मिश्रित-उपयोग क्रॉलर सर्च के लिए पहुंच बनाए रख सकते हैं। 7
20
असली बदलाव: सर्च और ट्रेनिंग अब एक ही चीज़ नहीं
Cloudflare ने पुराने व्यापक Block AI Bots तरीके की जगह क्रॉलर उपयोग के तीन अलग नियंत्रण दिए हैं:
- Search — सर्च इंजन में सामग्री को इंडेक्स करने के लिए क्रॉलिंग
- Training — मॉडल को प्रशिक्षित या फाइन-ट्यून करने के लिए सामग्री का उपयोग
- Agent — उपयोगकर्ता की ओर से काम करने वाले AI एजेंट का ट्रैफिक
इस विभाजन से प्रकाशक हर उपयोग के लिए अलग फैसला ले सकते हैं; अब उन्हें सभी बॉट्स को एक साथ अनुमति देने या रोकने की जरूरत नहीं है। Cloudflare के अनुसार, ये नियंत्रण और सुझाई गई सेटिंग्स 15 सितंबर के लॉन्च के साथ प्रकाशकों व कारोबारों के लिए उपलब्ध हुईं। 13
20
जो साइटें सर्च के जरिए खोजी जाती रहना चाहती हैं, लेकिन अपनी सामग्री से AI मॉडल ट्रेन नहीं होने देना चाहतीं, उनके लिए Disallow AI Training मुख्य विकल्प है। यह Cloudflare के bot-policy और robots.txt टूलिंग के जरिए ‘ट्रेनिंग नहीं’ की प्राथमिकता प्रकाशित करता है और ट्रेनिंग ट्रैफिक पर ब्लॉकिंग नियम लागू करता है। 1
6
7
सर्च पहुंच कैसे बनी रहती है
कुछ क्रॉलर एक से अधिक काम करते हैं। Googlebot, Applebot और Bingbot सर्च इंडेक्सिंग के लिए साइट क्रॉल कर सकते हैं, जबकि इनके संचालकों के AI-संबंधित सामग्री उपयोग भी हो सकते हैं। Cloudflare की नीति इन दोनों भूमिकाओं को अलग मानती है।
जब Disallow AI Training चालू होता है:
- योग्य Accountable मिश्रित-उपयोग क्रॉलर को सर्च इंडेक्सिंग के लिए सामग्री तक पहुंच मिल सकती है।
- क्रॉलर संचालक से अपेक्षा है कि वह उस सामग्री का AI ट्रेनिंग में उपयोग न करने की साइट की पसंद का सम्मान करे।
- केवल ट्रेनिंग के लिए बने क्रॉलर, और ऐसे मिश्रित-उपयोग क्रॉलर जिनके संचालक Accountable नहीं हैं, ट्रेनिंग-अस्वीकृति नीति के तहत ब्लॉक किए जाते हैं।
7
17
24
यह Cloudflare के अधिक सख्त Block विकल्प से अलग है। पूर्ण ब्लॉक Googlebot, Applebot और Bingbot को उनकी सर्च क्रॉलिंग समेत रोक सकता है। इसलिए सर्च विजिबिलिटी बनाए रखना प्राथमिकता हो तो यह सही सेटिंग नहीं है। 17
28
‘Accountable’ का मतलब क्या है?
Accountable Cloudflare का वह पदनाम है जो ऐसे मिश्रित-उपयोग क्रॉलर ऑपरेटरों को दिया जाता है, जो सर्च क्रॉलिंग को AI-संबंधित उपयोगों से अलग रखने के लिए Cloudflare के मानकों को पूरा करते हैं या तय समयसीमा में उन्हें पूरा करने की प्रतिबद्धता देते हैं। Apple, Google और Microsoft इस पदनाम को पाने वाले पहले ऑपरेटर हैं। 7
20
23
इसका मतलब यह नहीं कि किसी साइट ने AI उपयोग की खुली अनुमति दे दी है। बल्कि, Cloudflare इसी पदनाम के आधार पर Disallow AI Training चुनने के बाद भी किसी मिश्रित-उपयोग क्रॉलर को सर्च एक्सेस बनाए रखने देता है।
Accountable बनने की चार शर्तें
Cloudflare के अनुसार, किसी ऑपरेटर को ये चार शर्तें पूरी करनी होंगी या उन्हें पूरा करने की प्रतिबद्धता देनी होगी:
robots.txtया तुलनीय मानक के जरिए AI ट्रेनिंग ऑप्ट-आउट की व्यवस्था।- AI-जनित सर्च सारांशों से ऑप्ट-आउट का विकल्प — अभी उपलब्ध या तय समयसीमा में उपलब्ध कराने की प्रतिबद्धता।
- सामग्री के सर्च और ट्रेनिंग उपयोग की URL-स्तर पर जानकारी/पारदर्शिता।
- सार्वजनिक रूप से यह पुष्टि कि ट्रेनिंग से ऑप्ट-आउट करने पर सामान्य सर्च एक्सेस नहीं हटेगा।
23
इन शर्तों का उद्देश्य सर्च और ट्रेनिंग के फर्क को सिद्धांत रूप में जांचने योग्य बनाना है: साइट मालिक न सिर्फ अपनी पसंद दर्ज कर सकें, बल्कि यह भी समझ सकें कि उसका पालन हो रहा है या नहीं।
कौन से बॉट्स सर्च के लिए चलेंगे और कौन ब्लॉक होंगे?
Disallow AI Training के तहत निर्णायक बात सिर्फ यह नहीं है कि कोई बॉट AI कंपनी का है या नहीं। अहम यह है कि वह मिश्रित-उपयोग क्रॉलर है या नहीं, और उसके ऑपरेटर को Cloudflare का Accountable पदनाम मिला है या नहीं।
| क्रॉलर श्रेणी | Disallow AI Training के तहत स्थिति |
|---|---|
| Accountable मिश्रित-उपयोग सर्च क्रॉलर, जिनमें Googlebot, Applebot और Bingbot शामिल हैं | सर्च इंडेक्सिंग के लिए अनुमति बनी रह सकती है। |
| केवल AI मॉडल ट्रेनिंग के लिए बने क्रॉलर | ब्लॉक किए जाते हैं। |
| Accountable दर्जे के बिना मिश्रित-उपयोग क्रॉलर | ट्रेनिंग एक्सेस के लिए ब्लॉक किए जाते हैं। |
इस तरह Cloudflare का मॉडल सार्वभौमिक AI-बॉट ब्लॉक की तुलना में अधिक बारीक नीति देता है: किसी क्रॉलर की सर्च भूमिका तभी रखी जाती है, जब उसका संचालक अलग ट्रेनिंग प्रतिबंध का सम्मान करने के लिए प्रतिबद्ध हो।
Google, Apple और Bing के लिए यह कैसे काम करता है
Cloudflare का Bot Preference Sync फीचर डैशबोर्ड में Search, Agent और Training के लिए तय AI-बॉट प्राथमिकताओं के साथ साइट की robots.txt फाइल को समन्वित रखता है। 1
6
Google और Apple के मामले में ट्रेनिंग नियंत्रण उनके सर्च क्रॉलर से अलग हैं:
- Google-Extended, Google का ट्रेनिंग-संबंधित ऑप्ट-आउट टोकन है। यह Googlebot से अलग है, इसलिए ट्रेनिंग प्रतिबंध दर्ज करने से Google Search इंडेक्सिंग अपने-आप नहीं रुकती।
27
- Applebot-Extended, Apple का समान ट्रेनिंग-संबंधित नियंत्रण है। इससे Applebot की सर्च भूमिका AI ट्रेनिंग ऑप्ट-आउट से अलग रह सकती है।
- Bingbot Cloudflare के Accountable मॉडल में सर्च के लिए उपलब्ध रह सकता है। Cloudflare के ढांचे में कुछ क्षमताएं पहले से मौजूद सुविधा के बजाय तय समयसीमा में पूरी की जाने वाली प्रतिबद्धता के रूप में शामिल हो सकती हैं।
नए विज्ञापन-समर्थित डोमेन के डिफ़ॉल्ट नियम
Cloudflare ने पहले 15 सितंबर 2026 के लिए नए डिफ़ॉल्ट की घोषणा की थी। Cloudflare पर ऑनबोर्ड होने वाले नए डोमेन में विज्ञापन दिखाने वाले पन्नों पर Training और Agent श्रेणियां डिफ़ॉल्ट रूप से ब्लॉक रहती हैं। 13
यह पूरे साइट के सर्च ब्लॉक से अलग और अधिक सीमित डिफ़ॉल्ट है। उपलब्ध स्रोत हर मौजूदा ग्राहक के लिए किसी एक सटीक स्वचालित माइग्रेशन नियम की पुष्टि नहीं करते। इसलिए साइट मालिकों को यह मान लेने के बजाय कि पुरानी कॉन्फ़िगरेशन अपने-आप बदल गई होगी, अपने ज़ोन-स्तर के Search, Training और Agent सेटिंग्स की समीक्षा करनी चाहिए।
प्रकाशकों के लिए व्यावहारिक फैसला
संक्षेप में:
- यदि सर्च में मौजूद रहना है, लेकिन सामग्री से मॉडल ट्रेनिंग नहीं होने देनी है, तो Disallow AI Training चुनें।
- व्यापक Block नीति तभी चुनें जब प्रभावित क्रॉलर की सर्च पहुंच सीमित होने की संभावना स्वीकार्य हो।
- Search, Training और Agent सेटिंग्स को अलग-अलग जांचें, खासकर विज्ञापन-समर्थित पन्नों और पहले से बॉट नियम लागू करने वाले डोमेन में।
20
Cloudflare के नियंत्रण इस जरूरत को खत्म नहीं करते कि क्रॉलर संचालक प्रकाशित प्राथमिकताओं का सम्मान करें। लेकिन यह लॉन्च एक स्पष्ट सीमा बनाता है: सर्च इंडेक्सिंग की अनुमति बनी रह सकती है, जबकि AI ट्रेनिंग से साफ इनकार किया जा सकता है — बशर्ते क्रॉलर ऑपरेटर Cloudflare की Accountable शर्तें पूरी करता हो। 7
24
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Cloudflare का नया विकल्प: AI ट्रेनिंग रोकें, सर्च विजिबिलिटी बनाए रखें" का संक्षिप्त उत्तर क्या है?
15 सितंबर 2026 को लॉन्च हुआ Cloudflare का Disallow AI Training विकल्प AI ट्रेनिंग को सर्च इंडेक्सिंग से अलग करता है: योग्य Accountable क्रॉलर सर्च के लिए साइट एक्सेस कर सकते हैं, जबकि ट्रेनिंग क्रॉलर ब्लॉक होते हैं।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
15 सितंबर 2026 को लॉन्च हुआ Cloudflare का Disallow AI Training विकल्प AI ट्रेनिंग को सर्च इंडेक्सिंग से अलग करता है: योग्य Accountable क्रॉलर सर्च के लिए साइट एक्सेस कर सकते हैं, जबकि ट्रेनिंग क्रॉलर ब्लॉक होते हैं। Apple, Google और Microsoft पहले Accountable ऑपरेटर हैं। इस दर्जे के लिए AI ट्रेनिंग ऑप्ट आउट, AI सर्च सारांश ऑप्ट आउट, URL स्तर पारदर्शिता और सर्च एक्सेस न हटाने की सार्वजनिक पुष्टि जैसी चार शर्तें हैं।
मुझे अभ्यास में आगे क्या करना चाहिए?
नई Cloudflare डोमेन पर विज्ञापन दिखाने वाले पन्नों के लिए Training और Agent ट्रैफिक डिफ़ॉल्ट रूप से ब्लॉक है। साइट मालिक Search, Training और Agent नीतियां अलग अलग नियंत्रित कर सकते हैं।
सूत्र