उत्तरप्रकाशित17 स्रोत
Cloudflare के नए AI Crawler डिफॉल्ट: क्या ब्लॉक होगा और Search क्यों चलता रहेगा
15 सितंबर 2026 से नए Cloudflare डोमेन पर विज्ञापन दिखाने वाले पेजों में AI Training और Agent crawlers डिफॉल्ट रूप से ब्लॉक होते हैं, जबकि Search को अनुमति रहती है। [2][15] वेबसाइट मालिक Search, Training और Agent को अलग अलग नियंत्रित कर सकते हैं: अनुमति दें, सिर्फ विज्ञापन वाले पेजों पर रोकें, या पूरे साइट पर रोकें।...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- 15 सितंबर 2026 से नए Cloudflare डोमेन पर विज्ञापन दिखाने वाले पेजों में AI Training और Agent crawlers डिफॉल्ट रूप से ब्लॉक होते हैं, जबकि Search को अनुमति रहती है। [2][15]
- वेबसाइट मालिक Search, Training और Agent को अलग अलग नियंत्रित कर सकते हैं: अनुमति दें, सिर्फ विज्ञापन वाले पेजों पर रोकें, या पूरे साइट पर रोकें। [2][3]
- सबसे बड़ा जोखिम mixed purpose bots का है: Search और Training, दोनों काम करने वाला crawler Training रोकने पर search indexing से भी बाहर हो सकता है। [2][6]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What default rules did Cloudflare begin enforcing in September 2026 for AI training and agent crawlers on millions of websites, which new an. Article summary: On September 15, 2026, Cloudflare began default-blocking automated traffic classified as AI Training or Agent on ad-bearing pages, while continuing to allow Search crawlers. The change is a default for newly onboarded do. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cloudflare ने 15 सितंबर 2026 से AI-संबंधित web crawling के लिए अधिक बारीक नियंत्रण लागू किए हैं। नए डोमेन के लिए, जिन पेजों पर विज्ञापन दिखते हैं वहां Training और Agent श्रेणी के crawlers डिफॉल्ट रूप से ब्लॉक होते हैं। इसके उलट, Search crawlers को डिफॉल्ट रूप से अनुमति रहती है। 2
15
इसका मतलब हर AI bot पर पूर्ण प्रतिबंध नहीं है। Cloudflare का उद्देश्य वेबसाइट मालिकों को यह चुनने देना है कि वे search discovery बनाए रखना चाहते हैं, लेकिन अपने कंटेंट को मॉडल ट्रेनिंग या किसी AI सहायक द्वारा रियल-टाइम में इस्तेमाल किए जाने से सीमित करना चाहते हैं।
नया डिफॉल्ट क्या करता है?
यह नियम Cloudflare पर नए onboard होने वाले डोमेन के लिए है। अगर Cloudflare किसी पेज पर विज्ञापन पहचानता है, तो वह दो प्रकार के automated traffic को रोकता है:
- Training — वह crawling जिसमें सामग्री को AI मॉडल को train या fine-tune करने के लिए लिया जाता है।
- Agent — किसी व्यक्ति की ओर से रियल-टाइम में काम करने वाला automation, जैसे chat-fetch bot या browser-use agent।
1
वहीं Search को अनुमति रहती है। Cloudflare के अनुसार, इसमें ऐसा crawling या indexing शामिल है जो किसी सेवा को बाद में प्रश्नों के उत्तर देने में मदद करता है और जिससे प्रकाशक को referral traffic या अन्य उचित प्रतिफल मिलने की अपेक्षा होनी चाहिए। 1
3
अर्थात यह नियम सिर्फ विज्ञापन वाले पेजों तक सीमित है और मुख्यतः Training तथा Agent व्यवहार पर लागू होता है। 2
15
किन Cloudflare ग्राहकों पर असर पड़ता है?
Cloudflare के आधिकारिक दस्तावेज़ नए डिफॉल्ट को उसके नेटवर्क पर नए onboard होने वाले डोमेन से जोड़ते हैं। 2
15 रोलआउट पर रिपोर्टिंग के अनुसार, इसमें मौजूदा ग्राहकों द्वारा जोड़ी गई नई साइटें और वे Free-tier खाते भी शामिल हो सकते हैं जिन्होंने अपनी सेटिंग स्वयं नहीं बदली है।
23
पहले से Cloudflare इस्तेमाल कर रहे ग्राहक यह न मानें कि उनकी हर पुरानी zone पर यही नीति अपने-आप लग गई होगी। वास्तविक स्थिति डोमेन के onboarding status, plan और मौजूदा configuration पर निर्भर कर सकती है। इसलिए Cloudflare dashboard में AI crawler controls जांचना सबसे सुरक्षित तरीका है। 2
3
तीन श्रेणियां, जिन्हें अलग-अलग नियंत्रित किया जा सकता है
Cloudflare AI traffic को एक ही समूह नहीं मानता, बल्कि उसके व्यवहार के आधार पर तीन वर्गों में बांटता है। इन्हें स्वतंत्र रूप से configure किया जा सकता है। 1
3
| श्रेणी | इसमें क्या शामिल है | नए डोमेन पर विज्ञापन वाले पेजों का डिफॉल्ट |
|---|---|---|
| Search | बाद में प्रश्नों के उत्तर देने के लिए कंटेंट को crawl या index करना | अनुमति |
| Training | मॉडल को train या fine-tune करने के लिए कंटेंट इकट्ठा करना | ब्लॉक |
| Agent | उपयोगकर्ता की ओर से रियल-टाइम automated काम करना | ब्लॉक |
हर श्रेणी के लिए साइट मालिक के पास तीन विकल्प हैं:
मिसाल के तौर पर, कोई publisher Search indexing चालू रख सकता है, लेकिन Training crawlers को पूरी साइट पर रोक सकता है। या वह कम कठोर विकल्प चुनते हुए सिर्फ विज्ञापन वाले पेजों पर रोक लगा सकता है।
SEO के लिए मुख्य सावधानी: mixed-purpose crawlers
किसी crawler का वर्गीकरण केवल एक व्यवहार तक सीमित होना जरूरी नहीं है। Cloudflare कहता है कि जो crawlers Search और Training दोनों काम करते हैं, उनका निर्णय उनके सभी व्यवहारों के आधार पर होगा और सबसे सख्त लागू नियम को प्राथमिकता मिलेगी। 2
6
15
यहीं SEO संबंधी जोखिम पैदा होता है। यदि वेबसाइट मालिक Training को ब्लॉक करता है, तो ऐसा crawler जिसे Cloudflare Search और Training दोनों मानता है, उसके सामान्य search-crawling access से भी वंचित हो सकता है। Cloudflare के दस्तावेज़ और रोलआउट कवरेज में Googlebot, Applebot और BingBot को ऐसे multipurpose crawlers के उदाहरण के रूप में बताया गया है। 2
6
इसलिए केवल Search को अनुमति देने का अर्थ हमेशा यह नहीं है कि उस bot को access मिलता रहेगा जिसका एक दूसरा व्यवहार Training के रूप में वर्गीकृत है। पूरे साइट पर Training block लगाने से पहले संभावित search-indexing असर का आकलन करना जरूरी है। 2
4
पुराने “Block AI bots” विकल्प का क्या होगा?
Cloudflare के अनुसार, AI training को ब्लॉक करने वाली configurations—जिसमें पुराना “Block AI bots” विकल्प भी शामिल है—mixed Search-and-Training crawlers पर भी लागू हो सकती हैं। 2 इसलिए उन साइटों को खास तौर पर अपनी नीति जांचनी चाहिए जिन्होंने पुराने व्यापक toggle को यह सोचकर चालू किया था कि उसका असर सिर्फ गैर-search AI activity पर होगा।
सितंबर के रोलआउट पर बाद की रिपोर्टिंग में एक नए “Disallow AI Training” तरीके का जिक्र है। इसका मकसद no-training preference जताना है, साथ ही किसी crawler को “Accountable” नामित किए जाने पर Googlebot, Applebot और BingBot को search के लिए उपलब्ध रखना है। क्योंकि व्यवहार और migration path चुनी गई setting पर निर्भर हो सकते हैं, इसलिए पुराने toggle के नाम पर भरोसा करने के बजाय dashboard में दिख रहे मौजूदा control की पुष्टि करें। 4
Search और AI content consumption को अलग क्यों किया गया?
प्रकाशकों की चिंता यह है कि पारंपरिक search engine पेजों को crawl और index करते हैं, फिर पाठकों को मूल साइट तक भेज सकते हैं। इसके विपरीत, generative AI सेवाएं सामग्री को मॉडल ट्रेनिंग में इस्तेमाल कर सकती हैं या अपने interface में जवाब दिखा सकती हैं—जहां मूल publisher को प्रत्यक्ष referral कम मिल सकता है।
Cloudflare Search को ऐसे traffic के रूप में पेश करता है जिससे referral या समान प्रतिफल की उम्मीद होनी चाहिए। Training और Agent श्रेणियां कंटेंट लेने या उस पर अलग तरीके से कार्रवाई करने वाले उपयोगों का वर्णन करती हैं। 1
3 इन controls का लक्ष्य मालिकों को उनके लिए उपयोगी automation बनाए रखने और अवांछित automation सीमित करने की सुविधा देना है।
असल सवाल सिर्फ यह नहीं है कि कोई bot “AI” है या नहीं। सवाल यह है कि उसका व्यवहार कंटेंट की खोज और साइट को मिलने वाले मूल्य को सहारा देता है, या वह मुख्यतः ट्रेनिंग अथवा रियल-टाइम AI कामों के लिए साइट की सामग्री का उपभोग करता है। 1
3
वेबसाइट मालिकों के लिए व्यावहारिक कदम
सेटिंग बदलने से पहले हर व्यवहार के संभावित असर को जांचें:
- यदि indexing और संभावित referral traffic प्राथमिकता है, तो Search को allowed रखें।
- कमाई वाले पेजों की सुरक्षा चाहिए, लेकिन पूरे साइट पर प्रतिबंध नहीं लगाना है, तो Block on pages with ads चुनें।
- Block on all pages केवल तब चुनें जब आपने यह समझ लिया हो कि crawler Search और Training दोनों काम कर सकता है।
- पुरानी Block AI bots configuration फिर से देखें, खासकर जब Google, Apple या Bing search में दृश्यता महत्वपूर्ण हो।
6
Cloudflare के सितंबर डिफॉल्ट प्रकाशकों को अधिक नियंत्रण देते हैं, लेकिन multipurpose crawlers का वर्गीकरण इन्हें सिर्फ AI-policy की सेटिंग नहीं रहने देता—यह SEO से जुड़ा निर्णय भी है।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Cloudflare के नए AI Crawler डिफॉल्ट: क्या ब्लॉक होगा और Search क्यों चलता रहेगा" का संक्षिप्त उत्तर क्या है?
15 सितंबर 2026 से नए Cloudflare डोमेन पर विज्ञापन दिखाने वाले पेजों में AI Training और Agent crawlers डिफॉल्ट रूप से ब्लॉक होते हैं, जबकि Search को अनुमति रहती है। [2][15]
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
15 सितंबर 2026 से नए Cloudflare डोमेन पर विज्ञापन दिखाने वाले पेजों में AI Training और Agent crawlers डिफॉल्ट रूप से ब्लॉक होते हैं, जबकि Search को अनुमति रहती है। [2][15] वेबसाइट मालिक Search, Training और Agent को अलग अलग नियंत्रित कर सकते हैं: अनुमति दें, सिर्फ विज्ञापन वाले पेजों पर रोकें, या पूरे साइट पर रोकें। [2][3]
मुझे अभ्यास में आगे क्या करना चाहिए?
सबसे बड़ा जोखिम mixed purpose bots का है: Search और Training, दोनों काम करने वाला crawler Training रोकने पर search indexing से भी बाहर हो सकता है। [2][6]