Cloudflare का ‘Disallow AI Training’: सर्च इंडेक्सिंग बचाते हुए AI ट्रेनिंग कैसे रोकें

Cloudflare ने 15 सितंबर 2026 को Disallow AI Training सेटिंग शुरू की। इसका व्यावहारिक मतलब यह है कि वेबसाइट मालिक सर्च में अपनी साइट की खोजयोग्यता बनाए रखते हुए किसी योग्य, मिश्रित-उपयोग क्रॉलर को कंटेंट से AI मॉडल ट्रेन या फाइन-ट्यून करने से मना कर सकते हैं। साथ में आया Accountable पदनाम उन ऑपरेटरों के लिए है जो इस पसंद का सम्मान करते हैं, या ऐसा करने की ठोस प्रतिबद्धता दे चुके हैं। 5

असली बदलाव: बॉट की पहचान नहीं, उसके काम के आधार पर नियंत्रण

Cloudflare अब क्रॉलर ट्रैफिक को तीन अलग उद्देश्यों में बांटकर नियंत्रित करने देता है:

• Search: सर्च नतीजों के लिए पेजों को इंडेक्स करना।
• Training: AI मॉडल को ट्रेन या फाइन-ट्यून करने के लिए कंटेंट लेना।
• Agent: उपयोगकर्ता के कहने पर कोई काम पूरा करने के दौरान कंटेंट प्राप्त करना। 10

यह फर्क इसलिए अहम है क्योंकि एक ही क्रॉलर ढांचा कई उद्देश्यों के लिए काम कर सकता है। पहले किसी AI-संबंधित क्रॉलर को ब्लॉक करने पर सामान्य सर्च डिस्कवरी भी प्रभावित हो सकती थी। नया विकल्प साइट मालिक को ज्यादा सटीक निर्णय देता है: सर्च के लिए पहुंच रहने दें, लेकिन ट्रेनिंग उपयोग रोक दें। 5

‘Accountable’ का मतलब क्या है?

Cloudflare के अनुसार, Apple, Google और Microsoft या तो इस नई सेटिंग का सम्मान करते हैं या Cloudflare की तय समय-सीमा के भीतर ऐसा करने की प्रतिबद्धता दे चुके हैं। 5

यह पदनाम खास तौर पर उन ऑपरेटरों के लिए महत्वपूर्ण है जिनके क्रॉलर सर्च और AI ट्रेनिंग, दोनों तरह के कामों से जुड़े हो सकते हैं। यदि साइट मालिक ट्रेनिंग अस्वीकार करता है, तो योग्य Accountable ऑपरेटर का क्रॉलर सर्च इंडेक्सिंग जारी रख सकता है; उसे पूरी तरह ब्लॉक मानने की जरूरत नहीं होती। 5

हालांकि, उपलब्ध घोषणा हर ऑपरेटर की लागू करने की तारीख, अलग-अलग क्रॉलर के व्यवहार या तकनीकी वादों की पूरी सूची नहीं देती। इसलिए प्रकाशकों को सेटिंग्स और अपने क्रॉल डेटा की जांच करनी चाहिए, न कि सभी ऑपरेटरों के लिए एक जैसा व्यवहार मान लेना चाहिए।

क्या चालू रह सकता है और क्या रोका जा सकता है?

इस सेटिंग का उद्देश्य Accountable मिश्रित-उपयोग ऑपरेटरों के लिए सर्च इंडेक्सिंग बचाए रखना है, लेकिन उसी कंटेंट के ट्रेनिंग उपयोग को रोकना है। Cloudflare ने इसे स्पष्ट रूप से ऐसा तरीका बताया है जिसमें साइट सर्च में इंडेक्स रह सकती है, जबकि वही क्रॉलर AI ट्रेनिंग नहीं कर सकता। 5

उपलब्ध सामग्री पूरी सार्वजनिक, क्रॉलर-दर-क्रॉलर अनुमति/ब्लॉक सूची नहीं देती, लेकिन ये निष्कर्ष निकलते हैं:

• योग्य Accountable ऑपरेटरों का सर्च एक्सेस, ट्रेनिंग रोकने के बाद भी उपलब्ध रह सकता है। 5
• Training और Agent को Search से अलग-अलग ब्लॉक किया जा सकता है। 10
• सभी AI बॉट्स को ब्लॉक करने का विकल्प अभी भी मौजूद है। यह व्यापक रोक लगाने या पहले स्थिति समझने के लिए उपयोगी हो सकता है, लेकिन उद्देश्य-आधारित नियंत्रण जितना सटीक नहीं है। 7

ऑर्गेनिक सर्च ट्रैफिक पर निर्भर साइटों के लिए यह बदलाव खास मायने रखता है: अब AI ट्रेनिंग से ऑप्ट-आउट करने और सर्च में बने रहने के बीच अनिवार्य रूप से चुनाव नहीं करना पड़ता।

विज्ञापन-समर्थित पेजों के लिए सितंबर के डिफ़ॉल्ट

Cloudflare ने पहले कहा था कि 15 सितंबर 2026 से उसके साथ जुड़ने वाले नए डोमेन में विज्ञापन दिखाने वाले पेजों पर Training और Agent क्रॉलर डिफ़ॉल्ट रूप से ब्लॉक होंगे। 10

इस नीति के पीछे प्रकाशक-केंद्रित सोच थी: विज्ञापन से कमाई वाले कंटेंट के लिए AI उपयोग पर अधिक सख्त डिफ़ॉल्ट उचित हो सकते हैं। लेकिन मिश्रित-उपयोग क्रॉलर के मामले में श्रेणी-आधारित ब्लॉक सर्च क्रॉलिंग भी रोक सकता था। Disallow AI Training और Accountable मॉडल इसी टकराव को सुलझाने की कोशिश है—ट्रेनिंग रोकी जाए, लेकिन जहां ऑपरेटर उद्देश्य का फर्क मान सकता है, वहां सर्च इंडेक्सिंग बनी रहे। 5

उपलब्ध स्रोत यह स्पष्ट नहीं करते कि पहले से मौजूद हर डोमेन को कैसे माइग्रेट किया गया या हर अकाउंट प्रकार पर कौन-से डिफ़ॉल्ट लागू हुए। पुराने डोमेन के मालिकों को अपनी वास्तविक नीति जांचनी चाहिए।

Google-Extended, Applebot-Extended और Bing का तरीका

उद्देश्य-विशिष्ट नियंत्रण उसी समस्या का समाधान करने की कोशिश है जिसे प्रकाशक-विशिष्ट निर्देशों से सुलझाया जाता रहा है: किसी ऑपरेटर की सर्च गतिविधि को उसके AI उपयोग से अलग करना।

Cloudflare ने Google के मालिकाना ऑप्ट-आउट तरीकों—जैसे Google-Extended और nosnippet—का जिक्र करते हुए कहा कि कुछ प्रकाशकों ने प्रतिक्रिया दी थी कि ये तंत्र उन सभी उपयोगों को नहीं रोक सके जिन्हें वे नियंत्रित करना चाहते थे। 22

मौजूदा सामग्री Google-Extended, Applebot-Extended या Bing के NOARCHIVE निर्देश के सटीक दायरे और वर्तमान व्यवहार को स्वतंत्र रूप से स्थापित नहीं करती। व्यापक निष्कर्ष फिर भी साफ है: अलग ट्रेनिंग ऑप्ट-आउट या Accountable प्रतिबद्धता वेबसाइट को यह निर्देश देने की क्षमता देती है—“सर्च के लिए इंडेक्स करें, लेकिन मॉडल ट्रेनिंग के लिए इस्तेमाल न करें।” केवल एक व्यापक क्रॉलर ब्लॉक यह अंतर भरोसेमंद ढंग से नहीं कर सकता।

प्रकाशकों के लिए यह नियंत्रण अभी क्यों जरूरी है?

Cloudflare के ट्रैफिक विश्लेषण में पिछले 12 महीनों की AI क्रॉलिंग का 80% हिस्सा ट्रेनिंग, 18% सर्च और 2% उपयोगकर्ता कार्रवाइयों के लिए वर्गीकृत किया गया। कंपनी का कहना है कि यह वर्गीकरण ऑपरेटरों के खुलासों और उद्योग स्रोतों पर आधारित है। 16

यही अनुपात बताता है कि एक साधारण AI ऑन/ऑफ स्विच पर्याप्त क्यों नहीं है। कोई प्रकाशक सर्च इंडेक्सिंग स्वीकार कर सकता है, लेकिन अपने कंटेंट को ट्रेनिंग के जरिए मॉडल में स्थायी रूप से समाहित किए जाने से मना कर सकता है। Agent एक्सेस पर वह अलग फैसला ले सकता है।

Cloudflare ने 2025 में कहा था कि 25 लाख से अधिक वेबसाइटों ने उसके प्रबंधित robots.txt फीचर या AI-क्रॉलर ब्लॉकिंग नियम के जरिए AI ट्रेनिंग को पूरी तरह अस्वीकार किया था। सितंबर के नए नियंत्रण ऐसी साइटों को अधिक बारीक विकल्प देते हैं, खासकर जब सर्च विजिबिलिटी भी महत्वपूर्ण हो। 13

आगे क्या: AI-जनित सारांशों पर ज्यादा नियंत्रण

Cloudflare का कहना है कि वह 2027 की शुरुआत में प्रकाशकों को AI-जनित सारांशों पर अधिक बारीक नियंत्रण देने का लक्ष्य रखता है। 2 उपलब्ध घोषणा दिशा तो बताती है, लेकिन अंतिम उत्पाद डिजाइन, लागू करने का तरीका या प्रकाशकों के सटीक विकल्प अभी स्पष्ट नहीं हैं।

फिलहाल व्यावहारिक निष्कर्ष सीधा है: Search, Training और Agent नीतियों को तीन अलग फैसलों की तरह देखें। यदि ऑर्गेनिक डिस्कवरी महत्वपूर्ण है, तो यह न मानें कि AI प्रतिबंध से सर्च भी रुकना ही है—विशेषकर तब, जब क्रॉलर ऑपरेटर को Accountable माना गया हो। 5