गूगल का वही पुराना क्रॉलर, अब AI को भी खिला रहा है आपकी वेबसाइट का कंटेंट

यह विवाद तीन मुख्य मुद्दों पर आधारित है:

• कोई सार्थक विकल्प नहीं। एक प्रकाशक AI के लिए Googlebot को ब्लॉक नहीं कर सकता, जब तक कि वह सर्च के लिए भी इसे ब्लॉक न करे, जो उसके ट्रैफिक और राजस्व को खत्म कर देगा ।
• अनुचित प्रतिस्पर्धात्मक लाभ। सर्च में गूगल के दबदबे का मतलब है कि उसे प्रकाशकों का कंटेंट मुफ्त में मिल जाता है, जबकि OpenAI, Anthropic या Perplexity जैसे प्रतिस्पर्धियों को इसके लिए बातचीत करनी पड़ती है या पैसे देने पड़ते हैं। Cloudflare के डेटा के अनुसार, Googlebot GPTBot और ClaudeBot की तुलना में लगभग दोगुने पेजों तक पहुंचता है, और PerplexityBot से 167 गुना ज्यादा ।
• ट्रैफिक का कैनिबलाइजेशन। AI Overviews सीधे सर्च रिजल्ट्स में कंटेंट का सारांश प्रस्तुत करते हैं, जिससे उपयोगकर्ताओं को प्रकाशक की साइट पर क्लिक करने की आवश्यकता कम हो जाती है, जिससे उनका विज्ञापन राजस्व कम हो जाता है ।

CMA का जवाब: दुनिया का पहला आचरण नियम

अक्टूबर 2025 में, UK के Competition and Markets Authority (CMA) ने गूगल को सामान्य सर्च और सर्च विज्ञापन में 'स्ट्रैटेजिक मार्केट स्टेटस' (SMS) घोषित किया, क्योंकि UK सर्च बाजार में उसकी लगभग 90 प्रतिशत हिस्सेदारी है । 3 जून 2026 को, CMA ने एक Publisher Conduct Requirement (CR) लागू किया — जो UK के डिजिटल मार्केट्स, कॉम्पिटिशन एंड कंज्यूमर्स एक्ट 2024 के तहत पहला बाध्यकारी नियम है ।

CR के मुख्य बिंदु:

• प्रकाशकों के लिए AI ऑप्ट-आउट। पहली बार, प्रकाशक अपने कंटेंट को गूगल सर्च के AI फीचर्स (AI Overviews, AI Mode) को पावर देने से रोक सकते हैं, बिना अपनी सर्च विज़िबिलिटी खोए ।
• फाइन-ट्यूनिंग ऑप्ट-आउट। परामर्श की प्रतिक्रिया के बाद, गूगल को प्रकाशकों को अपने कंटेंट के AI मॉडल फाइन-ट्यूनिंग में उपयोग से ऑप्ट-आउट करने की भी अनुमति देनी होगी ।
• अनिवार्य एट्रिब्यूशन। गूगल को AI-जनरेटेड सर्च रिजल्ट्स में प्रकाशक के कंटेंट के लिए स्पष्ट लिंक के साथ वापस जोड़ना होगा ।
• पारदर्शिता और अनुपालन। गूगल को पहले वर्ष के लिए हर छह महीने में अनुपालन रिपोर्ट प्रकाशित करनी होगी, जिसमें प्रमुख डेटा और मीट्रिक्स शामिल होंगे, और उसे नए AI सेवाओं में नियंत्रण बढ़ाने पर सक्रिय रूप से प्रकाशकों को सूचित करना होगा ।
• कार्यान्वयन की समय सीमा। गूगल के पास सभी बदलावों को लागू करने के लिए नौ महीने (मार्च 2027 तक) हैं, हालांकि CMA को जल्द ही मुख्य नियंत्रणों की उम्मीद है ।

CMA ने स्पष्ट रूप से क्रॉलर सेपरेशन — गूगल को सर्च इंडेक्सिंग और AI इन्जेशन के लिए अलग-अलग क्रॉलर का उपयोग करने के लिए मजबूर करना — को अनुपातहीन मानकर खारिज कर दिया। उसने निष्कर्ष निकाला कि इसकी लागत गूगल के लिए काफी अधिक होगी और बेहतर नियंत्रण एक समान रूप से प्रभावी और अधिक आनुपातिक उपाय हैं ।

Cloudflare की स्थिति: क्रॉलर सेपरेशन ही एकमात्र वास्तविक समाधान

Cloudflare, जो लगभग पांचवें हिस्से के वेब ट्रैफिक को संभालता है, ने CMA परामर्श पर एक विस्तृत प्रतिक्रिया प्रस्तुत की, जिसमें तर्क दिया गया कि CR एक सकारात्मक कदम है, लेकिन यह संरचनात्मक समस्या को ठीक नहीं करता । इसके मुख्य तर्क:

• CR नियंत्रण वापस गूगल को सौंपता है। प्रकाशक गूगल के मालिकाना सिस्टम पर निर्भर रहते हैं और सर्च रैंकिंग को जोखिम में डाले बिना तीसरे पक्ष के ब्लॉकिंग टूल (जैसे Cloudflare के अपने Crawl Control) का उपयोग नहीं कर सकते ।
• क्रॉलर सेपरेशन ही एकमात्र तकनीकी समाधान है। गूगल को AI ट्रेनिंग और ग्राउंडिंग के लिए एक अलग क्रॉलर का उपयोग करना चाहिए, ताकि प्रकाशक दूसरे को नुकसान पहुंचाए बिना एक को ब्लॉक कर सकें ।
• ग्रैन्युलर कंट्रोल पर्याप्त नहीं हैं। CMA प्रस्ताव 'AI ट्रेनिंग/ग्राउंडिंग' और 'सर्च जनरेटिव AI फीचर्स' के बीच तकनीकी रूप से भ्रमित करने वाले तरीके से अंतर करता है, जिसे अधिकांश प्रकाशक नहीं समझेंगे ।
• समस्या का आकार। Googlebot सभी वेब क्रॉल का लगभग 50 प्रतिशत हिस्सा है, और गूगल का AI सर्च OpenAI की तुलना में 3.2 गुना अधिक कंटेंट स्क्रैप करता है ।

Cloudflare के CEO मैथ्यू प्रिंस ने अक्टूबर 2025 में व्यक्तिगत रूप से CMA से इस दृष्टिकोण के लिए पैरवी करने लंदन की यात्रा की और तब से वे सार्वजनिक रूप से सर्च और AI क्रॉलर को 'अलग करने' के लिए दबाव बना रहे हैं । Cloudflare ने यह भी घोषणा की कि 15 सितंबर 2026 से, वह प्रासंगिक ग्राहकों के लिए विज्ञापन-समर्थित पेजों पर मिश्रित-उद्देश्य वाले क्रॉलर को ब्लॉक करेगा ।

अब क्या स्थिति है?

• CMA ने 3 जून 2026 को CR लागू किया, जिससे प्रकाशकों को पहली बार AI ऑप्ट-आउट टूल मिला । वास्तविक नियंत्रण दायित्व 3 दिसंबर 2026 से लागू होंगे और यह आवश्यकता 10 अक्टूबर 2030 तक प्रभावी रहेगी ।
• Cloudflare का तर्क जारी है कि CR अपर्याप्त है और केवल अनिवार्य क्रॉलर सेपरेशन ही प्रकाशकों की वास्तविक स्वायत्तता बहाल करेगा ।
• गूगल ने कहा है कि वह नए नियंत्रणों का परीक्षण कर रहा है जो प्रकाशकों को AI उपयोग का प्रबंधन करने देते हैं, और चेतावनी दी है कि क्रॉलर सेपरेशन को मजबूर करके 'सर्च को तोड़ने' से उपयोगकर्ता अनुभव को नुकसान हो सकता है । गूगल के अपने CMA परामर्श के जवाब में तर्क दिया गया है कि CR सही संतुलन बनाता है ।
• CMA ने आगे की कार्रवाई का दरवाजा खुला छोड़ दिया है, यह कहते हुए कि वह सक्रिय रूप से निगरानी कर रहा है कि गूगल इन बदलावों को कैसे लागू करता है और यदि आवश्यक हो तो अतिरिक्त कदम उठा सकता है ।

गूगल के क्रॉलर की यह लड़ाई सिर्फ ब्रिटेन की कहानी नहीं है। CMA के इस फैसले पर यूरोपीय संघ, अमेरिका और अन्य देशों के नियामकों की भी नजर है, और यह परिणाम तय कर सकता है कि सर्च के दबदबे और AI ट्रेनिंग का आपसी संबंध दुनिया भर में कैसे नियंत्रित होगा।