Cloudflare का 15 सितंबर 2026 का अल्टीमेटम: AI क्रॉलर नियमों में बड़ा बदलाव

इस तारीख के बाद, नए Cloudflare ग्राहकों और नई वेबसाइटों के लिए डिफ़ॉल्ट सेटिंग्स ऐसी होंगी जो केवल स्पष्ट रूप से पहचाने गए सर्च क्रॉलर्स को अनुमति देंगी, जबकि AI ट्रेनिंग और AI एजेंट क्रॉलर्स को पब्लिशर के सक्रिय ऑप्ट-इन के बिना ब्लॉक कर देंगी । मौजूदा फ्री-टियर ग्राहक जो मैन्युअल रूप से अपनी प्राथमिकताएँ अपडेट नहीं करते, उन्हें भी नई डिफ़ॉल्ट सेटिंग्स में माइग्रेट कर दिया जाएगा ।

1. नई डिफ़ॉल्ट सेटिंग्स: ऑप्ट-आउट से ऑप्ट-इन तक

पहले, वेब पर ऑप्ट-आउट का मानदंड था: क्रॉलर्स को तब तक अनुमति थी जब तक कि कोई वेबसाइट उन्हें robots.txt के माध्यम से स्पष्ट रूप से ब्लॉक न करे। Cloudflare ने AI-विशिष्ट क्रॉलर्स के लिए इसे ऑप्ट-इन मॉडल में बदल दिया है ।

• नए ग्राहकों और नई साइटों के लिए: AI ट्रेनिंग या एजेंट कार्यों के लिए उपयोग किए जाने वाले क्रॉलर्स डिफ़ॉल्ट रूप से ब्लॉक हैं। पब्लिशर्स को उन्हें सक्रिय रूप से सक्षम करना होगा ।
• मौजूदा ग्राहकों के लिए: सेटिंग्स ऑटो-चेंज नहीं होंगी, लेकिन मालिक Cloudflare डैशबोर्ड के माध्यम से नई तीन-श्रेणी नियंत्रण प्रणाली पर माइग्रेट कर सकते हैं (और उन्हें ऐसा करने के लिए प्रोत्साहित किया जाता है) ।
• विज्ञापन-समर्थित पेजों पर: मिश्रित-उपयोग वाले क्रॉलर्स (जो सर्च के लिए इंडेक्स भी करते हैं और AI ट्रेनिंग के लिए स्क्रैप भी करते हैं) को डिफ़ॉल्ट रूप से ब्लॉक कर दिया जाएगा, क्योंकि डिफ़ॉल्ट नीति अलेबल या 'मिश्रित' ट्रैफ़िक को ट्रेनिंग/एजेंट ट्रैफ़िक मानती है ।

2. तीन-श्रेणी क्रॉलर प्रणाली: Search, Agent, Training

Cloudflare ने एक नया वर्गीकरण पेश किया है जो पब्लिशर्स को तीन बॉट व्यवहारों के लिए स्वतंत्र नियम निर्धारित करने की सुविधा देता है, जो फ्री-टियर उपयोगकर्ताओं सहित सभी ग्राहकों के लिए उपलब्ध है :

पब्लिशर्स अब एक ही डैशबोर्ड से 'Allow Search, Block Training, Block Agent' जैसी नीति सेट कर सकते हैं, वह भी फ्री प्लान पर । यह पारंपरिक robots.txt से कहीं अधिक ग्रैन्युलर है, जो प्रति-यूज़र-एजेंट केवल एक सामान्य अनुमति/अस्वीकृति की अनुमति देता था। Cloudflare का अपना दस्तावेज़ सर्च को ऐसी गतिविधि के रूप में परिभाषित करता है जहाँ साइट मालिकों को 'रेफ़रल ट्रैफ़िक या अन्य उचित मुआवजे' की उम्मीद करनी चाहिए ।

3. 'Pay Per Crawl' से 'Pay Per Use' में बदलाव

Cloudflare ने पहली बार जुलाई 2025 में Pay Per Crawl को एक प्राइवेट बीटा के रूप में पेश किया था — यह एक मार्केटप्लेस था जहाँ पब्लिशर्स AI कंपनियों से प्रति-अनुरोध शुल्क ले सकते थे, और एक्सेस की बातचीत के लिए HTTP 402 ('पेमेंट रिक्वायर्ड') स्टेटस कोड का उपयोग करते थे ।

अप्रैल 2026 तक, Cloudflare ने इसे एक व्यापक Pay Per Use मॉडल में बदल दिया, और पे-पर-क्रॉल ढाँचे को एक ही ऑपरेटर कंसोल में शामिल कर दिया जो सभी प्लान टियर पर उपलब्ध है (इसे एजेंट्स वीक 2026 के दौरान लॉन्च किया गया था) । मुख्य अंतर:

• Pay Per Crawl (2025 बीटा): एक प्रति-अनुरोध माइक्रोट्रांज़ेक्शन मॉडल — हर क्रॉल अनुरोध पर HTTP 402 प्रतिक्रियाओं के माध्यम से भुगतान वार्ता शुरू होती थी ।
• Pay Per Use (2026 GA): एक अधिक लचीली प्रणाली जहाँ पब्लिशर्स शर्तें निर्धारित कर सकते हैं — फ्लैट लाइसेंसिंग फीस, प्रति-क्रॉल दरें, या सब्सक्रिप्शन-शैली एक्सेस — और AI कंपनियाँ Cloudflare के बॉट मैनेजमेंट और WAF नियमों के माध्यम से प्रोग्रामेटिक रूप से एक्सेस का प्रबंधन कर सकती हैं ।

स्टैक ओवरफ़्लो कार्यान्वयन (फरवरी 2026) ने प्रोडक्शन वर्जन का प्रदर्शन किया: उनका डेटा लाइसेंसिंग प्रोग्राम अनधिकृत क्रॉलर्स को 402 प्रतिक्रिया देने के लिए Cloudflare के बॉट वर्गीकरण का उपयोग करता है, बिना कस्टम अनुबंधों के बड़े पैमाने पर मुद्रीकरण करता है ।

इससे परिदृश्य कैसे बदलता है

पब्लिशर्स के लिए

• राजस्व का नया स्रोत: AI कंपनियों को अब Cloudflare-प्रॉक्सी साइटों के ट्रेनिंग डेटा के लिए भुगतान करना होगा, न कि मुफ्त में स्क्रैप करना ।
• ग्रैन्युलर नियंत्रण: पब्लिशर्स सर्च क्रॉलर्स (जो विज्ञापन ट्रैफ़िक लाते हैं) को रख सकते हैं जबकि ट्रेनिंग/एजेंट बॉट्स को ब्लॉक कर सकते हैं — इससे विज्ञापन राजस्व और कंटेंट मूल्य दोनों सुरक्षित रहते हैं ।
• डिफ़ॉल्ट सुरक्षा: छोटे पब्लिशर्स, जो कस्टम बॉट मैनेजमेंट का खर्च नहीं उठा सकते थे, अब एंटरप्राइज़-ग्रेड AI क्रॉलर ब्लॉकिंग मुफ्त में प्राप्त करेंगे ।

AI कंपनियों के लिए

• ट्रेनिंग डेटा की लागत बढ़ती है: Cloudflare के नेटवर्क (~20% वेब) पर साइटों के लिए 'मुफ्त भोजन' का दौर खत्म होता है । AI कंपनियों को या तो पब्लिशर्स को भुगतान करना होगा या लाइसेंसिंग सौदे करने होंगे।
• क्रॉलर पहचान संकट: AI कंपनियों को 15 सितंबर तक अपने क्रॉलर इंफ्रास्ट्रक्चर में सुधार करना होगा ताकि सर्च, ट्रेनिंग और एजेंट ट्रैफ़िक को अलग-अलग, पहचाने जाने योग्य यूज़र-एजेंट्स में विभाजित किया जा सके — अन्यथा पूरी तरह से ब्लॉक होने का जोखिम है ।
• Google सबसे अधिक प्रभावित: Google के क्रॉलर का ऐतिहासिक रूप से दोहरा उद्देश्य (सर्च इंडेक्सिंग और Gemini/SGE के लिए AI ट्रेनिंग) रहा है। Cloudflare की नीति Google को या तो अपने क्रॉलर को विभाजित करने या विज्ञापन-समर्थित Cloudflare पेजों पर अपने Googlebot के ब्लॉक होने का जोखिम उठाने पर मजबूर करेगी ।

व्यापक उद्योग प्रभाव

• मानक-निर्धारण कदम: Cloudflare प्रभावी रूप से AI क्रॉलर शिष्टाचार के लिए एक नया प्रोटोकॉल परिभाषित कर रहा है। अन्य CDN और होस्टिंग प्रदाता भी इसका अनुसरण कर सकते हैं ।
• Content Signals Policy: Cloudflare ने robots.txt में मशीन-पठनीय निर्देशों का एक नया सेट पेश किया है जो पेज-स्तरीय एक्सेस से परे जाता है, जिससे पब्लिशर्स संकेत दे सकते हैं कि उनके कंटेंट का उपयोग सर्च इंडेक्सिंग, AI ट्रेनिंग या AI एजेंट्स के लिए किया जा सकता है या नहीं । यह पारंपरिक robots.txt का विस्तार है जो पोस्ट-एक्सेस उपयोग को कवर करता है, न कि केवल क्रॉल अनुमति को।