ثورة في عالم الإنترنت: Cloudflare تفرض قواعد جديدة على زواحف الذكاء الاصطناعي ابتداءً من 15 سبتمبر 2026

التغيير الأساسي: الموعد النهائي 15 سبتمبر 2026

حددت Cloudflare 15 سبتمبر 2026 كموعد نهائي لشركات الذكاء الاصطناعي لفصل زواحفها إلى فئات واضحة ومحددة بناءً على كيفية استخدام المحتوى الذي يتم زحفه. أي زاحف لا يعلن بوضوح عن غرضه، أو يجمع بين فهرسة البحث وتدريب النماذج تحت زاحف واحد، سيتم حظره تلقائيًا على حركة المرور القادمة عبر Cloudflare، خاصة على الصفحات التي تعرض إعلانات .

بعد هذا التاريخ، سيكون لدى العملاء الجدد والمواقع المنشأة حديثًا إعدادات افتراضية تسمح فقط لزواحف البحث المحددة بوضوح، بينما يتم حظر زواحف التدريب والوكلاء ما لم يختر الناشر السماح بذلك . سيتم أيضًا ترحيل العملاء الحاليين على الخطة المجانية الذين لا يحدثون تفضيلاتهم يدويًا إلى الإعدادات الافتراضية الجديدة .

1. الإعدادات الافتراضية الجديدة: من إلغاء الاشتراك إلى الاشتراك

سابقًا، كان الإنترنت يعمل على قاعدة "إلغاء الاشتراك": الزواحف مسموحة ما لم يتم حظرها صراحةً عبر ملف robots.txt. Cloudflare قلب هذا النموذج إلى الاشتراك لزواحف الذكاء الاصطناعي .

• للعملاء الجدد والمواقع الجديدة: زواحف الذكاء الاصطناعي المستخدمة للتدريب أو مهام الوكلاء محظورة تلقائيًا. يجب على الناشرين تفعيلها يدويًا .
• للعملاء الحاليين: الإعدادات لا تتغير تلقائيًا، ولكن يمكن للمالكين (ويُنصحون بشدة) التبديل إلى الضوابط الثلاثية الجديدة من خلال لوحة تحكم Cloudflare .
• في الصفحات المدعومة بالإعلانات تحديدًا: الزواحف متعددة الاستخدامات (تلك التي تفهرس للبحث وتزحف لتدريب النماذج) سيتم حظرها تلقائيًا، لأن السياسة الافتراضية تعامل حركة المرور غير المصنفة أو "المختلطة" على أنها حركة تدريب/وكيل .

2. نظام الزواحف ثلاثي التصنيف: بحث، وكيل، تدريب

قدمت Cloudflare تصنيفًا جديدًا يتيح للناشرين وضع قواعد مستقلة لثلاث سلوكيات للبوتات، وهو متاح لجميع العملاء بما في ذلك مستخدمي الخطة المجانية :

يمكن للناشرين الآن تعيين سياسة مثل "السماح للبحث، حظر التدريب، حظر الوكيل" من لوحة تحكم واحدة، حتى على الخطة المجانية . هذا أكثر دقة من نظام robots.txt التقليدي الذي كان يسمح فقط بالسماح/المنع الشامل لكل زاحف. تعريفات Cloudflare الخاصة تصف نشاط "البحث" على أنه النشاط الذي يتوقع منه الناشر الحصول على "حركة إحالة أو تعويض عادل" .

3. الانتقال من الدفع لكل زحف إلى الدفع مقابل الاستخدام

قدمت Cloudflare لأول مرة نموذج الدفع لكل زحف في يوليو 2025 كنسخة تجريبية خاصة – سوق حيث يمكن للناشرين تحصيل رسوم من شركات الذكاء الاصطناعي مقابل كل طلب، باستخدام رموز حالة HTTP 402 ("الدفع مطلوب") للتفاوض على الوصول . سمح هذا النظام للناشرين بإعادة رد 402 مع معلومات التسعير عندما يطلب زاحف غير مصرح به المحتوى .

بحلول أبريل 2026، خلال ما أسمته Cloudflare أسبوع الوكلاء (13-17 أبريل)، تطور هذا الإطار إلى نموذج أوسع هو الدفع مقابل الاستخدام، حيث تم دمج إطار الدفع لكل زحف في لوحة تحكم مشغل واحدة متاحة لجميع مستويات الخطط . الفرق الرئيسي:

• الدفع لكل زحف (نسخة 2025 التجريبية): نموذج مدفوعات دقيقة لكل طلب – كل طلب زحف يؤدي إلى تفاوض على الدفع عبر ردود HTTP 402 .
• الدفع مقابل الاستخدام (إصدار 2026 العام): نظام أكثر مرونة حيث يمكن للناشرين تحديد شروط – رسوم ترخيص ثابتة، أسعار لكل زحف، أو وصول باشتراك – ويمكن لشركات الذكاء الاصطناعي إدارة الوصول برمجيًا عبر أدوات إدارة البوتات وجدار الحماية من Cloudflare .

أظهر تطبيق Stack Overflow (فبراير 2026) النسخة الإنتاجية: برنامج ترخيص البيانات الخاص بهم يستخدم تصنيف البوتات من Cloudflare لتقديم ردود 402 للزواحف غير المصرح بها، مما يحقق الدخل على نطاق واسع دون عقود مخصصة .

كيف يغير هذا المشهد

للناشرين

• مصدر دخل جديد: شركات الذكاء الاصطناعي ملزمة الآن بالدفع مقابل بيانات التدريب من المواقع المحمية بـ Cloudflare، بدلاً من الزحف مجانًا .
• تحكم دقيق: يمكن للناشرين الاحتفاظ بزواحف البحث (التي تجلب حركة الإعلانات) مع حظر بوتات التدريب/الوكلاء – حماية لكل من إيرادات الإعلانات وقيمة المحتوى .
• حماية افتراضية: الناشرون الصغار الذين لم يتمكنوا من تحمل تكاليف إدارة البوتات المخصصة يحصلون الآن على حماية من فئة المؤسسات ضد زواحف الذكاء الاصطناعي .

لشركات الذكاء الاصطناعي

• ارتفاع تكلفة بيانات التدريب: ينتهي عصر "الوجبة المجانية" للزحف على نطاق الويب للمواقع على شبكة Cloudflare (~20% من الويب) . يجب على شركات الذكاء الاصطناعي إما الدفع للناشرين أو التفاوض على صفقات ترخيص.
• أزمة هوية الزواحف: يجب على شركات الذكاء الاصطناعي إصلاح بنية الزواحف الخاصة بها بحلول 15 سبتمبر لفصل حركة البحث والتدريب والوكلاء إلى زواحف مميزة – أو المخاطرة بالحظر الكامل .
• جوجل الأكثر تضررًا: زاحف جوجل خدم تاريخيًا أغراضًا مزدوجة (فهرسة البحث وتدريب نماذج Gemini/SGE). سياسة Cloudflare تجبر جوجل إما على فصل الزاحف أو حظر Googlebot على صفحات Cloudflare المدعومة بالإعلانات .

التأثير الأوسع على الصناعة

• خطوة وضع معايير: Cloudflare تحدد فعليًا بروتوكولًا جديدًا لآداب زواحف الذكاء الاصطناعي. قد تحذو شبكات توصيل المحتوى وموفري الاستضافة الآخرين حذوها .
• سياسة إشارات المحتوى: قدمت Cloudflare مجموعة جديدة من التوجيهات القابلة للقراءة آليًا في robots.txt تتجاوز التحكم في الوصول إلى الصفحة، مما يسمح للناشرين بالإشارة إلى ما إذا كان يمكن استخدام محتواهم لفهرسة البحث أو تدريب الذكاء الاصطناعي أو وكلاء الذكاء الاصطناعي . هذا امتداد لنظام robots.txt التقليدي ليغطي الاستخدام بعد الوصول، وليس فقط إذن الزحف.