Cloudflare: امنع تدريب الذكاء الاصطناعي مع الحفاظ على فهرسة موقعك في البحث

أصبح بإمكان ناشري المحتوى وأصحاب المواقع الذين يستخدمون Cloudflare اتخاذ قرار أدق من خيار «السماح أو الحظر» الشامل: البقاء قابلين للاكتشاف في نتائج البحث، مع رفض استخدام الصفحات نفسها في تدريب نماذج الذكاء الاصطناعي.

أطلقت Cloudflare في 15 سبتمبر 2026 إعداد «منع تدريب الذكاء الاصطناعي» (Disallow AI Training)، إلى جانب تصنيف «Accountable». والفكرة هي أن الزاحف الذي يؤدي وظائف متعددة لا ينبغي أن يُحجب بالكامل إذا كان يمكنه احترام تفضيل الموقع بعدم استخدام المحتوى في التدريب، مع الاستمرار في زحفه لأغراض الفهرسة والبحث. 5

ما الذي تغيّر؟ الغاية من الزحف أهم من اسم الروبوت

تقسم Cloudflare حركة الزواحف إلى ثلاث غايات يمكن التحكم فيها بشكل مستقل:

• البحث (Search): زحف الصفحات لفهرستها وعرضها في نتائج البحث.
• التدريب (Training): جمع المحتوى لتدريب نموذج ذكاء اصطناعي أو ضبطه الدقيق.
• الوكيل (Agent): جلب المحتوى عندما ينفذ نظام ذكاء اصطناعي مهمة طلبها المستخدم. 10

هذه القسمة مهمة لأن بنية الزحف لدى شركة واحدة قد تخدم أكثر من غرض. في السابق، كان حظر زاحف مرتبط بالذكاء الاصطناعي قد يعرّض ظهور الموقع في البحث للخطر أيضاً. أما الآن، فيمكن لمالك الموقع السماح بزحف البحث ورفض استخدام المحتوى في التدريب، بدلاً من حظر كل شيء دفعة واحدة. 5

ماذا يعني تصنيف «Accountable»؟

أنشأت Cloudflare تصنيف Accountable لمشغلي الروبوتات القادرين على فصل فهرسة البحث عن استخدام المحتوى في التدريب، مع احترام تفضيل صاحب الموقع. وتقول الشركة إن Apple وGoogle وMicrosoft إما تحترم الإعداد الجديد حالياً أو التزمت باحترامه ضمن جدول زمني حددته Cloudflare. 5

بالنسبة للناشرين، تكمن أهمية ذلك في أن الزاحف المختلط الاستخدام—أي الذي قد يرتبط بالبحث وباستخدامات للذكاء الاصطناعي—لا يُعامل تلقائياً كزاحف محظور بالكامل. فإذا كان المشغّل مؤهلاً ضمن هذا التصنيف، يستطيع الاستمرار في فهرسة الصفحات للبحث بعد تفعيل رفض التدريب. 5

لكن الإعلان المتاح يشرح المعايير على مستوى عام، ولا يقدّم تفاصيل كافية للتحقق من تاريخ التطبيق الفعلي لدى كل مشغّل، أو سلوك كل زاحف على حدة، أو كامل الالتزامات التقنية. لذلك من الأفضل مراجعة إعدادات الروبوتات وبيانات الزحف الخاصة بالموقع، بدلاً من افتراض تطابق التطبيق بين جميع الشركات.

ما الذي يبقى مسموحاً وما الذي يُحجب؟

صُمم الإعداد الجديد للحفاظ على فهرسة البحث لدى مشغلي الزواحف المختلطة المؤهلين ضمن «Accountable»، مع رفض استخدام المحتوى ذاته لأغراض التدريب. وتعرض Cloudflare هذه الميزة صراحةً باعتبارها وسيلة للبقاء مفهرساً في البحث مع رفض تدريب ذلك الزاحف على المحتوى. 5

ولا توفر المصادر المتاحة قائمة عامة مكتملة، زاحفاً بزاحف، بما يُسمح به وما يُحجب. لكنها تدعم الاستنتاجات العملية التالية:

• يمكن أن يستمر وصول البحث من مشغلي «Accountable» المؤهلين عند تفعيل منع التدريب. 5
• يمكن حظر فئتي التدريب والوكلاء بصورة منفصلة عن فئة البحث. 10
• لا يزال خيار حظر جميع روبوتات الذكاء الاصطناعي متاحاً لمن يريد إيقافاً مؤقتاً أو قيداً شاملاً، لكنه أقل دقة من التحكم بحسب الغرض. 7

وهذا يقلل، خصوصاً للمواقع التي تعتمد على الظهور العضوي، الحاجة إلى الاختيار بين رفض التدريب والحفاظ على الحضور في نتائج البحث.

الصفحات المدعومة بالإعلانات: الإعدادات الافتراضية في سبتمبر

كانت Cloudflare قد أعلنت سابقاً أنه ابتداءً من 15 سبتمبر 2026، ستُحظر زواحف التدريب والوكلاء افتراضياً على الصفحات التي تعرض إعلانات، وذلك بالنسبة إلى النطاقات الجديدة التي تبدأ استخدام Cloudflare. 10

ينطلق هذا التوجه من أولوية واضحة للناشرين: المحتوى الذي يموّل عبر الإعلانات قد يحتاج إلى إعدادات أشد تقييداً لاستخدامات الذكاء الاصطناعي. لكن الحظر الفئوي السابق كان قد يخلق مشكلة عندما يؤدي الزاحف الواحد أغراضاً متعددة، إذ يمكن أن يتأثر زحف البحث أيضاً. وهنا يأتي دور «منع تدريب الذكاء الاصطناعي» وتصنيف «Accountable»: حماية المحتوى المدعوم بالإعلانات من التدريب، مع الاحتفاظ بالفهرسة حيث يستطيع المشغّل احترام هذا الفصل. 5

ولا توضح المصادر المتاحة بصورة كاملة كيفية ترحيل إعدادات كل النطاقات القائمة، أو الإعدادات الافتراضية المنطبقة على كل نوع من الحسابات. لذا ينبغي لمالكي النطاقات الحالية مراجعة سياساتهم المفعّلة فعلياً، لا استنتاجها من إعدادات النطاقات الجديدة.

Google-Extended وApplebot-Extended وحل Bing البديل

تعالج عناصر التحكم بحسب الغرض مشكلة حاولت توجيهات خاصة بالناشرين معالجتها سابقاً: الفصل بين نشاط محرك البحث لدى المشغّل واستخدامه للمحتوى في الذكاء الاصطناعي.

ناقشت Cloudflare آليات الانسحاب الخاصة بـGoogle، ومنها Google-Extended وnosnippet، مشيرةً إلى ملاحظات من ناشرين بأن هذه الآليات لم تمنع جميع الاستخدامات التي أرادوا التحكم بها. 22 أما المواد المقدمة هنا فلا تكفي للتحقق المستقل من النطاق الدقيق أو السلوك الحالي لـGoogle-Extended أو Applebot-Extended أو توجيه Bing المسمى NOARCHIVE.

الخلاصة الأوسع أوضح من التفاصيل التنفيذية: يمكن لتوجيه مخصص للانسحاب أو لالتزام ضمن «Accountable» أن يدعم رسالة مفادها: «افهرس هذه الصفحة للبحث، لكن لا تستخدمها في التدريب». أما الحظر الشامل لزاحف واحد فلا يضمن تحقيق هذا الفصل.

لماذا أصبحت الضوابط التفصيلية ضرورية؟

بحسب تحليل Cloudflare لحركة المرور، صُنّف 80% من زحف الذكاء الاصطناعي خلال الاثني عشر شهراً السابقة على أنه زحف للتدريب، مقابل 18% للبحث و2% فقط لإجراءات المستخدمين. وتقول الشركة إن هذا التصنيف يستند إلى إفصاحات المشغلين ومصادر في القطاع. 16

تفسر هذه الأرقام سبب رغبة الناشرين في إعدادات منفصلة، بدلاً من مفتاح واحد لتشغيل الذكاء الاصطناعي أو إيقافه. فقد يقبل ناشر فهرسة البحث، ويرفض دمج محتواه بصورة دائمة في نموذج عبر التدريب، ثم يتخذ قراراً مستقلاً بشأن وصول الوكلاء في الوقت الفعلي.

وقالت Cloudflare أيضاً في 2025 إن أكثر من 2.5 مليون موقع اختارت منع تدريب الذكاء الاصطناعي بالكامل عبر ميزة robots.txt المُدارة أو قاعدة الحظر المُدارة الخاصة بزواحف الذكاء الاصطناعي. 13 وتوفر ضوابط سبتمبر لهؤلاء الناشرين مساراً أكثر تفصيلاً عندما يكون الحفاظ على الظهور في البحث أولوية كذلك.

الخطوة التالية: تحكم أكبر في ملخصات الذكاء الاصطناعي

تقول Cloudflare إنها تستهدف إتاحة تحكم أكثر تفصيلاً للناشرين في الملخصات التي ينشئها الذكاء الاصطناعي خلال أوائل عام 2027. 2 ويؤكد الإعلان الاتجاه العام، لكنه لا يحسم بعد تصميم المنتج النهائي أو آلية التنفيذ أو الخيارات الدقيقة المتاحة للناشرين.

في الوقت الحالي، الدرس العملي مباشر: راجع سياسات البحث والتدريب والوكلاء كقرارات مستقلة. وإذا كان الاكتشاف عبر البحث مهماً لموقعك، فلا تفترض أن تقييد الذكاء الاصطناعي يعني بالضرورة تقييد الفهرسة—ولا سيما عندما يكون مشغّل الزاحف مصنفاً ضمن «Accountable». 5