Cloudflare تفصل بين زواحف البحث والتدريب ووكلاء الذكاء الاصطناعي

لم تعد Cloudflare تتعامل مع كل زاحف مرتبط بالذكاء الاصطناعي كفئة واحدة. فمنذ 15 سبتمبر 2026، تضع الشركة افتراضاً جديداً للنطاقات التي تنضم حديثاً إلى شبكتها: حظر الزيارات المصنفة ضمن التدريب أو الوكيل على الصفحات التي تعرض إعلانات، مع استمرار السماح بزواحف البحث. 215

الفكرة مهمة للناشرين وأصحاب المواقع: يمكنهم السعي إلى الحفاظ على الظهور في محركات البحث والزيارات المُحالة منها، مع الحد من الأنظمة التي تجمع المحتوى لتدريب نماذج الذكاء الاصطناعي أو تسترجعه فورياً لتنفيذ مهام نيابةً عن المستخدم.

القاعدة الافتراضية: حظر التدريب والوكلاء في صفحات الإعلانات

ينطبق الإعداد الافتراضي الجديد على النطاقات الجديدة عند الانضمام إلى Cloudflare. وعندما تكتشف Cloudflare أن الصفحة تعرض إعلانات، فإنها تحجب فئتين من الزيارات الآلية:

• التدريب (Training): زواحف تجمع المحتوى لتدريب نموذج أو ضبطه الدقيق.
• الوكيل (Agent): نشاط آلي يعمل آنياً نيابة عن شخص، مثل روبوتات جلب المحتوى للمحادثات ووكلاء استخدام المتصفح. 13

في المقابل، تبقى فئة البحث (Search) مسموحة افتراضياً. وتعرّفها Cloudflare بأنها زحف المحتوى أو فهرسته كي تتمكن الخدمة من الإجابة عن أسئلة حوله لاحقاً، وهو نمط تتوقع معه الشركة إحالات للزوار أو مقابلاً عادلاً آخر للناشر. 13

لذلك لا تمثل السياسة حظراً عاماً للذكاء الاصطناعي؛ فهي تستهدف سلوكي التدريب والوكيل فقط، وفقط في الصفحات التي تعرض إعلانات. 215

من الذي يتأثر؟

تقول وثائق Cloudflare إن الإعداد الجديد يخص النطاقات التي تنضم حديثاً إلى شبكتها. 215 كما أفادت تغطيات الإطلاق بأن النطاق قد يشمل المواقع الجديدة التي يضيفها العملاء الحاليون، وحسابات الخطة المجانية التي لم تُعدّل إعداداتها يدوياً. 23

أما أصحاب النطاقات القائمة، فلا ينبغي أن يفترضوا تطبيق السياسة نفسها تلقائياً على كل نطاق قديم. فالنتيجة العملية تعتمد على حالة انضمام النطاق، والخطة، والإعدادات المطبقة مسبقاً. ولهذا تبقى مراجعة عناصر التحكم في زواحف الذكاء الاصطناعي داخل إعدادات النطاق في Cloudflare هي الطريقة الأضمن لمعرفة السياسة السارية. 23

ثلاث فئات يمكن التحكم بها على نحو منفصل

تعتمد Cloudflare تصنيفاً حسب سلوك الزيارة الآلية، لا حسب كونها مرتبطة بالذكاء الاصطناعي من عدمه. والفئات الثلاث قابلة للضبط بشكل مستقل: 13

الفئة	ما الذي تشملُه؟	الإعداد الافتراضي للنطاقات الجديدة في صفحات الإعلانات
البحث	زحف أو فهرسة المحتوى للإجابة عن أسئلة لاحقاً	مسموح
التدريب	جمع المحتوى لتدريب نموذج أو ضبطه الدقيق	محجوب
الوكيل	أتمتة آنية تعمل نيابةً عن المستخدم	محجوب

ولكل فئة، يملك صاحب الموقع ثلاثة خيارات:

1. السماح بالزيارة الآلية.
2. الحجب في الصفحات التي تعرض إعلانات.
3. الحجب في جميع الصفحات. 23

تمنح هذه الدقة الناشر مرونة عملية: يمكن مثلاً الإبقاء على زحف البحث مسموحاً، وحجب زواحف التدريب في الموقع بالكامل، أو الاكتفاء بالقاعدة الأضيق الخاصة بالصفحات المدعومة بالإعلانات.

الزواحف متعددة الأغراض: نقطة الخطر على تحسين الظهور في البحث

لا يقتصر تصنيف الزاحف بالضرورة على سلوك واحد. وتوضح Cloudflare أن الزواحف التي تجمع بين البحث والتدريب تُقيَّم وفق جميع سلوكياتها، وتُطبَّق عليها القاعدة الأكثر تقييداً. 2615

والنتيجة قد تكون مؤثرة: إذا حظر الموقع التدريب، فقد يفقد الزاحف الذي تصنفه Cloudflare ضمن البحث والتدريب معاً إمكانية الزحف المعتادة لأغراض البحث أيضاً. وتشير الوثائق والتغطية الخاصة بالإطلاق إلى Googlebot وApplebot وBingBot بوصفها أمثلة على زواحف متعددة الأغراض ذات صلة بهذه القاعدة. 26

بعبارة مباشرة، السماح بـ«البحث» لا يضمن تلقائياً السماح لروبوت يؤدي كذلك سلوكاً مصنفاً كتدريب. وقبل فرض حظر شامل للتدريب، ينبغي لصاحب الموقع تقدير أثر ذلك في الفهرسة وظهور الصفحات في نتائج البحث. 24

ماذا عن إعداد «Block AI bots» القديم؟

ذكرت Cloudflare أن إعدادات حظر تدريب الذكاء الاصطناعي، بما فيها الخيار القديم «Block AI bots»، تنطبق أيضاً على الزواحف المختلطة بين البحث والتدريب. 2

وهذا يستدعي مراجعة خاصة للمواقع التي فعّلت الإعداد القديم على أساس أنه سيؤثر فقط في نشاط الذكاء الاصطناعي غير المرتبط بالبحث. فقد ذكرت تغطية لاحقة لإطلاق سبتمبر خياراً أحدث باسم «Disallow AI Training» يعبّر عن تفضيل عدم استخدام المحتوى في التدريب، مع الإبقاء على Googlebot وApplebot وBingBot متاحاً للبحث حين يُصنَّف الزاحف على أنه «Accountable». وبما أن السلوك وخطوات الانتقال قد يختلفان باختلاف الإعداد المختار، فعلى المسؤولين التحقق من الخيار المعروض حالياً في لوحة تحكم Cloudflare بدلاً من الاعتماد على اسم مفتاح قديم. 4

لماذا تفصل Cloudflare بين البحث واستهلاك الذكاء الاصطناعي للمحتوى؟

ينطلق هذا التقسيم من قلق لدى الناشرين: محركات البحث تقليدياً تزحف إلى الصفحات وتفهرسها، وقد تعيد إرسال القراء إلى المصدر. أما خدمات الذكاء الاصطناعي التوليدي، فقد تستخدم المحتوى في التدريب أو تعرض إجابات مسترجعة داخل واجهتها، من دون أن تعود بالقدر نفسه من الزيارات المباشرة إلى الموقع الأصلي.

تصف Cloudflare فئة البحث بأنها زيارات يُفترض أن توفر إحالات أو مقابلاً عادلاً للناشرين، في حين تصف فئتي التدريب والوكيل استخدامات تأخذ المحتوى أو تعمل به بطرق مختلفة. 13 وصُممت عناصر التحكم لتتيح لمالكي المواقع الاحتفاظ بالأتمتة التي يرون فيها قيمة، وتقييد الأتمتة التي لا تحقق لهم ذلك.

إذن، السؤال ليس ما إذا كان الروبوت «ذكاءً اصطناعياً» فحسب، بل ما إذا كان سلوكه يدعم اكتشاف المحتوى ويعيد قيمة إلى الموقع، أم يستهلك مادته أساساً للتدريب أو لمهام ذكاء اصطناعي فورية. 13

ما الذي ينبغي على أصحاب المواقع فعله؟

قبل تغيير الإعدادات، راجع النتائج على مستوى كل سلوك:

• اترك البحث مسموحاً إذا كانت أولوية الموقع هي الحفاظ على الفهرسة والزيارات المحتملة من محركات البحث.
• استخدم خيار الحجب في الصفحات التي تعرض إعلانات إذا كان الهدف حماية الصفحات ذات العائد الإعلاني من دون فرض تقييد على الموقع كله.
• لا تستخدم الحجب في جميع الصفحات قبل التحقق مما إذا كان الزاحف يجمع بين سلوكي البحث والتدريب.
• أعد فحص أي إعداد قديم باسم «Block AI bots»، ولا سيما إذا كانت رؤية الموقع عبر Google أو Apple أو Bing مهمة له. 236

تمنح إعدادات سبتمبر أصحاب المواقع تحكماً أكبر، لكن طريقة تصنيف الزواحف متعددة الأغراض تعني أن اختيار الإعداد ليس قراراً خاصاً بسياسة الذكاء الاصطناعي فقط، بل قد يكون قراراً مؤثراً في تحسين الظهور بمحركات البحث أيضاً.