ثورة في البحث بالذكاء الاصطناعي: Cloudflare و OpenAI تتعاونان لاستخدام إشارات الشبكة لتحسين الفهرسة

في 8 يوليو 2026، أعلنت Cloudflare و OpenAI عن مشروع بحثي رائد من نوعه لاستكشاف كيف يمكن للإشارات الحية من شبكة Cloudflare العالمية تحسين فهرسة البحث بالذكاء الاصطناعي وجودة الإجابات [15، 16، 25]. يمثل هذا المشروع أحدث أجزاء استراتيجية أوسع لـ Cloudflare، أُعلن عنها في 1 يوليو 2026، والتي تعيد تصنيف زواحف الذكاء الاصطناعي إلى ثلاث فئات سلوكية، وتحدد حظرًا افتراضيًا جديدًا على الزواحف المختلطة بدءًا من 15 سبتمبر 2026، وتجرب نموذج تعويض الدفع مقابل الاستخدام للناشرين [8، 9، 20].

مشروع Cloudflare–OpenAI البحثي

ما هو

تطلق Cloudflare و OpenAI مشروعًا بحثيًا مشتركًا يجمع بين بيانات شبكة Cloudflare الطرفية وقدرات البحث المتطورة من OpenAI [15، 16]. قال ماثيو برينس، الرئيس التنفيذي لـ Cloudflare، إن الهدف هو استخدام "إشارات شبكة دقيقة لإيجاد طرق أفضل لتحسين كفاءة البحث بالذكاء الاصطناعي، مما يساعد المستخدمين في الحصول على إجابات عالية الجودة بشكل أسرع" [15، 16].

كيف يعمل (إشارات الشبكة الحية)

يستخدم المشروع إشارات مجمعة ومجهولة المصدر من شبكة Cloudflare، التي تحمل أكثر من 20% من حركة المرور العالمية على الويب [15، 16، 25]. تتضمن الإشارات المحددة:

• نضارة المحتوى – مدى حداثة تحديث الصفحة أو إنشائها.
• جودة الزيارات – أنماط تشير إلى ما إذا كانت الصفحة نشطة الاستخدام وموثوقة.
• بيانات تغيير الصفحات الفعلية – ما إذا كان المحتوى يتغير بالفعل وعدد مرات تغيره على الخادم، بدلاً من الاعتماد على الطوابع الزمنية لخريطة الموقع.

تساعد هذه الإشارات محرك البحث الذكي في تحديد ما يجب زحفه، ومتى يعيد الزحف، وأي محتوى من المحتمل أن يكون قديمًا أو منخفض الجودة، دون الحاجة إلى جلب كل صفحة بشكل تخميني [15، 16]. النتيجة هي فهرسة أكثر كفاءة وإجابات أكثر دقة وفي الوقت المناسب.

الاستراتيجية الأوسع: إصلاح السياسات في 1 يوليو 2026

يتناسب مشروع OpenAI ضمن مجموعة أكبر بكثير من تغييرات السياسات والمنتجات التي أعلنتها Cloudflare في 1 يوليو 2026 - والتي أطلقت عليها اسم "يوم استقلال المحتوى" [8، 9، 20].

تصنيف جديد للزواحف الذكية بثلاث فئات

ابتعدت Cloudflare عن تصنيف بسيط "روبوت ذكاء اصطناعي أم لا" وتطلب الآن تصنيف جميع الزواحف في واحدة أو أكثر من ثلاث حالات استخدام [8، 9]:

الفئة	السلوك	مثال
بحث	فهرسة المحتوى للإجابة على الاستفسارات لاحقًا. يجب أن يحصل مالكو المواقع على زيارات إحالة أو تعويض.	زواحف محركات البحث القياسية
وكيل	إجراءات آلية في الوقت الفعلي نيابة عن المستخدم (جلب الدردشة، وكلاء استخدام المتصفح).	وكلاء ChatGPT-User و Claude و Gemini
تدريب	الزحف لتدريب أو ضبط نموذج دقيق. يتم امتصاص البيانات في النموذج بشكل دائم.	زواحف التدريب الجماعي

تشجع Cloudflare "بشدة" الشركات التي تفعل الثلاثة على تشغيل زواحف منفصلة وقابلة للتعريف لكل غرض ^T.

الإعدادات الافتراضية القادمة (15 سبتمبر 2026)

بدءًا من 15 سبتمبر 2026، ستفرض Cloudflare إعدادات افتراضية جديدة لجميع العملاء الجدد والمواقع الجديدة من العملاء الحاليين وحسابات الطبقة المجانية [8، 9، 10]:

• زواحف التدريب ← محظورة افتراضيًا على الصفحات المدرة للإعلانات.
• زواحف الوكيل ← محظورة افتراضيًا على الصفحات المدرة للإعلانات.
• الزواحف المختلطة (الروبوتات التي تجمع بين البحث والتدريب و/أو وظائف الوكيل في مسار واحد) ← محظورة افتراضيًا على أي صفحة تستضيف إعلانات [8، 10].
• زواحف البحث فقط ← مسموحة افتراضيًا، بحيث تظل المواقع قابلة للاكتشاف في البحث التقليدي.

يستهدف التغيير الأكثر حدة الزواحف المختلطة: تجمع هذه الروبوتات محتوى للبحث والتدريب على الذكاء الاصطناعي في مسار واحد، مما يجعل من المستحيل على مالكي المواقع تحديد الغرض الذي تخدمه البيانات. الحظر الافتراضي من Cloudflare يجبر شركات الذكاء الاصطناعي إما على تقسيم زواحفها أو فقدان الوصول إلى الصفحات المدعومة بالإعلانات [8، 10].

الدفع مقابل الاستخدام: تجارب تعويض الناشرين

في 1 يوليو 2026، أعلنت Cloudflare أيضًا عن انتقالها من نموذج الدفع مقابل الزحف السابق (الذي أُعلن عنه في 2025) نحو نموذج الدفع مقابل الاستخدام [10، 20]:

• الدفع مقابل الزحف (إصدار تجريبي خاص في 2025): فرض رسوم على شركات الذكاء الاصطناعي في كل مرة يطلب فيها الزاحف محتوى، باستخدام رموز حالة HTTP والمصادقة ^B.
• الدفع مقابل الاستخدام (أُعلن في يوليو 2026): يحصل الناشرون على أموال عندما يغذي محتواهم إجابة ذكاء اصطناعي فعليًا، وليس فقط عندما يتم زحفه ^B. يُوصف هذا بأنه "أداة مساعدة مقاسة" للبحث بالذكاء الاصطناعي - تدفع شركة الذكاء الاصطناعي مقابل القيمة التي تقدمها، وليس الوصول الخام [19، 20].

لا يزال نموذج الدفع مقابل الاستخدام يُوصف بأنه "تجربة مبكرة" و"برنامج بحثي" ^B. لم يتم نشر التسعير الدقيق وحصص الإيرادات والجدول الزمني للطرح للتوفر العام.

كيف تتناسب الأجزاء معًا

مشروع OpenAI البحثي، والتصنيف ثلاثي الفئات، والحظر الافتراضي للزواحف المختلطة، وتجارب الدفع مقابل الاستخدام، كلها جزء من استراتيجية واحدة متماسكة [8، 9، 20]:

1. فرض الشفافية – من خلال طلب زواحف منفصلة للبحث مقابل التدريب مقابل الوكلاء، يمكن لمالكي المواقع أخيرًا رؤية ما يفعله كل روبوت.
2. منح مالكي المواقع السيطرة – تحظر الإعدادات الافتراضية السلوكيات الأكثر استغلالاً (التدريب والوكلاء والمختلطة) مع الحفاظ على قابلية الاكتشاف (يُسمح بالبحث).
3. إنشاء طبقة تعويض – يحل الدفع مقابل الاستخدام محل صفقة "الزحف مجانًا والحصول على إحالات" المكسورة بدفع مرتبط بتوليد إجابات الذكاء الاصطناعي الفعلية.
4. جعل البحث بالذكاء الاصطناعي أكثر ذكاءً – يستخدم مشروع OpenAI إشارات Cloudflare الحية لتقليل الزحف المسرف وتحسين توقيت ودقة إجابات الذكاء الاصطناعي، مما يفيد كلاً من الناشرين (إسناد أفضل) وشركات الذكاء الاصطناعي (تكلفة بنية تحتية أقل).