Cloudflare ו-OpenAI משיקות פיילוט מחקר לשיפור חיפוש ה-AI באמצעות נתוני רשת בזמן אמת

שלוש קטגוריות של סורקי AI

Cloudflare מתרחקת מהשאלה הפשוטה "האם זה בוט AI?" ומבקשת לסווג סורקים לפי אופן השימוש שלהם בתוכן ^TB:

Cloudflare מעודדת חברות המשתמשות בסורקים לכל שלוש המטרות להפעיל סורק נפרד ומזוהה עבור כל שימוש. כך בעלי אתרים יכולים להבין איזה בוט ניגש לתוכן שלהם ולשם מה ^T.

מה ישתנה ב-15 בספטמבר 2026?

החל מ-15 בספטמבר 2026, Cloudflare מתכננת להחיל הגדרות ברירת מחדל חדשות על לקוחות חדשים, על אתרים חדשים של לקוחות קיימים ועל חשבונות בחבילה החינמית ^TBB:

• סורקי אימון — ייחסמו כברירת מחדל בעמודים שממומנים באמצעות פרסומות.
• סורקי סוכנים — ייחסמו כברירת מחדל בעמודים שממומנים באמצעות פרסומות.
• סורקים רב-שימושיים — בוטים המשלבים חיפוש, אימון ו/או פעילות של סוכן באותה סריקה — ייחסמו כברירת מחדל בכל עמוד שמציג פרסומות ^TB.
• סורקי חיפוש בלבד — יישארו מותרים כברירת מחדל, כדי שאתרים ימשיכו להיות ניתנים לגילוי בחיפוש המסורתי.

השינוי המשמעותי ביותר נוגע לסורקים רב-שימושיים. כאשר אותו בוט אוסף תוכן גם לצורך הופעה בתוצאות חיפוש וגם לצורך אימון מודל, לבעל האתר קשה לדעת מה ייעשה במידע. ברירת המחדל החדשה של Cloudflare מפעילה לחץ על חברות AI להפריד בין הסורקים — או להסתכן באובדן גישה לעמודים הנתמכים בפרסום ^TB.

חשוב להדגיש: מדובר בהגדרות ברירת מחדל, ולא באגרה אחידה שכל אתר חייב לגבות. בעלי האתרים עדיין יכולים לשנות את ההגדרות בהתאם למדיניות שלהם.

מ-Pay Per Crawl ל-Pay Per Use

לצד בקרת הגישה, Cloudflare בוחנת גם דרך חדשה לתגמל בעלי תוכן. החברה נעה מהמודל הקודם Pay Per Crawl, שנבחן בגרסת בטא פרטית ב-2025, אל מודל Pay Per Use ^BB.

• Pay Per Crawl — חברות AI מחויבות בכל פעם שסורק מבקש תוכן. המודל נשען על תשתיות אינטרנט קיימות, כולל כותרות בקשות, קודי HTTP ואימות. בבקשות שלא כוללות כוונת תשלום ניתן להחזיר קוד 402, כלומר Payment Required ^B.
• Pay Per Use — בעל האתר אמור לקבל תשלום כאשר התוכן שלו משמש בפועל ליצירת תשובת AI, ולא רק משום שבוט הוריד את העמוד ^B.

Cloudflare מציגה את Pay Per Use כמעין שירות מדוד: התשלום אמור להיות קשור לערך שנוצר עבור מנוע ה-AI, ולא לעצם הגישה הגולמית לתוכן. עם זאת, מדובר עדיין ב"ניסוי מוקדם" ובתוכנית מחקר. החברה לא פרסמה את התמחור המדויק, את חלוקת ההכנסות או לוח זמנים להפצה כללית של המודל ^B.

כיצד המהלכים מתחברים?

הפיילוט עם OpenAI, סיווג הסורקים, חסימת ברירת המחדל והניסוי במודל התשלום מצטרפים לאסטרטגיה אחת של Cloudflare ^TBB:

1. שקיפות — הפרדת סורקי חיפוש, סוכנים ואימון מאפשרת לבעלי אתרים לדעת מה כל בוט עושה.
2. שליטה לבעלי האתרים — ברירת המחדל מגבילה את סוגי הגישה האגרסיביים יותר, תוך שמירה על האפשרות להופיע בחיפוש רגיל.
3. מודל תגמול חדש — Pay Per Use מנסה להחליף את העסקה הוותיקה של "סריקה בחינם תמורת ביקורי הפניה" בתשלום הקשור לשימוש ממשי בתוכן.
4. חיפוש AI יעיל יותר — הפיילוט עם OpenAI עשוי להפחית סריקות מיותרות ולשפר את העדכניות והדיוק של התשובות.

אם הניסוי יצליח, משמעות הדבר עשויה להיות שינוי באופן שבו מנועי AI מתייחסים לאינטרנט: לא עוד איסוף גורף של עמודים בתקווה למצוא מידע שימושי, אלא סריקה סלקטיבית יותר, המבוססת על אותות חיים מהרשת ועל כללים ברורים יותר לבעלי התוכן.