Cloudflare קובעת רף חדש: בוטים של AI יחויבו להזדהות ולשלם עבור תוכן

השינוי המרכזי: המועד האחרון – 15 בספטמבר 2026

Cloudflare קבעה את 15 בספטמבר 2026 כמועד אחרון לחברות AI להפריד את סורקי האינטרנט שלהן לקטגוריות ברורות על פי אופן השימוש בתוכן הנסרק. כל סורק שלא יצהיר בבירור על מטרתו, או שיאגד אינדוקס לחיפוש עם אימון AI תחת סוכן משתמש אחד, ייחסם כברירת מחדל בתעבורה המגיעה מ-Cloudflare, במיוחד בדפים הכוללים פרסומות .

לאחר תאריך זה, לקוחות חדשים של Cloudflare ואתרים חדשים יקבלו ברירת מחדל המאפשרת רק לסורקי חיפוש מזוהים לעבור, בעוד שסורקי אימון AI וסורקי סוכן ייחסמו אלא אם המפרסם בחר אחרת . לקוחות קיימים בתוכנית החינמית שלא יעדכנו ידנית את העדפותיהם, יועברו גם הם לברירות המחדל החדשות .

1. ברירות מחדל חדשות: מ-אופט-אאוט לאופט-אין

בעבר, האינטרנט פעל על נורמת אופט-אאוט: סורקים הורשו אלא אם אתר חסם אותם במפורש באמצעות robots.txt. Cloudflare הפכה זאת לפרדיגמה של אופט-אין עבור סורקי AI .

• עבור לקוחות חדשים ואתרים חדשים: סורקי AI המשמשים לאימון או לפעולות סוכן חסומים כברירת מחדל. מפרסמים חייבים להפעיל אותם באופן אקטיבי .
• עבור לקוחות קיימים: ההגדרות לא משתנות אוטומטית, אך בעלי האתרים יכולים (ומומלץ בחום לעשות זאת) לעבור לשליטה החדשה בת שלוש הקטגוריות דרך לוח הבקרה של Cloudflare .
• בדפים הכוללים פרסומות: סורקים מעורבים (גם אינדוקס לחיפוש וגם איסוף לאימון) ייחסמו כברירת מחדל, משום שהמדיניות מתייחסת לתעבורה לא מסווגת או מעורבת כתעבורת אימון או סוכן .

2. מערכת שלוש הקטגוריות: חיפוש, סוכן, אימון

Cloudflare הציגה סיווג חדש המאפשר למפרסמים לקבוע כללים עצמאיים לשלוש התנהגויות בוט, הזמין לכל הלקוחות כולל אלו בתוכנית החינמית :

מפרסמים יכולים כעת להגדיר מדיניות כמו 'אפשר חיפוש, חסום אימון, חסום סוכן' מלוח בקרה אחד, אפילו בתוכנית החינמית . זהו פיקוח מדויק יותר מ-robots.txt המסורתי, שאיפשר רק לאפשר או לחסום באופן גורף לכל סוכן משתמש. התיעוד של Cloudflare מגדיר חיפוש כפעילות שבה בעלי האתרים "צריכים לצפות לתנועת הפניה או לתגמול הוגן אחר" .

3. המעבר מ-Pay Per Crawl ל-Pay Per Use

Cloudflare הציגה לראשונה את Pay Per Crawl ביולי 2025 כבטא פרטית – שוק שבו מפרסמים יכלו לגבות מחברות AI תשלום עבור כל בקשת סריקה, תוך שימוש בקודי סטטוס HTTP 402 ("Payment Required") כדי לנהל משא ומתן על גישה . מערכת זו אפשרה למפרסמים להחזיר תגובת 402 עם מידע על תמחור כאשר סורק לא מאושר ביקש תוכן .

עד אפריל 2026, במה ש-Cloudflare כינתה 'שבוע הסוכנים' (13-17 באפריל), החברה פיתחה זאת למודל Pay Per Use רחב יותר, תוך קיפול מסגרת ה-per-crawl לתוך קונסולת מפעיל אחת הזמינה בכל רמות התוכנית . ההבדל המרכזי:

• Pay Per Crawl (בטא 2025): מודל מיקרוטרנזקציות לפי בקשה – כל בקשת סריקה הפעילה משא ומתן תשלום באמצעות תגובות HTTP 402 .
• Pay Per Use (GA 2026): מערכת גמישה יותר שבה מפרסמים יכולים לקבוע תנאים – דמי רישיון קבועים, תעריפים לפי סריקה או גישת מנוי – וחברות AI יכולות לנהל גישה באופן תכנותי באמצעות ניהול הבוטים וכללי ה-WAF של Cloudflare .

ההטמעה של Stack Overflow (פברואר 2026) הדגימה את גרסת הייצור: תוכנית רישוי הנתונים שלהם משתמשת בסיווג הבוטים של Cloudflare כדי לשלוח תגובות 402 לסורקים לא מורשים, תוך מונטיזציה בקנה מידה גדול ללא חוזים מותאמים אישית .

כיצד השינוי משפיע על הנוף

עבור מפרסמים

• מקור הכנסה חדש: חברות AI יידרשו לשלם עבור נתוני אימון מאתרים המגובים על ידי Cloudflare, במקום לגרד תוכן בחינם .
• שליטה מדויקת: מפרסמים יכולים לשמור על סורקי חיפוש (המניבים תנועה למודעות) תוך חסימת בוטי אימון/סוכן – הגנה על הכנסות מפרסום ועל ערך התוכן גם יחד .
• הגנה מובנית: מפרסמים קטנים שלא יכלו להרשות לעצמם ניהול בוטים מותאם אישית, מקבלים כעת חסימת סורקי AI ברמה ארגונית מהשקה .

עבור חברות AI

• עלות נתוני האימון עולה: 'הארוחה החינמית' של גירוד האינטרנט בקנה מידה גדול מסתיימת עבור אתרים ברשת Cloudflare (~20% מהאינטרנט) . חברות AI יצטרכו לשלם למפרסמים או לנהל משא ומתן על הסכמי רישוי.
• משבר זהות הסורקים: חברות AI חייבות לשפץ את תשתית הסריקה שלהן עד 15 בספטמבר, כדי להפריד בין תעבורת חיפוש, אימון וסוכן לסוכני משתמש נפרדים ומזוהים – או להסתכן בחסימה מוחלטת .
• גוגל היא המושפעת ביותר: הסורק של גוגל שימש היסטורית לשתי מטרות (אינדוקס חיפוש רגיל ואימון AI עבור Gemini/SGE). המדיניות של Cloudflare מאלצת את גוגל לפצל את הסורק שלה, או ש-Googlebot שלה ייחסם בדפי Cloudflare הכוללים פרסומות .

השפעה תעשייתית רחבה יותר

• מהלך שקובע סטנדרט: Cloudflare למעשה מגדירה פרוטוקול חדש לנימוסי סורקי AI. ספקי CDN ואירוח אחרים עשויים ללכת בעקבותיה .
• מדיניות אותות תוכן (Content Signals Policy): Cloudflare הציגה סט חדש של הוראות קריאות מכונה בקובץ robots.txt החורגות מגישה ברמת הדף, ומאפשרות למפרסמים לאותת האם התוכן שלהם יכול לשמש לאינדוקס חיפוש, אימון AI או סוכני AI . זהו הרחבה של robots.txt המסורתי כדי לכסות שימוש לאחר גישה, לא רק הרשאת סריקה.