Cloudflare משנה את כללי הגישה של סורקי AI — וההגדרות עלולות להשפיע גם על SEO

Cloudflare אינה חוסמת את כל ה-AI באופן גורף. השינוי שנכנס לתוקף ב-15 בספטמבר 2026 מבדיל בין סריקה לצורכי חיפוש לבין שימוש בתוכן לאימון מודלים או לביצוע משימות בזמן אמת: בדומיינים חדשים שמצטרפים לרשת, סורקים המסווגים כ-Training או כ-Agent נחסמים כברירת מחדל בדפים שמוצגות בהם פרסומות; סורקי Search נותרים מורשים. 215

מבחינת בעלי אתרים ומו"לים, זו הבחנה חשובה: אפשר לנסות לשמר חשיפה במנועי חיפוש ותנועת הפניות, ובו בזמן להגביל מערכות שאוספות תוכן לאימון מודל או מציגות אותו למשתמש דרך עוזר AI.

מהי ברירת המחדל החדשה?

המדיניות החדשה חלה על דומיינים חדשים המצטרפים ל-Cloudflare. כאשר Cloudflare מזהה שבדף מוצגות פרסומות, היא חוסמת כברירת מחדל שתי קטגוריות של תעבורה אוטומטית:

• Training — אימון: סורקים שאוספים תוכן כדי לאמן או לכוונן מודל.
• Agent — סוכן: פעילות אוטומטית שפועלת בזמן אמת בשם אדם, למשל בוטים שמביאים תוכן לשיחה או סוכנים המשתמשים בדפדפן. 13

לעומת זאת, Search — חיפוש נשארת מותרת כברירת מחדל. לפי Cloudflare, קטגוריה זו כוללת סריקה או אינדוקס של תוכן כדי ששירות יוכל לענות על שאלות עליו בהמשך — שימוש שלגביו בעלי אתרים אמורים לקבל תנועת הפניות או תמורה הוגנת אחרת. 13

כלומר, אין כאן איסור כולל על AI: החסימה הראשונית ממוקדת בהתנהגויות Training ו-Agent, ורק בדפים המציגים פרסומות. 215

על מי זה חל?

התיעוד הרשמי של Cloudflare מגדיר את ברירת המחדל החדשה ככזו שנוגעת לדומיינים חדשים המצטרפים לרשת. 215 דיווחים על ההשקה מציינים שההיקף כולל גם אתרים חדשים שמוסיפים לקוחות קיימים, וכן חשבונות במסלול החינמי שלא שינו ידנית את הגדרותיהם. 23

לקוחות ותיקים לא צריכים להניח שכל דומיין קיים קיבל אוטומטית את אותה מדיניות. בפועל, התוצאה עשויה להיות תלויה במועד צירוף הדומיין, במסלול ובתצורה הקיימת. לכן כדאי לבדוק ישירות את בקרות סורקי ה-AI באזור הניהול של הדומיין ב-Cloudflare. 23

שלוש קטגוריות תעבורה שאפשר לנהל

Cloudflare מחלקת את התעבורה האוטומטית לפי אופן השימוש בתוכן, ולא מתייחסת לכל סורק הקשור ל-AI כאל מקשה אחת. את שלוש הקטגוריות אפשר להגדיר בנפרד: 13

קטגוריה	מה היא כוללת	ברירת המחדל בדומיינים חדשים, בדפים עם פרסומות
Search	סריקה או אינדוקס של תוכן לצורך מענה עתידי על שאלות	מותרת
Training	איסוף תוכן לאימון או לכוונון מודל	חסומה
Agent	אוטומציה בזמן אמת שפועלת בשם משתמש	חסומה

לכל קטגוריה אפשר לבחור אחת משלוש אפשרויות:

1. לאפשר את התעבורה.
2. לחסום רק בדפים שמוצגות בהם פרסומות.
3. לחסום בכל הדפים. 23

רמת הפירוט הזו מאפשרת, למשל, להשאיר סריקת חיפוש פעילה ובמקביל לחסום סורקי אימון בכל האתר — או לבחור במדיניות המצומצמת יותר של חסימה בדפים מסחריים בלבד.

הסיכון ל-SEO: סורקים עם יותר מתפקיד אחד

הנקודה החשובה ביותר היא שסיווג של סורק אינו בהכרח חד-ממדי. Cloudflare מציינת שסורקים המשלבים Search ו-Training נבחנים לפי כל התנהגויותיהם, והכלל המגביל ביותר הוא שקובע אם תתאפשר גישה. 2615

המשמעות המעשית: אתר שחוסם Training עלול לחסום גם את פעולת החיפוש הרגילה של סורק שמסווג הן ל-Search והן ל-Training. התיעוד והדיווחים על ההשקה מזכירים בהקשר זה את Googlebot, Applebot ו-BingBot. 26

לכן, האפשרות "לאפשר Search" אינה מבטיחה בהכרח גישה לסורק שיש לו גם סיווג של Training. לפני חסימת אימון לכל האתר, מומלץ לבחון את המחיר האפשרי בחשיפה ובאינדוקס במנועי חיפוש. 24

ומה לגבי ההגדרה הישנה „Block AI bots”?

Cloudflare הבהירה שהגדרות החוסמות אימון AI — ובהן האפשרות הוותיקה „Block AI bots” — חלות גם על סורקים מעורבים של Search ו-Training. 2 לכן, אתר שהפעיל בעבר את ההגדרה הרחבה מתוך הנחה שהיא משפיעה רק על פעילות AI שאינה חיפוש, צריך לבצע בדיקה מחודשת.

בדיווחים מאוחרים יותר על עדכון ספטמבר הוזכרה גישת „Disallow AI Training”, שנועדה לבטא העדפה נגד אימון תוך השארת Googlebot, Applebot ו-BingBot זמינים לחיפוש כאשר הסורק מוגדר כ-„Accountable”. מאחר שההתנהגות ומסלול המעבר תלויים בהגדרה שנבחרה, עדיף להסתמך על האפשרות המוצגת בפועל בלוח הבקרה של Cloudflare — ולא רק על שמה של הגדרה ישנה. 4

למה Cloudflare מפרידה בין חיפוש לצריכת תוכן ב-AI?

המדיניות משקפת חשש של מו"לים: במודל המסורתי, מנוע חיפוש סורק דפים, בונה אינדקס ועשוי להפנות קוראים בחזרה למקור. שירותי בינה מלאכותית יוצרת, לעומת זאת, יכולים להשתמש בתוכן לאימון מודל או להציג תשובה שנאספה ממנו בתוך הממשק שלהם — בלי להחזיר לאתר המקור תנועת גולשים ישירה באותה מידה.

Cloudflare מציגה את Search כתעבורה שממנה מו"לים אמורים לצפות להפניות או לפיצוי מקביל, בעוד ש-Training ו-Agent מתארות דרכים אחרות שבהן תוכן נלקח או מופעל. 13 הבקרות נועדו לאפשר לבעלי האתרים להמשיך לקבל אוטומציה שהם רואים בה ערך, ולהגביל אוטומציה שאינה מחזירה ערך כזה.

השאלה המרכזית, אם כן, אינה רק אם בוט הוא "AI", אלא מה הוא עושה בפועל: האם הוא מסייע לגילוי התוכן ומחזיר תנועה לאתר, או שהוא בעיקר צורך את החומר לצורכי אימון או משימות AI בזמן אמת. 13

מה כדאי לבעלי אתרים לעשות עכשיו?

לפני שינוי מדיניות, מומלץ לבדוק את ההשפעה לפי סוג ההתנהגות:

• השאירו את Search מותרת אם אינדוקס ותנועת הפניות הם יעד חשוב.
• בחרו ב-חסימה בדפים עם פרסומות אם המטרה היא להגן על דפים שמייצרים הכנסות בלי להחיל מגבלה על כל האתר.
• בחרו ב-חסימה בכל הדפים רק לאחר שבדקתם אם לסורק יש גם התנהגות של Search וגם של Training.
• בחנו מחדש כל הגדרה ישנה של „Block AI bots”, במיוחד אם חשובה לכם הנראות בחיפוש של Google, Apple או Bing. 236

ברירות המחדל של ספטמבר נותנות למו"לים שליטה מדויקת יותר, אך בשל הטיפול בסורקים רב-תכליתיים, זו גם החלטת SEO — לא רק הגדרת מדיניות מול AI.