בעלי אתרים שרוצים להביע הסתייגות משימוש בתוכן שלהם לאימון בינה מלאכותית נאלצו עד כה להגדיר כללים נפרדים עבור ספקים שונים. הצעה חדשה מבקשת לפשט את התהליך: שורת robots.txt אחת שתבטא העדפה משותפת עבור חברות שהודיעו כי יכבדו אותה.
4
8
ההצעה הוכרזה ב־30 באוקטובר 2026, ומאחוריה עומדות גוגל, OpenAI, מיקרוסופט ואנתרופיק. עם זאת, חשוב לדייק: זהו אות שהחברות אומרות כי יכבדו, ולא מנגנון טכני שמונע מאתר להיסרק או מכריח כל גורם ברשת לציית לו.
7
8
איך כותבים את ההעדפה בקובץ robots.txt?
קווין קלי, מוביל תקינה באנתרופיק, הגיש ל־IETF — הגוף העוסק בפיתוח תקני אינטרנט — טיוטה בשם Machine-Readable Training Preference Signal. הטיוטה מגדירה את __usage_ai-training כאסימון מדיניות שאפשר לציין בקבוצת כללים רגילה ב־robots.txt.
2
6
7
כדי להביע העדפה נגד שימוש בתוכן האתר לאימון, דוגמת הטיוטה היא:
User-agent: __usage_ai-training
Disallow: /
אפשר גם להגדיר חריגים לפי נתיב. בדוגמה הבאה ההעדפה היא לאסור שימוש לאימון כברירת מחדל, אך לאפשר אותו בנתיב /permitted/:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
האסימון מציין סוג שימוש — אימון — ולא סורק של חברה מסוימת. לכן הוא עשוי לחסוך כתיבת כלל נפרד לכל ספק משתתף. לפי הטיוטה, צריך לציין את האסימון במפורש: קבוצת User-agent: * אינה חלה עליו.
7
34
מה האות עושה — ומה לא
ההעדפה המשותפת עוסקת בשאלה אם מותר להשתמש בתוכן לאימון מודלים של בינה מלאכותית יוצרת. היא אינה, כשלעצמה, בקשה להפסיק לסרוק את האתר או להסיר עמודים מתוצאות החיפוש.
2
7
ההבחנה חשובה: robots.txt הוא אמצעי להבעת הנחיות והעדפות, ולא מנעול טכני. האפקטיביות של האות תלויה בכך שספקים יבחרו לכבד אותו.
7
8
גם כללים קיימים של ספקים מסוימים עדיין עשויים להיות רלוונטיים. גוגל מסרה שבכוונתה להתייחס לאות המשותף כאילו הוגדר איסור על Google-Extended, אם האתר לא קבע כלל נפרד ל־Google-Extended. לכן, מי שמגדירים העדפות מול גוגל צריכים להביא בחשבון גם את הכלל הספציפי הזה.
33
34
מיקרוסופט הודיעה בנפרד שההעדפות החדשות לא ישנו את הזכאות להופיע בתוצאות החיפוש של Bing.
19
31 זו התחייבות הנוגעת ל־Bing; המקורות הזמינים אינם קובעים הבטחה מקיפה לגבי הופעה באינדקסים של כל ארבע החברות.
מתי החברות מתכננות להתחיל לכבד את האות?
אלה מועדים ותוכניות שהוכרזו — לא אישור שכל המימושים כבר פעילים:
- אנתרופיק: קלי אמר שהחברה החלה לעבוד על מימוש האות. בדיווחים הזמינים אין מועד סיום מוגדר.
8
- גוגל: מכוונת לתמיכה בתחילת 2027.
8
- מיקרוסופט ו־Bing: מתכננות לכבד את העדפת האימון המשותפת בזמן סריקת עמודים, החל מ־1 בפברואר 2027.
17
31
- OpenAI: לפי הדיווחים, מתכננת לתמוך באות „בחודשים הקרובים”, אך לא נמסר מועד מדויק.
8
למיקרוסופט יש גם הגדרות נפרדות ל־grounding
מיקרוסופט מציגה לצד העדפת האימון גם שליטה נפרדת ב־grounding — שימוש בתוכן כדי לסייע בגיבוש תשובות שנוצרות על ידי AI. לפי ההודעה שלה, מדובר בהעדפה ברמת העמוד, שאפשר לנהל בנפרד מהעדפת האימון.
17
האפשרויות שדווחו עבור grounding הן Allow, Disallow ו־DisallowExtended. האפשרות האחרונה נועדה לאפשר שימוש בתוכן בחוויות שמפעילה מיקרוסופט עצמה, אך למנוע את השימוש בו בשירותי grounding שהיא מספקת לצדדים שלישיים.
3
17
למי שמשתמשים בתגיות הישנות של מיקרוסופט, NoArchive או NoCache, יש גם לוח זמנים למעבר: החל מ־15 בדצמבר 2026 צפויות להיות זמינות הגדרות מעבר זמניות ב־Bing Webmaster Tools לאתרים זכאים. 1 במרץ 2027 הוא מועד המעבר שדווח לאתרים שמסתמכים על התגיות הישנות.
3
44
51 ההעדפות החדשות של מיקרוסופט מתוכננות להיכנס לתוקף כשה־Bing יסרוק את התוכן, החל מ־1 בפברואר 2027.
17
31
מה עדיין לא הוכרע?
- ההליך ב־IETF טרם הושלם. מדובר ב־Internet-Draft — טיוטה במסגרת תהליך התקינה — ולא בתקן IETF מוגמר. הטיוטה המצוטטת מתוארכת ל־30 באוקטובר 2026 ומצוין שתוקפה יפוג ב־3 במאי 2027.
2
34
41
- אין במקורות תשובה לגבי תוכן שכבר נאסף. החומרים הזמינים אינם אומרים אם ההעדפה חלה למפרע על תוכן שנאסף בעבר, מחייבת למחוק אותו או משפיעה על מודלים שכבר אומנו.
2
8
- הציות תלוי בספקים. ההודעות מתארות תוכניות של החברות המשתתפות לכבד העדפה; הן אינן קובעות מנגנון אכיפה מול חברות שאינן משתתפות.
7
8
- לא ידועה כאן התחייבות של Meta. החברות שצוינו בתמיכה הן גוגל, OpenAI, מיקרוסופט ואנתרופיק; המקורות שסופקו אינם מאשרים התחייבות של Meta למימוש האות.
4
8
השורה התחתונה למפרסמים ולבעלי אתרים: האות המשותף עשוי להפוך את הבעת ההעדפה בנוגע לאימון AI לפשוטה ואחידה יותר. אבל כדאי להתייחס אליו כהעדפה משותפת שימושית — לא כתחליף לבדיקה של כללי ספק ספציפיים, הגדרות grounding נפרדות ולוחות הזמנים של כל חברה.