Anthropic הפעילה שתי שכבות של בקרה על אינדוקס בדפי השיתוף:
Disallow: /share/* בקובץ robots.txt, שמורה לסורקים לא לגשת לנתיב /share/.X-Robots-Tag: noindex בעמודים עצמם, שאומרת למנועי החיפוש לא לאנדקס אותם גם אם נסרקו .הבעיה: כיוון ש-robots.txt חסם את הסורק של גוגל מלהגיע לדפים, הסורק מעולם לא ראה את כותרת ה-noindex. עם זאת, אם כתובות ה-URL קושרו במקומות אחרים באינטרנט (למשל, ברשתות חברתיות או בפורומים שגוגל כן יכלה לסרוק), גוגל יכלה לגלות ולאנדקס אותן בהתבסס על הפניות חיצוניות. כשהסורק חסום על ידי robots.txt, הוא לא יכול לקרוא את הוראת ה-noindex – ולכן עלול לאנדקס את כתובת ה-URL מתוך ההקשר החיצוני בלבד . למעשה, חסימת robots.txt הפכה את תג ה-noindex לבלתי נראה ולכן לבלתי יעיל.
| חברה | אירוע | היקף | הבדל מרכזי |
|---|---|---|---|
| OpenAI (ChatGPT) | 2023–2025: כתובות URL של קישורי שיתוף ChatGPT אונדקסו על ידי גוגל לאחר שמשתמשים פרסמו אותן בפומבי. גוגל העריכה שמאות אלפי תמלילים נחשפו . | כ-143,000+ שיחות במספר צ'אטבוטים של GenAI | OpenAI לא השתמשה בתחילה ב-noindex או ב-robots.txt לחסימת קישורים משותפים. |
| xAI (Grok) | 2025: שיחות משותפות של Grok הופיעו גם בתוצאות החיפוש של גוגל . | מאות אלפים | דפוס דומה – קישורי שיתוף היו נגישים לציבור ונסרקו. |
| Anthropic (אירוע קודם) | ספטמבר 2025: פורבס דיווח ש-Anthropic הפכה לחברת הבינה המלאכותית השלישית ששיחות הצ'אט שלה מופיעות בגוגל. בשונה מ-OpenAI ו-xAI, Anthropic טענה שחסמה סורקים – אך הדפים עדיין דלפו . | מאות תמלילים | זהו אירוע חוזר. אותה בעיה התרחשה שוב למרות טענות קודמות שתוקנה. |
דפוס מרכזי: בכל שלושת המקרים, הסיבה העיקרית היא שתכונת ה"שיתוף" של חברות הבינה המלאכותית מייצרת כתובות URL ציבוריות, ומשתמשים מפרסמים את הקישורים הללו באינטרנט הפתוח – ולאחר מכן מנועי החיפוש מאנדקסים אותם. האירוע של Anthropic ב-2025 היה למעשה אותה בעיה .
site: .גוגל העריכה בעבר שאינדקסה "קצת פחות מ-600" שיחות Claude באירוע הקודם, לפני שהוסרו . המצב הנוכחי נתון לשינויים – Anthropic טרם הגיבה פומבית לנושא .
מרכז העזרה הרשמי של Anthropic מספק את הצעדים הבאים:
בדיקת שיחות משותפות:
ביטול שיתוף של שיחה:
מחיקת שיחה לחלוטין:
הערה חשובה: ביטול שיתוף או מחיקת שיחה לא מסיר אוטומטית את המידע ממטמון מנועי החיפוש. ייתכן שיהיה עליכם להגיש בקשות הסרה נפרדות לגוגל, בינג ו-Brave עבור כל כתובת URL שכבר אונדקסה .