AnswersPublished24 sources
Спільний сигнал robots.txt: як відмовитися від використання контенту для навчання ШІ
30 жовтня 2026 року Google, OpenAI, Microsoft і Anthropic підтримали спільний сигнал robots.txt для налаштування використання контенту в навчанні генеративного ШІ.[4][8] Microsoft планує враховувати сигнал із 1 лютого 2027 року, Google — на початку 2027 го, OpenAI — «у найближчі місяці», а Anthropic повідомила, що в...
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- 30 жовтня 2026 року Google, OpenAI, Microsoft і Anthropic підтримали спільний сигнал robots.txt для налаштування використання контенту в навчанні генеративного ШІ.[4][8]
- Microsoft планує враховувати сигнал із 1 лютого 2027 року, Google — на початку 2027 го, OpenAI — «у найближчі місяці», а Anthropic повідомила, що вже почала впровадження.[8][17]
- Це проєкт Internet Draft, а не завершений стандарт IETF. Сигнал стосується навчання моделей, але сам по собі не забороняє сканування сторінок і не прибирає їх із пошуку.[2][7]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Спільний токен у robots.txt має дати видавцям змогу один раз вказати, чи дозволяють вони використовувати свій контент для навчання генеративного ШІ, замість того щоб прописувати окреме правило для кожного постачальника. 30 жовтня 2026 року цю ініціативу підтримали Google, OpenAI, Microsoft і Anthropic. У ній використовується токен __usage_ai-training.4
8
Важливе застереження: це сигнал про побажання власника сайту, яке компанії обіцяють враховувати, а не технічний бар’єр, що унеможливлює доступ до сторінки.
Як записати правило в robots.txt
Кевін Келлі, керівник напряму стандартів в Anthropic, подав до робочої групи AI Preferences при IETF проєкт документа Machine-Readable Training Preference Signal. Він визначає __usage_ai-training як токен політики, який можна використовувати у звичайній групі правил robots.txt.2
6
7
Щоб висловити загальне побажання не використовувати контент сайту для навчання ШІ, можна додати таке правило:
User-agent: __usage_ai-training
Disallow: /
За потреби правило можна обмежити окремими шляхами. Наприклад, цей варіант забороняє використання контенту загалом, але залишає виняток для /permitted/:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
Токен позначає саме тип використання контенту, а не краулер конкретної компанії. У проєкті також зазначено, що його потрібно вказувати явно: група User-agent: * не поширюється на __usage_ai-training.7
34
Чого сигнал не обмежує
Спільний токен стосується використання контенту для навчання генеративного ШІ. Сам по собі він не є вказівкою припинити сканування сайту або прибрати сторінки з результатів пошуку.2
7 Оскільки
robots.txt передає побажання, а не встановлює технічний замок, результат залежатиме від того, чи дотримуватимуться його компанії.7
8
Це не означає, що окремі налаштування для конкретних постачальників більше не потрібні. Google заявляє, що планує трактувати спільну відмову як заборону для Google-Extended, якщо сайт не задав окремого правила для цього токена. Тож наявні налаштування Google-Extended залишаються важливими для керування уподобаннями щодо Google.33
34
Microsoft окремо повідомила, що нові налаштування не вплинуть на можливість з’являтися в результатах пошуку Bing.19
31 Це запевнення стосується Bing; наявні джерела не підтверджують аналогічної загальної гарантії щодо індексації для всіх чотирьох компаній.
Коли компанії планують запровадити підтримку
Наведені нижче дати — оголошені плани, а не підтвердження, що всі системи вже враховують сигнал:
- Anthropic: Келлі повідомив, що компанія вже почала впровадження. Точного терміну завершення в доступних повідомленнях немає.
8
- Google: планує запровадити підтримку на початку 2027 року.
- Microsoft/Bing: збирається враховувати спільне налаштування для навчання, скануючи сторінки, починаючи з 1 лютого 2027 року.
17
- OpenAI: повідомляла про плани додати підтримку «у найближчі місяці»; конкретної дати джерела не наводять.
Окремі налаштування Microsoft для навчання та grounding
Microsoft доповнює спільне налаштування навчання окремими параметрами для grounding — використання вмісту сторінки для формування відповідей ШІ. У Bing це окреме налаштування на рівні сторінки, тож видавець може керувати ним незалежно від дозволу на навчання.17
Серед описаних варіантів grounding є Allow, Disallow і DisallowExtended. Останній дає змогу дозволити grounding у продуктах і сервісах, якими керує Microsoft, але виключити сторонні grounding-сервіси Microsoft.3
17
Для сайтів, які використовують старі директиви NoArchive або NoCache, важливі перехідні дати. За повідомленнями, з 15 грудня 2026 року відповідним сайтам стануть доступні тимчасові налаштування grounding у Bing Webmaster Tools. 1 березня 2027 року визначено крайнім терміном переходу для сайтів, що покладаються на ці старі директиви.3
44
51 Нові налаштування Microsoft мають почати діяти під час сканування сторінок Bing із 1 лютого 2027 року.
17
31
Що поки що невідомо
- Процес IETF ще триває. Пропозиція має статус Internet-Draft — це не означає, що IETF уже затвердила завершений стандарт. Згаданий проєкт датований 30 жовтня 2026 року; термін його дії спливає 3 травня 2027 року.
2
34
41
- Немає ясності щодо вже зібраних даних. Доступні описи пропозиції та оголошень не пояснюють, чи поширюється сигнал на раніше зібраний контент, чи вимагатиме його видалення та чи вплине на вже навчені моделі.
- Виконання залежить від компаній. Джерела описують наміри учасників дотримуватися сигналу, але не встановлюють механізму примусового виконання для компаній, які його не підтримують.
7
- Участь Meta не підтверджена. У доступних повідомленнях названо Google, OpenAI, Microsoft та Anthropic; підтвердженого зобов’язання Meta впровадити сигнал у них немає.
4
Для видавців практичний висновок такий: спільний токен може стати зручним способом заявити про небажання використовувати контент для навчання ШІ, але його варто розглядати як додаткове спільне налаштування. Він не замінює перевірку правил для окремих постачальників, окремих параметрів grounding і графіків упровадження.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Спільний сигнал robots.txt: як відмовитися від використання контенту для навчання ШІ"?
30 жовтня 2026 року Google, OpenAI, Microsoft і Anthropic підтримали спільний сигнал robots.txt для налаштування використання контенту в навчанні генеративного ШІ.[4][8]
What are the key points to validate first?
30 жовтня 2026 року Google, OpenAI, Microsoft і Anthropic підтримали спільний сигнал robots.txt для налаштування використання контенту в навчанні генеративного ШІ.[4][8] Microsoft планує враховувати сигнал із 1 лютого 2027 року, Google — на початку 2027 го, OpenAI — «у найближчі місяці», а Anthropic повідомила, що вже почала впровадження.[8][17]
What should I do next in practice?
Це проєкт Internet Draft, а не завершений стандарт IETF. Сигнал стосується навчання моделей, але сам по собі не забороняє сканування сторінок і не прибирає їх із пошуку.[2][7]
Sources
anythingengineoptimization.comAI-search news archive — AEO Wire