ОтветыОпубликовано24 источники
Общий сигнал robots.txt для ИИ: что важно знать издателям
30 октября 2026 года Google, OpenAI, Microsoft и Anthropic поддержали общий сигнал robots.txt для отказа от использования контента при обучении генеративного ИИ.[4][8] Microsoft планирует учитывать сигнал с 1 февраля 2027 года, Google — в начале 2027 го, OpenAI — «в ближайшие месяцы» без точной даты, а Anthropic соо...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- 30 октября 2026 года Google, OpenAI, Microsoft и Anthropic поддержали общий сигнал robots.txt для отказа от использования контента при обучении генеративного ИИ.[4][8]
- Microsoft планирует учитывать сигнал с 1 февраля 2027 года, Google — в начале 2027 го, OpenAI — «в ближайшие месяцы» без точной даты, а Anthropic сообщила, что уже начала внедрение.[8][17]
- Пока это проект Internet Draft для рабочей группы IETF, а не завершённый стандарт.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Общий сигнал в robots.txt должен упростить издателям настройку: вместо отдельных правил для каждого участника можно указать предпочтение по использованию контента для обучения генеративного ИИ один раз. Инициативу поддержали Google, OpenAI, Microsoft и Anthropic 30 октября 2026 года. Она основана на токене __usage_ai-training.4
8
Но важно понимать границы этой настройки: robots.txt сообщает предпочтение, а не ставит технический заслон. Его действие зависит от того, выполняют ли его компании.7
8
Как записать предпочтение в robots.txt
Кевин Келли, отвечающий за стандарты в Anthropic, представил в рабочую группу IETF по AI Preferences проект Machine-Readable Training Preference Signal. Это Internet-Draft — проект документа, а не утверждённый стандарт. В нём предлагается использовать __usage_ai-training как токен политики в обычной группе robots.txt.2
6
7
Чтобы выразить отказ от использования всего сайта для обучения, можно указать:
User-agent: __usage_ai-training
Disallow: /
Правила можно задать и для отдельных путей. Например, запретить использование контента в целом, но оставить исключение для /permitted/:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
Токен обозначает именно предпочтение по использованию контента, а не отдельного поискового робота или компанию. Его нужно указать явно: группа User-agent: * на этот токен не распространяется.7
34
Это не запрет на сканирование или поиск
Общий сигнал относится к использованию контента для обучения генеративного ИИ. Сам по себе он не требует прекратить обход сайта и не удаляет страницы из обычной поисковой выдачи.2
7 Иными словами, это указание о том, как использовать контент, а не технический замок на доступ к нему.
7
8
У компаний при этом могут оставаться собственные настройки. Например, Google планирует трактовать общий отказ как запрет для Google-Extended, если издатель отдельно не задал правило для Google-Extended. Поэтому соответствующие настройки Google по-прежнему важно учитывать.33
34
Microsoft отдельно заявила, что новые предпочтения не повлияют на право страниц появляться в результатах Bing.19
31 Это обещание касается Bing: доступные источники не дают аналогичной общей гарантии по поисковой индексации для всех четырёх компаний.
Когда компании планируют начать учитывать сигнал
Речь идёт об объявленных планах, а не о подтверждении, что функция уже работает у всех участников:
- Anthropic: Келли сообщил, что компания начала внедрение. Точный срок завершения не указан.
8
- Google: планирует начать поддержку в начале 2027 года.
- Microsoft и Bing: обещают учитывать общий сигнал при сканировании страниц с 1 февраля 2027 года.
17
- OpenAI: поддержка ожидается «в ближайшие месяцы», но конкретная дата не названа.
Дополнительные настройки Microsoft: обучение и grounding
Microsoft разделяет два сценария: обучение моделей и grounding — использование содержимого страницы как опоры или контекста при подготовке ответов ИИ. Для grounding компания вводит отдельную настройку на уровне страницы; это не общий параметр в robots.txt.17
Для grounding описаны варианты Allow, Disallow и DisallowExtended. Последний позволяет использовать контент в сервисах, которыми управляет сама Microsoft, но исключает сторонние grounding-сервисы Microsoft.3
17
Издателям, которые полагаются на старые теги NoArchive или NoCache, стоит учесть переходные даты. Временные настройки grounding в Bing Webmaster Tools планируют открыть для подходящих сайтов 15 декабря 2026 года. Для сайтов, использующих старые теги, указан срок перехода на новые настройки — 1 марта 2027 года. Новые предпочтения Microsoft обещает применять при сканировании контента с 1 февраля 2027 года.3
17
31
44
51
Что пока остаётся неясным
- Процесс IETF не завершён. Предложение — Internet-Draft, а не принятый стандарт. Указанный проект датирован 30 октября 2026 года и, согласно источникам, должен истечь 3 мая 2027 года.
2
34
41
- Что будет с уже собранными данными, не уточняется. Доступные материалы не объясняют, распространяется ли сигнал задним числом на ранее собранный контент, требует ли его удаления и влияет ли на уже обученные модели.
- Сигнал зависит от соблюдения правил компаниями. Источники описывают планы участвующих поставщиков учитывать предпочтение, но не говорят о механизме принуждения для компаний, которые не присоединились.
7
- Поддержка Meta не подтверждена. В материалах названы Google, OpenAI, Microsoft и Anthropic; подтверждённого обещания Meta внедрить сигнал среди них нет.
4
Для издателей общий токен может стать удобным способом обозначить позицию по обучению ИИ. Но его не стоит считать полной заменой настройкам для конкретных компаний, отдельным правилам grounding и проверке сроков внедрения.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Общий сигнал robots.txt для ИИ: что важно знать издателям»?
30 октября 2026 года Google, OpenAI, Microsoft и Anthropic поддержали общий сигнал robots.txt для отказа от использования контента при обучении генеративного ИИ.[4][8]
Какие ключевые моменты необходимо проверить в первую очередь?
30 октября 2026 года Google, OpenAI, Microsoft и Anthropic поддержали общий сигнал robots.txt для отказа от использования контента при обучении генеративного ИИ.[4][8] Microsoft планирует учитывать сигнал с 1 февраля 2027 года, Google — в начале 2027 го, OpenAI — «в ближайшие месяцы» без точной даты, а Anthropic сообщила, что уже начала внедрение.[8][17]
Что мне делать дальше на практике?
Пока это проект Internet Draft для рабочей группы IETF, а не завершённый стандарт.
Источники