Cloudflare разрешила запрещать обучение ИИ, не теряя поисковую видимость

Главное: блокируется не бот целиком, а конкретная цель его работы

15 сентября 2026 года Cloudflare запустила настройку Disallow AI Training. Она меняет привычный выбор, который стоял перед владельцами сайтов: раньше запрет краулера, связанного с ИИ, мог одновременно ухудшить видимость в обычном поиске. Теперь издатель может сохранить индексацию страниц и при этом запретить тому же краулеру использовать контент для обучения моделей — если оператор отвечает требованиям Cloudflare. 5

Cloudflare разделяет обращения ботов на три независимые категории:

• Search — обход страниц для включения в поисковый индекс;
• Training — сбор контента для обучения или дообучения ИИ-модели;
• Agent — получение контента при выполнении действия по запросу пользователя. 10

Практический смысл прост: сайт может разрешить поисковую индексацию, но отдельно отказать в обучении модели и отдельно решить вопрос с доступом ИИ-агентов. Это точнее, чем единая кнопка «заблокировать все ИИ-боты». 510

Что означает статус Accountable

Cloudflare ввела обозначение Accountable для операторов ботов, которые способны отделить поисковую индексацию от использования данных для обучения и учитывать установленный владельцем сайта запрет.

Apple, Google и Microsoft либо уже соблюдают настройку Disallow AI Training, либо обязались сделать это в сроки, указанные Cloudflare. 5 Именно поэтому их смешанные краулеры — то есть инфраструктура, которая может использоваться для нескольких задач, — не обязательно будут полностью заблокированы после запрета обучения: поисковый обход может продолжиться, а обучение на контенте сайта должно быть исключено. 5

При этом доступное объявление Cloudflare не позволяет подтвердить все детали: конкретные даты внедрения у каждого оператора, поведение каждого отдельного краулера и полный набор технических обязательств. Владельцам сайтов стоит проверять собственные настройки и статистику обходов, а не предполагать одинаковое поведение всех сервисов.

Что остаётся доступным, а что можно запретить

Новая настройка рассчитана на такой сценарий: поисковая индексация со стороны смешанных краулеров Accountable остаётся возможной, тогда как обучение на том же контенте запрещается. Cloudflare прямо описывает эту функцию как способ сохранить присутствие сайта в поиске и не разрешать обучение тому же краулеру. 5

Из доступных материалов следуют три практических вывода:

• поисковый доступ для операторов со статусом Accountable можно сохранить при запрете обучения; 5
• категории Training и Agent настраиваются отдельно от Search; 10
• режим полной блокировки ИИ-ботов по-прежнему доступен, но это более грубый вариант для тех, кто хочет временно остановить весь такой трафик или ввести общий запрет. 7

Для сайтов, зависимых от органического трафика, это заметное изменение: отказ от обучения ИИ больше не должен автоматически означать отказ от поисковой видимости.

Рекламные страницы: какие настройки действуют с 15 сентября

Ранее Cloudflare сообщала, что с 15 сентября 2026 года для новых доменов, подключаемых к сервису, на страницах с рекламой категории Training и Agent блокируются по умолчанию. 10 Логика этого подхода ориентирована на интересы издателей: рекламно-монетизируемый контент может требовать более строгих настроек для ИИ-использования.

Однако у смешанных краулеров прежняя категоризация могла затронуть и поисковый обход. Механизм Disallow AI Training вместе со статусом Accountable должен устранить этот конфликт: владелец рекламной страницы может запретить обучение, сохранив индексирование в поиске там, где оператор способен соблюсти это различие. 5

Предоставленные источники не описывают полностью, как менялись настройки у всех уже существующих доменов и какие значения применяются к каждому типу аккаунтов. Владельцам действующих сайтов следует проверить свои правила непосредственно в конфигурации Cloudflare.

Google-Extended, Applebot-Extended и NOARCHIVE

Раздельные настройки по назначению решают ту же задачу, которую пытаются решить специальные директивы издателей: разрешить поиск, но не разрешить ИИ-использование контента.

Cloudflare упоминала собственные механизмы отказа Google, включая Google-Extended и nosnippet, но также сообщала об отзывах издателей, по которым эти механизмы не предотвращали все нежелательные варианты использования контента. 22

Предоставленные материалы не позволяют независимо подтвердить точный текущий охват и поведение Google-Extended, Applebot-Extended или директивы Bing NOARCHIVE. Но общий принцип понятен: отдельная директива отказа от обучения либо обязательство Accountable позволяют выразить позицию «индексируйте для поиска, но не используйте для тренировки». Простая блокировка краулера такого разделения обычно не обеспечивает.

Почему издателям нужны более точные правила

По оценке Cloudflare, за предыдущие 12 месяцев 80% ИИ-сканирований приходилось на обучение моделей, 18% — на поиск и только 2% — на действия от имени пользователя. Компания уточняет, что классифицирует цели по заявлениям операторов и отраслевым источникам. 16

Эти цифры объясняют, почему одной настройки «ИИ: разрешить или запретить» недостаточно. Издатель может быть заинтересован в поисковой индексации, не хотеть постоянного включения материалов в параметры модели при обучении и отдельно определять правила для запросов ИИ-агентов в реальном времени.

В 2025 году Cloudflare сообщала, что более 2,5 млн сайтов полностью запретили обучение ИИ через управляемый robots.txt или правило блокировки ИИ-краулеров. 13 Сентябрьское обновление даёт этим сайтам более гибкий вариант, если для них важна и поисковая аудитория.

Что дальше: контроль над ИИ-сводками

Cloudflare заявляла о планах дать издателям более детальный контроль над ИИ-генерируемыми сводками в начале 2027 года. 2 В опубликованных материалах подтверждено само направление, но не раскрыты окончательный дизайн продукта, механизм принуждения к соблюдению правил и конкретные опции.

Пока практический вывод такой: настройки Search, Training и Agent стоит рассматривать как три отдельных решения. Если для сайта критична органическая видимость, запрет на ИИ-обучение не следует автоматически приравнивать к запрету на поисковую индексацию — особенно для операторов со статусом Accountable. 5