Cloudflare разделил ИИ-краулеры: почему блокировка обучения может затронуть и поиск

Cloudflare с 15 сентября 2026 года проводит более чёткую границу между обычной поисковой индексацией и использованием веб-контента для ИИ. Для новых доменов, подключаемых к сети Cloudflare, краулеры категорий Training и Agent по умолчанию блокируются на страницах, где показывается реклама. Краулеры категории Search при этом остаются разрешёнными. 215

Для издателей и владельцев сайтов это означает возможность сохранить поисковую видимость и потенциальный реферальный трафик, одновременно ограничив автоматизированные системы, которые обучают модели на контенте либо получают его для ИИ-ассистента в реальном времени.

Базовое правило: блокировка Training и Agent на страницах с рекламой

Новый режим по умолчанию действует для новых доменов, подключаемых к Cloudflare. На страницах, где Cloudflare определяет наличие рекламы, блокируются две категории автоматизированного трафика:

• Training — краулеры, забирающие контент для обучения или дообучения модели;
• Agent — автоматизированная активность, выполняющая действия в реальном времени от имени пользователя: например, боты, получающие страницы для чата, и агенты, управляющие браузером. 13

Категория Search по умолчанию разрешена. Cloudflare относит к ней обход и индексацию материалов, чтобы сервис мог отвечать на вопросы о них позднее; компания связывает такой сценарий с ожидаемым реферальным трафиком или иной справедливой компенсацией для издателя. 13

Иными словами, это не тотальный запрет ИИ на сайте. По умолчанию ограничены только Training и Agent — и только на страницах с рекламой. 215

Какие клиенты Cloudflare подпадают под новые правила

В официальной документации Cloudflare говорится, что новый режим по умолчанию распространяется на домены, которые заново подключаются к сети компании. 215 В публикациях о запуске также указываются новые сайты, добавленные действующими клиентами, а также аккаунты бесплатного тарифа, где настройки не менялись вручную. 23

Владельцам уже давно работающих зон не стоит считать, что правило автоматически применилось ко всем их доменам. Практический результат зависит от статуса подключения домена, тарифа и текущей конфигурации. Надёжнее всего открыть настройки ИИ-краулеров для конкретной зоны и проверить активную политику. 23

Три категории трафика, которыми можно управлять

Cloudflare делит автоматизированный трафик по характеру поведения, а не относит всех ИИ-ботов к одной общей группе. Эти три категории настраиваются независимо друг от друга: 13

Категория	Что включает	Режим по умолчанию для новых доменов на страницах с рекламой
Search	Обход и индексация контента для будущих ответов на запросы	Разрешено
Training	Сбор контента для обучения или дообучения модели	Заблокировано
Agent	Автоматические действия в реальном времени от имени пользователя	Заблокировано

Для каждой категории доступны три варианта:

1. Разрешить трафик.
2. Блокировать на страницах с рекламой.
3. Блокировать на всех страницах. 23

Такая детализация позволяет, например, оставить поисковую индексацию доступной, но закрыть Training-краулерам весь сайт — либо использовать более узкое ограничение только для монетизируемых рекламой страниц.

Главный SEO-риск: боты с несколькими функциями

Название категории не гарантирует, что бот выполняет лишь одну задачу. По данным Cloudflare, краулеры, совмещающие Search и Training, оцениваются по всем своим видам поведения, а доступ определяется наиболее строгим из применимых правил. 2615

Это важно для SEO: если сайт блокирует Training, бот, который Cloudflare относит одновременно к Search и Training, может лишиться и обычного доступа для поискового обхода. В документации Cloudflare и материалах о запуске среди релевантных многофункциональных краулеров названы Googlebot, Applebot и BingBot. 26

Поэтому настройка «разрешить Search» сама по себе не всегда сохраняет доступ боту, чья деятельность также классифицирована как Training. Прежде чем включать полный запрет Training на уровне всего сайта, стоит оценить возможные последствия для индексации в поиске. 24

Что меняется для старой настройки «Block AI bots»

Cloudflare указывал, что конфигурации, блокирующие ИИ-обучение, включая устаревшую опцию «Block AI bots», также применяются к смешанным краулерам Search-and-Training. 2 Это особенно существенно для сайтов, которые включали старый общий переключатель, предполагая, что он затронет только непоисковую ИИ-активность.

В более позднем обзоре сентябрьского запуска сообщалось о подходе «Disallow AI Training»: он должен выражать запрет на обучение, но сохранять поисковый доступ Googlebot, Applebot и BingBot, если компания, управляющая краулером, имеет обозначение «Accountable». Поскольку фактическое поведение и порядок миграции могут зависеть от выбранного режима, администраторам следует проверять актуальный элемент управления в панели Cloudflare, а не ориентироваться на название старого переключателя. 4

Зачем Cloudflare отделяет поиск от ИИ-потребления контента

За этим разделением стоит проблема издателей. Традиционные поисковые системы обходят и индексируют страницы, но могут направлять пользователей обратно к первоисточнику. Генеративные ИИ-сервисы, напротив, способны использовать материалы для обучения модели или показывать извлечённые ответы в собственном интерфейсе — с меньшей прямой ценностью в виде переходов для сайта-источника.

Cloudflare описывает Search как трафик, от которого издатель должен ожидать переходов или эквивалентной компенсации; категории Training и Agent, по её определению, используют либо задействуют контент иначе. 13 Эти настройки должны помочь владельцам сохранить полезную для них автоматизацию и ограничить ту, которую они не считают взаимовыгодной.

Таким образом, вопрос не сводится к тому, является ли бот «ИИ». Важнее, поддерживает ли его работа обнаружение контента и возвращает ли сайту ценность — или преимущественно потребляет материалы для обучения либо ИИ-задач в реальном времени. 13

Что стоит сделать владельцу сайта

Перед изменением правил полезно проверить последствия для каждой категории:

• Оставьте Search разрешённым, если для вас приоритетны индексация и потенциальный реферальный трафик.
• Выберите блокировку на страницах с рекламой, если хотите защитить монетизируемые страницы без полного запрета по сайту.
• Включайте блокировку на всех страницах только после проверки, не совмещает ли конкретный краулер Search и Training.
• Пересмотрите устаревшую настройку «Block AI bots», особенно если для сайта важна видимость в поиске Google, Apple или Bing. 236

Сентябрьские настройки Cloudflare дают издателям больше контроля, но классификация многофункциональных краулеров делает их не только вопросом ИИ-политики, но и решением с возможными последствиями для SEO.