Cloudflare переворачивает интернет: с 15 сентября 2026 года AI-краулеры будут заблокированы по умолчанию

Начиная с 15 сентября 2026 года, Cloudflare будет блокировать любые AI-краулеры, которые объединяют поисковую индексацию с обучением AI или функциями агентов под одним user-agent, — если только издатель явно не даст на это согласие .

Это не просто изменение в настройках. Cloudflare, управляющий примерно 20% мирового веб-трафика, переворачивает стандартную модель интернета: от «opt-out» (краулеры разрешены, если их не заблокировать) к «opt-in» для AI-специфичных краулеров . Для издателей это означает корпоративную защиту от ботов «из коробки». Для AI-компаний — конец бесплатного масштабного сбора данных с сайтов на Cloudflare.

Суть изменений: дедлайн 15 сентября 2026 года

Cloudflare установил 15 сентября 2026 года в качестве крайнего срока для AI-компаний: они должны разделить свои веб-краулеры на отдельные, идентифицированные категории в зависимости от того, как будет использоваться собранный контент. Любой краулер, который не заявляет четко о своей цели или объединяет поисковую индексацию с обучением AI под одним user-agent, будет заблокирован по умолчанию на трафике через Cloudflare, особенно на страницах, где показывается реклама .

После этой даты новые клиенты Cloudflare и вновь созданные сайты получат настройки по умолчанию, которые разрешают только четко идентифицированные поисковые краулеры, блокируя при этом краулеры для обучения AI и AI-агентов, если только издатель явно не согласится на них . Существующие пользователи бесплатного тарифа, которые не обновят свои настройки вручную, также будут автоматически переведены на новые параметры по умолчанию .

1. Новые настройки по умолчанию: от Opt-Out к Opt-In

Ранее веб работал по принципу opt-out: краулеры были разрешены, если сайт явно не блокировал их через robots.txt. Cloudflare перевернул эту парадигму, введя opt-in для AI-специфичных краулеров .

• Для новых клиентов и новых сайтов: AI-краулеры, используемые для обучения или действий агентов, блокируются по умолчанию. Издатели должны активно их разрешать .
• Для существующих клиентов: Настройки не меняются автоматически, но владельцы могут (и им настоятельно рекомендуется) перейти на новый трехкатегорийный контроль через панель управления Cloudflare .
• На страницах с рекламой: Краулеры смешанного типа (те, что одновременно индексируют для поиска и собирают данные для обучения AI) будут заблокированы по умолчанию, поскольку политика по умолчанию рассматривает немаркированный или «смешанный» трафик как трафик для обучения/агентов .

2. Система из трех категорий краулеров: Поиск, Агент, Обучение

Cloudflare внедрил новую классификацию, которая позволяет издателям устанавливать независимые правила для трех типов поведения ботов. Это доступно всем клиентам, включая пользователей бесплатного тарифа :

Категория	Определение	Настройка по умолчанию (с 15 сентября)
Поиск	Краулеры, которые индексируют контент, чтобы он появлялся в результатах поиска и направлял реферальный трафик обратно издателю.	Разрешены по умолчанию — эти боты приносят читателей и рекламный доход.
Агент	Боты, действующие от имени пользователя (например, AI-ассистенты, выполняющие задачи, покупки или бронирование).	Заблокированы по умолчанию — издатели должны дать согласие.
Обучение	Боты, которые собирают контент исключительно для обучения AI-моделей, не отправляя обратно пользователей или атрибуцию.	Заблокированы по умолчанию — издатели должны дать согласие.

Теперь издатели могут установить политику «Разрешить Поиск, Заблокировать Обучение, Заблокировать Агент» из единой панели управления, даже на бесплатном тарифе . Это гораздо более детальный контроль, чем традиционный robots.txt, который позволял только разрешить/запретить всё для одного user-agent. В документации Cloudflare Поиск определяется как активность, при которой владельцы сайтов «должны ожидать реферального трафика или иной справедливой компенсации» .

3. Переход от Pay Per Crawl к Pay Per Use

Cloudflare впервые представил Pay Per Crawl в июле 2025 года как закрытую бета-версию — маркетплейс, где издатели могли взимать плату с AI-компаний за каждый запрос, используя HTTP-статус 402 («Требуется оплата») для согласования доступа . Эта система позволяла издателям возвращать ответ 402 с информацией о цене, когда неавторизованный краулер запрашивал контент .

К апрелю 2026 года, в рамках «Недели агентов» (13–17 апреля), компания развила это в более широкую модель Pay Per Use, объединив фреймворк Pay Per Crawl в единую консоль управления, доступную на всех тарифных планах . Ключевое отличие:

• Pay Per Crawl (бета 2025): Модель микротранзакций за каждый запрос — каждый запрос краулера запускал процесс оплаты через HTTP-ответ 402 .
• Pay Per Use (GA 2026): Более гибкая система, где издатели могут устанавливать условия: фиксированная лицензионная плата, ставки за запрос или подписной доступ. AI-компании могут управлять доступом программно через систему управления ботами и WAF-правила Cloudflare .

Реализация на Stack Overflow (февраль 2026) продемонстрировала рабочую версию: их программа лицензирования данных использует категоризацию ботов Cloudflare для отправки ответа 402 неавторизованным краулерам, монетизируя в масштабе без индивидуальных контрактов .

Как это меняет ландшафт

Для издателей

• Новый источник дохода: AI-компании теперь должны платить за данные для обучения с сайтов на Cloudflare, а не собирать их бесплатно .
• Детальный контроль: Издатели могут оставить поисковых ботов (которые приносят рекламный трафик), блокируя при этом ботов для обучения и агентов — защищая как рекламную выручку, так и ценность контента .
• Защита по умолчанию: Небольшие издатели, которые не могли позволить себе индивидуальное управление ботами, теперь получают корпоративную защиту от AI-краулеров «из коробки» .

Для AI-компаний

• Рост стоимости данных для обучения: «Бесплатный обед» в виде сбора данных в масштабе всей сети заканчивается для сайтов на Cloudflare (~20% веба) . AI-компании должны либо платить издателям, либо заключать лицензионные соглашения.
• Кризис идентичности краулеров: AI-компании должны до 15 сентября перестроить инфраструктуру своих краулеров, чтобы разделить поисковый, обучающий и агентский трафик на отдельные, идентифицируемые user-agent'ы — иначе они рискуют быть полностью заблокированными .
• Google пострадает сильнее всех: Краулер Google исторически выполнял двойную функцию (поисковая индексация и обучение AI для Gemini/SGE). Политика Cloudflare вынуждает Google либо разделить свой краулер, либо его Googlebot будет заблокирован на страницах с рекламой, использующих Cloudflare .

Более широкое влияние на индустрию

• Стандартообразующий шаг: Cloudflare фактически определяет новый протокол этикета для AI-краулеров. Другие CDN и хостинг-провайдеры могут последовать этому примеру .
• Политика сигналов контента: Cloudflare внедрил новый набор машиночитаемых директив в robots.txt, которые выходят за рамки доступа на уровне страниц, позволяя издателям указывать, может ли их контент использоваться для поисковой индексации, обучения AI или AI-агентами . Это расширение традиционного robots.txt для контроля использования после доступа, а не только разрешения на сканирование.