Cloudflare и OpenAI объединяют усилия, чтобы сделать ИИ-поиск умнее с помощью сетевых сигналов

Эти сигналы помогают ИИ-поисковику решать, что сканировать, когда пересканировать и какой контент, вероятно, устарел или низкого качества, не загружая каждую страницу наугад . Результат — более эффективная индексация и более своевременные и точные ответы.

Широкая стратегия: реформа политики от 1 июля 2026 года

Пилот с OpenAI — часть гораздо более масштабного набора изменений политики и продуктов, которые Cloudflare объявила 1 июля 2026 года, назвав этот день "Днем независимости контента" (Content Independence Day) ^TBB.

Новая трехкатегорийная таксономия ИИ-краулеров

Cloudflare отошла от простой классификации "бот ИИ или нет" и теперь требует, чтобы все краулеры были отнесены к одной или нескольким из трех категорий ^TB:

Cloudflare "настоятельно рекомендует" компаниям, которые занимаются всеми тремя видами деятельности, запускать отдельные, идентифицируемые краулеры для каждой цели ^T.

Новые настройки по умолчанию (с 15 сентября 2026 года)

Начиная с 15 сентября 2026 года, Cloudflare введет новые настройки по умолчанию для всех новых клиентов, новых сайтов существующих клиентов и аккаунтов на бесплатном тарифе ^TBB:

• Обучающие краулеры → Заблокированы по умолчанию на страницах с рекламой.
• Агент-краулеры → Заблокированы по умолчанию на страницах с рекламой.
• Смешанные краулеры (боты, совмещающие поиск, обучение и/или функции агента в одном проходе) → Заблокированы по умолчанию на любой странице с рекламой ^TB.
• Поисковые краулеры → Разрешены по умолчанию, чтобы сайты оставались обнаруживаемыми в традиционном поиске.

Самое резкое изменение касается смешанных краулеров: эти боты собирают контент для поиска и обучения ИИ за один проход, не позволяя владельцам сайтов понять, для какой цели используются данные. Блокировка по умолчанию от Cloudflare вынуждает ИИ-компании либо разделить своих краулеров, либо потерять доступ к страницам с рекламой ^TB.

Pay Per Use: эксперименты с компенсацией издателям

1 июля 2026 года Cloudflare также объявила о переходе от более ранней модели Pay Per Crawl (анонсированной в 2025 году) к модели Pay Per Use ^BB:

• Pay Per Crawl (закрытое бета-тестирование в 2025 году): взимала с ИИ-компаний плату каждый раз, когда краулер запрашивал контент, используя HTTP-статусы и аутентификацию ^B.
• Pay Per Use (анонсирована в июле 2026 года): издатели получают оплату, когда их контент действительно используется для формирования ответа ИИ, а не просто когда он сканируется ^B. Это описывается как "тарифицируемая коммунальная услуга" для ИИ-поиска — ИИ-компания платит за предоставленную ценность, а не за простой доступ ^B.

Модель Pay Per Use все еще описывается как "ранний эксперимент" и "исследовательская программа" ^B. Ее точные цены, распределение доходов и сроки внедрения для широкой доступности пока не опубликованы.

Как все это сочетается

Исследовательский пилот с OpenAI, трехкатегорийная таксономия, блокировка смешанных краулеров по умолчанию и эксперименты с Pay Per Use являются частью одной последовательной стратегии ^TBB:

1. Принуждение к прозрачности – требуя отдельные краулеры для поиска, обучения и агентов, владельцы сайтов наконец-то могут видеть, что делает каждый бот.
2. Контроль для владельцев сайтов – настройки по умолчанию блокируют наиболее эксплуатационное поведение (обучение, агенты, смешанное использование), сохраняя при этом обнаруживаемость (поиск разрешен).
3. Создание уровня компенсации – Pay Per Use заменяет рухнувшую сделку "сканируй бесплатно, получай трафик" на оплату, привязанную к фактической генерации ответа ИИ.
4. Улучшение ИИ-поиска – пилот с OpenAI использует сигналы Cloudflare в реальном времени для сокращения бесполезного сканирования и повышения своевременности и точности ответов ИИ, что выгодно как издателям (лучшая атрибуция), так и ИИ-компаниям (снижение затрат на инфраструктуру).