Пилотный проект Cloudflare-OpenAI

Что это такое

Cloudflare и OpenAI запускают совместный исследовательский проект, объединяющий данные периферийной сети Cloudflare с передовыми поисковыми возможностями OpenAI . Генеральный директор Cloudflare Мэттью Принс (Matthew Prince) заявил, что цель — использовать "детальные сетевые сигналы, чтобы найти лучшие способы повысить эффективность ИИ-поиска, помогая пользователям быстрее получать качественные ответы" .

Как это работает (сигналы реального времени)

Пилот использует анонимные агрегированные сигналы сети Cloudflare, через которую проходит более 20% мирового веб-трафика . Конкретные сигналы включают:

• Свежесть контента – как недавно страница была обновлена или создана.
• Качество трафика – паттерны, указывающие на то, что страница активно используется и пользуется доверием.
• Фактические данные об изменениях на странице – меняется ли контент на сервере на самом деле и как часто, вместо того чтобы полагаться на временные метки в sitemap.

Эти сигналы помогают ИИ-поисковику решать, что сканировать, когда пересканировать и какой контент, вероятно, устарел или низкого качества, не загружая каждую страницу наугад . Результат — более эффективная индексация и более своевременные и точные ответы.

Широкая стратегия: реформа политики от 1 июля 2026 года

Пилот с OpenAI — часть гораздо более масштабного набора изменений политики и продуктов, которые Cloudflare объявила 1 июля 2026 года, назвав этот день "Днем независимости контента" (Content Independence Day) .

Новая трехкатегорийная таксономия ИИ-краулеров

Cloudflare отошла от простой классификации "бот ИИ или нет" и теперь требует, чтобы все краулеры были отнесены к одной или нескольким из трех категорий :

Cloudflare "настоятельно рекомендует" компаниям, которые занимаются всеми тремя видами деятельности, запускать отдельные, идентифицируемые краулеры для каждой цели .

Новые настройки по умолчанию (с 15 сентября 2026 года)

Начиная с 15 сентября 2026 года, Cloudflare введет новые настройки по умолчанию для всех новых клиентов, новых сайтов существующих клиентов и аккаунтов на бесплатном тарифе :

• Обучающие краулеры → Заблокированы по умолчанию на страницах с рекламой.
• Агент-краулеры → Заблокированы по умолчанию на страницах с рекламой.
• Смешанные краулеры (боты, совмещающие поиск, обучение и/или функции агента в одном проходе) → Заблокированы по умолчанию на любой странице с рекламой .
• Поисковые краулеры → Разрешены по умолчанию, чтобы сайты оставались обнаруживаемыми в традиционном поиске.

Самое резкое изменение касается смешанных краулеров: эти боты собирают контент для поиска и обучения ИИ за один проход, не позволяя владельцам сайтов понять, для какой цели используются данные. Блокировка по умолчанию от Cloudflare вынуждает ИИ-компании либо разделить своих краулеров, либо потерять доступ к страницам с рекламой .

Pay Per Use: эксперименты с компенсацией издателям

1 июля 2026 года Cloudflare также объявила о переходе от более ранней модели Pay Per Crawl (анонсированной в 2025 году) к модели Pay Per Use :

• Pay Per Crawl (закрытое бета-тестирование в 2025 году): взимала с ИИ-компаний плату каждый раз, когда краулер запрашивал контент, используя HTTP-статусы и аутентификацию .
• Pay Per Use (анонсирована в июле 2026 года): издатели получают оплату, когда их контент действительно используется для формирования ответа ИИ, а не просто когда он сканируется . Это описывается как "тарифицируемая коммунальная услуга" для ИИ-поиска — ИИ-компания платит за предоставленную ценность, а не за простой доступ .

Модель Pay Per Use все еще описывается как "ранний эксперимент" и "исследовательская программа" . Ее точные цены, распределение доходов и сроки внедрения для широкой доступности пока не опубликованы.

Как все это сочетается

Исследовательский пилот с OpenAI, трехкатегорийная таксономия, блокировка смешанных краулеров по умолчанию и эксперименты с Pay Per Use являются частью одной последовательной стратегии :

1. Принуждение к прозрачности – требуя отдельные краулеры для поиска, обучения и агентов, владельцы сайтов наконец-то могут видеть, что делает каждый бот.
2. Контроль для владельцев сайтов – настройки по умолчанию блокируют наиболее эксплуатационное поведение (обучение, агенты, смешанное использование), сохраняя при этом обнаруживаемость (поиск разрешен).
3. Создание уровня компенсации – Pay Per Use заменяет рухнувшую сделку "сканируй бесплатно, получай трафик" на оплату, привязанную к фактической генерации ответа ИИ.
4. Улучшение ИИ-поиска – пилот с OpenAI использует сигналы Cloudflare в реальном времени для сокращения бесполезного сканирования и повышения своевременности и точности ответов ИИ, что выгодно как издателям (лучшая атрибуция), так и ИИ-компаниям (снижение затрат на инфраструктуру).

Пилотный проект Cloudflare-OpenAI

Что это такое

Cloudflare и OpenAI запускают совместный исследовательский проект, объединяющий данные периферийной сети Cloudflare с передовыми поисковыми возможностями OpenAI . Генеральный директор Cloudflare Мэттью Принс (Matthew Prince) заявил, что цель — использовать "детальные сетевые сигналы, чтобы найти лучшие способы повысить эффективность ИИ-поиска, помогая пользователям быстрее получать качественные ответы" .

Как это работает (сигналы реального времени)

Пилот использует анонимные агрегированные сигналы сети Cloudflare, через которую проходит более 20% мирового веб-трафика . Конкретные сигналы включают:

• Свежесть контента – как недавно страница была обновлена или создана.
• Качество трафика – паттерны, указывающие на то, что страница активно используется и пользуется доверием.
• Фактические данные об изменениях на странице – меняется ли контент на сервере на самом деле и как часто, вместо того чтобы полагаться на временные метки в sitemap.

Эти сигналы помогают ИИ-поисковику решать, что сканировать, когда пересканировать и какой контент, вероятно, устарел или низкого качества, не загружая каждую страницу наугад . Результат — более эффективная индексация и более своевременные и точные ответы.

Широкая стратегия: реформа политики от 1 июля 2026 года

Пилот с OpenAI — часть гораздо более масштабного набора изменений политики и продуктов, которые Cloudflare объявила 1 июля 2026 года, назвав этот день "Днем независимости контента" (Content Independence Day) .

Новая трехкатегорийная таксономия ИИ-краулеров

Cloudflare отошла от простой классификации "бот ИИ или нет" и теперь требует, чтобы все краулеры были отнесены к одной или нескольким из трех категорий :

Cloudflare "настоятельно рекомендует" компаниям, которые занимаются всеми тремя видами деятельности, запускать отдельные, идентифицируемые краулеры для каждой цели .

Новые настройки по умолчанию (с 15 сентября 2026 года)

Начиная с 15 сентября 2026 года, Cloudflare введет новые настройки по умолчанию для всех новых клиентов, новых сайтов существующих клиентов и аккаунтов на бесплатном тарифе :

• Обучающие краулеры → Заблокированы по умолчанию на страницах с рекламой.
• Агент-краулеры → Заблокированы по умолчанию на страницах с рекламой.
• Смешанные краулеры (боты, совмещающие поиск, обучение и/или функции агента в одном проходе) → Заблокированы по умолчанию на любой странице с рекламой .
• Поисковые краулеры → Разрешены по умолчанию, чтобы сайты оставались обнаруживаемыми в традиционном поиске.

Самое резкое изменение касается смешанных краулеров: эти боты собирают контент для поиска и обучения ИИ за один проход, не позволяя владельцам сайтов понять, для какой цели используются данные. Блокировка по умолчанию от Cloudflare вынуждает ИИ-компании либо разделить своих краулеров, либо потерять доступ к страницам с рекламой .

Pay Per Use: эксперименты с компенсацией издателям

1 июля 2026 года Cloudflare также объявила о переходе от более ранней модели Pay Per Crawl (анонсированной в 2025 году) к модели Pay Per Use :

• Pay Per Crawl (закрытое бета-тестирование в 2025 году): взимала с ИИ-компаний плату каждый раз, когда краулер запрашивал контент, используя HTTP-статусы и аутентификацию .
• Pay Per Use (анонсирована в июле 2026 года): издатели получают оплату, когда их контент действительно используется для формирования ответа ИИ, а не просто когда он сканируется . Это описывается как "тарифицируемая коммунальная услуга" для ИИ-поиска — ИИ-компания платит за предоставленную ценность, а не за простой доступ .

Модель Pay Per Use все еще описывается как "ранний эксперимент" и "исследовательская программа" . Ее точные цены, распределение доходов и сроки внедрения для широкой доступности пока не опубликованы.

Как все это сочетается

Исследовательский пилот с OpenAI, трехкатегорийная таксономия, блокировка смешанных краулеров по умолчанию и эксперименты с Pay Per Use являются частью одной последовательной стратегии :

1. Принуждение к прозрачности – требуя отдельные краулеры для поиска, обучения и агентов, владельцы сайтов наконец-то могут видеть, что делает каждый бот.
2. Контроль для владельцев сайтов – настройки по умолчанию блокируют наиболее эксплуатационное поведение (обучение, агенты, смешанное использование), сохраняя при этом обнаруживаемость (поиск разрешен).
3. Создание уровня компенсации – Pay Per Use заменяет рухнувшую сделку "сканируй бесплатно, получай трафик" на оплату, привязанную к фактической генерации ответа ИИ.
4. Улучшение ИИ-поиска – пилот с OpenAI использует сигналы Cloudflare в реальном времени для сокращения бесполезного сканирования и повышения своевременности и точности ответов ИИ, что выгодно как издателям (лучшая атрибуция), так и ИИ-компаниям (снижение затрат на инфраструктуру).