Googlebot: один краулер для поиска и ИИ — почему издатели, регуляторы и Cloudflare требуют права отказа

Реакция CMA: всемирное первое требование к поведению

В октябре 2025 года британское Управление по конкуренции и рынкам (CMA) присвоило Google статус стратегического рыночного положения (SMS) в сфере общего поиска и поисковой рекламы, учитывая его примерно 90-процентную долю британского рынка . 3 июня 2026 года CMA ввело Требование к поведению издателей (CR) — первое обязательное предписание в соответствии с британским Законом о цифровых рынках, конкуренции и потребителях 2024 года .

Ключевые элементы CR:

• Отказ от ИИ для издателей. Впервые издатели могут запретить использование своего контента для питания ИИ-функций в Google Поиске (AI Overviews, AI Mode) без потери видимости в поиске .
• Отказ от тонкой настройки. С учётом отзывов консультаций Google также должен разрешить издателям отказываться от использования их контента для тонкой настройки ИИ-моделей .
• Обязательная атрибуция. Google должен чётко ставить ссылки на контент издателей в ИИ-генерированных результатах поиска .
• Прозрачность и соблюдение. Google обязан публиковать отчёты о соблюдении каждые шесть месяцев в течение первого года, с ключевыми данными и метриками, и уведомлять издателей о расширении контроля на новые ИИ-сервисы .
• Срок внедрения. У Google есть девять месяцев (до марта 2027 года) на реализацию всех изменений, хотя CMA ожидает ключевые инструменты раньше .

CMA явно рассмотрело, но отклонило разделение краулеров — принуждение Google использовать разные краулеры для индексации поиска и для сбора данных для ИИ — как непропорциональное. Регулятор пришёл к выводу, что затраты для Google будут существенно выше, а улучшенные инструменты контроля представляют собой столь же эффективное и более пропорциональное средство .

Позиция Cloudflare: разделение краулеров — единственное реальное решение

Cloudflare, обрабатывающая трафик примерно для пятой части интернета, представила подробный ответ на консультацию CMA, утверждая, что CR — это шаг вперёд, но не решает структурной проблемы . Её основные аргументы:

• CR передаёт контроль обратно Google. Издатели остаются зависимыми от проприетарных систем Google и не могут использовать сторонние инструменты блокировки (например, Crawl Control от Cloudflare), не рискуя позициями в поисковой выдаче .
• Разделение краулеров — единственное техническое решение. Google следует обязать использовать отдельный краулер для обучения и обоснования ИИ, чтобы издатели могли блокировать один, не вредя другому .
• Детальных инструментов недостаточно. Предложение CMA различает «обучение/обоснование ИИ» и «генеративные ИИ-функции поиска» технически запутанным образом, который большинство издателей не поймут .
• Масштаб проблемы. На долю Googlebot приходится примерно 50% всех сканирований веба, а ИИ-поиск Google сканирует в 3.2 раза больше контента, чем OpenAI .

Генеральный директор Cloudflare Мэтью Принс лично ездил в Лондон в октябре 2025 года, чтобы лоббировать в CMA этот подход, и с тех пор публично настаивает на «развязывании» поисковых и ИИ-краулеров . Cloudflare также объявила, что с 15 сентября 2026 года будет блокировать краулеры смешанного назначения на страницах с рекламой для соответствующих клиентов .

Текущее положение дел

• CMA ввело CR 3 июня 2026 года, впервые предоставив издателям инструмент отказа от ИИ . Основные обязательства по контролю вступают в силу 3 декабря 2026 года, и требование остаётся в силе до 10 октября 2030 года .
• Cloudflare продолжает утверждать, что CR недостаточен и только обязательное разделение краулеров восстановит подлинную автономию издателей .
• Google заявил, что тестирует новые инструменты, позволяющие издателям управлять использованием ИИ, и предупредил, что «ломка Поиска» принудительным разделением краулеров может навредить пользовательскому опыту . В своём ответе на консультацию CMA Google утверждает, что CR соблюдает правильный баланс .
• CMA оставил дверь открытой для дальнейших действий, заявив, что активно мониторит, как Google внедряет эти изменения, и при необходимости может предпринять дополнительные шаги .

Борьба вокруг краулера Google касается не только Великобритании. Решение CMA внимательно изучается регуляторами в ЕС, США и других юрисдикциях, и его итог может установить глобальный прецедент для пересечения поискового доминирования и обучения ИИ.