Один краулер, дві цілі: як Google-бот став конвеєром для ШІ та чому видавці б'ють на сполох

Відповідь CMA: перша у світі вимога до поведінки

У жовтні 2025 року британське Управління з конкуренції та ринків (CMA) визначило Google як такого, що має Стратегічний ринковий статус (SMS) у сфері загального пошуку та пошукової реклами, враховуючи його приблизно 90% частку на ринку пошуку Великої Британії . 3 червня 2026 року CMA запровадило Вимогу до поведінки видавців (Publisher Conduct Requirement, CR) — перше обов'язкове зобов'язання згідно з британським Законом про цифрові ринки, конкуренцію та споживачів 2024 року .

Ключові елементи CR:

• Відмова від ШІ для видавців. Вперше видавці можуть запобігти використанню свого контенту для живлення AI-функцій у Google Search (AI Overviews, AI Mode), не втрачаючи видимості в пошуку .
• Відмова від донавчання. Після консультацій Google також повинен дозволити видавцям відмовлятися від використання їхнього контенту для донавчання (fine-tuning) AI-моделей .
• Обов'язкове атрибутування. Google повинен чітко посилатися на контент видавців у AI-генерованих результатах пошуку .
• Прозорість та дотримання вимог. Google повинен публікувати звіти про дотримання вимог кожні шість місяців протягом першого року з ключовими даними та метриками, а також завчасно повідомляти видавців про поширення контролю на нові AI-сервіси .
• Термін впровадження. Google має дев'ять місяців (до березня 2027 року), щоб впровадити всі зміни, хоча CMA очікує ключові механізми контролю раніше .

CMA свідомо розглянуло, але відхилило вимогу розділення краулерів — змусити Google використовувати різні краулери для індексації пошуку та для поглинання AI — як непропорційну. Регулятор дійшов висновку, що витрати для Google були б значно вищими, а покращені механізми контролю є настільки ж ефективним і більш пропорційним засобом .

Позиція Cloudflare: розділення краулерів — єдиний реальний вихід

Cloudflare, який обробляє трафік приблизно для п'ятої частини вебу, подав детальну відповідь на консультацію CMA, стверджуючи, що CR є кроком вперед, але не вирішує структурної проблеми . Його основні аргументи:

• CR делегує контроль назад Google. Видавці залишаються залежними від пропрієтарних систем Google і не можуть використовувати сторонні інструменти блокування (наприклад, власний Crawl Control від Cloudflare) без ризику для позицій у пошуку .
• Розділення краулерів — єдине технічне рішення. Google слід зобов'язати використовувати окремий краулер для навчання та обґрунтування AI, щоб видавці могли блокувати один, не шкодячи іншому .
• Гранульованого контролю недостатньо. Пропозиція CMA розрізняє "навчання/обґрунтування AI" та "генеративні AI-функції пошуку" у технічно заплутаний спосіб, який більшість видавців не зрозуміють .
• Масштаб проблеми. Googlebot становить приблизно 50% всіх веб-сканувань, а AI-пошук Google зішкрібає у 3,2 раза більше контенту, ніж OpenAI .

Генеральний директор Cloudflare Метью Принс особисто їздив до Лондона в жовтні 2025 року, щоб лобіювати цей підхід у CMA, і відтоді публічно просуває "розв'язування" пошукових та AI-краулерів . Cloudflare також оголосив, що з 15 вересня 2026 року блокуватиме краулери змішаного призначення на сторінках з рекламою для відповідних клієнтів .

Поточний стан справ

• CMA запровадило CR 3 червня 2026 року, вперше надавши видавцям інструмент для відмови від ШІ . Основні зобов'язання щодо контролю набувають чинності 3 грудня 2026 року, а вимога залишається чинною до 10 жовтня 2030 року .
• Cloudflare продовжує стверджувати, що CR є недостатнім і що лише обов'язкове розділення краулерів відновить справжню автономію видавців .
• Google заявив, що тестує нові механізми контролю, які дозволять видавцям керувати використанням AI, і попередив, що "зламування Пошуку" шляхом примусового розділення краулерів може зашкодити досвіду користувачів . У власній відповіді на консультацію CMA Google стверджує, що CR досягає правильного балансу .
• CMA залишив двері відкритими для подальших дій, заявивши, що активно стежить за тим, як Google впроваджує ці зміни, і може вжити додаткових заходів у разі потреби .

Битва за краулер Google — це не лише історія Великої Британії. За рішенням CMA пильно стежать регулятори в ЄС, США та інших юрисдикціях, і результат може створити глобальний прецедент для того, як перетинаються домінування у пошуку та навчання ШІ.