Cloudflare змінив правила для AI-краулерів: головне для власників сайтів

Cloudflare з 15 вересня 2026 року запровадив нові типові правила доступу AI-краулерів до сайтів. Для нових доменів, які підключаються до мережі Cloudflare, на сторінках із рекламою за замовчуванням блокуються категорії Training і Agent. Натомість Search залишається дозволеною. 215

Це не повна заборона «штучного інтелекту» на сайті. Cloudflare пропонує власникам розділяти автоматизований трафік за тим, для чого він використовує контент: для пошукової індексації, навчання моделей або виконання дій у реальному часі.

Що саме блокується за замовчуванням

Нові правила стосуються сторінок, на яких Cloudflare виявляє рекламу. На таких сторінках типовим налаштуванням є блокування двох видів трафіку:

• Training — краулери, що збирають контент для навчання або донавчання моделей.
• Agent — автоматизовані системи, які діють у реальному часі від імені користувача: наприклад, чат-боти, що отримують сторінку на запит, або браузерні агенти. 13

Категорія Search за замовчуванням не блокується. Cloudflare відносить до неї сканування й індексацію контенту, щоб сервіс міг відповідати на запити пізніше. Компанія пов’язує такий сценарій з очікуваним реферальним трафіком або іншою справедливою компенсацією для видавця. 13

Отже, правило має дві межі: воно стосується саме Training і Agent, а також саме сторінок із рекламою. 215

Кого стосуються зміни

В офіційній документації Cloudflare йдеться про домени, що вперше підключаються до її мережі. 215 У матеріалах про запуск також зазначалося, що до цієї групи можуть належати нові сайти, які додають чинні клієнти, а також облікові записи безплатного тарифу, якщо їхні налаштування не змінювали вручну. 23

Для вже наявних сайтів не варто припускати, що політика автоматично стала однаковою всюди. Результат залежить від статусу підключення домену, тарифу та чинної конфігурації. Найнадійніший спосіб перевірити ситуацію — переглянути керування AI-краулерами в налаштуваннях конкретної зони Cloudflare. 23

Три категорії трафіку, якими можна керувати

Cloudflare більше не трактує весь пов’язаний із ШІ автоматизований трафік як одну групу. Натомість вона виокремлює три незалежно налаштовувані типи поведінки: 13

Категорія	Що означає	Типове правило для нових доменів на сторінках із рекламою
Search	Сканування або індексація контенту для відповідей на запити пізніше	Дозволено
Training	Збір матеріалів для навчання чи донавчання моделі	Заблоковано
Agent	Автоматизовані дії в реальному часі від імені користувача	Заблоковано

Для кожної категорії доступні три варіанти політики:

1. Дозволити трафік.
2. Блокувати на сторінках із рекламою.
3. Блокувати на всіх сторінках. 23

Наприклад, видавець може не перешкоджати пошуковій індексації, але заборонити Training на всьому сайті. Або ж застосувати м’якше обмеження лише до сторінок, які монетизуються рекламою.

Головний нюанс: багатофункціональні краулери можуть вплинути на SEO

Назва категорії не гарантує, що бот виконує тільки одну функцію. Cloudflare повідомляє: якщо краулер поєднує Search і Training, доступ визначається з урахуванням усіх його видів поведінки, а чинним стає найсуворіше застосовне правило. 2615

Практичний наслідок: якщо сайт блокує Training, краулер, який Cloudflare класифікує одночасно як Search і Training, може втратити й доступ для звичайного пошукового сканування. Серед важливих прикладів у документації та висвітленні запуску названо Googlebot, Applebot і BingBot. 26

Тому опція «дозволити Search» не завжди зберігає доступ боту, який також віднесено до Training. Перш ніж вмикати повне блокування навчання моделей, варто оцінити можливі наслідки для індексації та пошукової видимості сайту. 24

Що зі старим перемикачем «Block AI bots»

Cloudflare зазначала, що конфігурації, які блокують AI-навчання, зокрема застарілий перемикач «Block AI bots», також застосовуються до змішаних краулерів Search і Training. 2

Це важливо для адміністраторів, які увімкнули старе широке блокування, вважаючи, що воно стосуватиметься лише непошукового AI-трафіку.

Пізніші повідомлення про вересневе оновлення описували новий підхід «Disallow AI Training»: він має фіксувати небажання власника дозволяти навчання моделей, водночас залишаючи Googlebot, Applebot і BingBot доступ для пошуку, якщо такий краулер позначений як «Accountable». Оскільки фактична поведінка та шлях міграції можуть залежати від обраного параметра, слід перевіряти поточну опцію в панелі Cloudflare, а не орієнтуватися лише на назву старого перемикача. 4

Чому Cloudflare відокремлює пошук від AI-споживання контенту

Для видавців традиційна модель пошуку означала обмін: пошукова система сканує й індексує сторінки, а сайт отримує переходи читачів. Генеративні AI-сервіси можуть використати матеріал для навчання моделі або сформувати відповідь у власному інтерфейсі — без прямого переходу до першоджерела.

Cloudflare описує Search як трафік, від якого видавець має очікувати рефералів або еквівалентної компенсації. Категорії Training і Agent охоплюють інші способи використання контенту. 13 Логіка цих контролів — дати власникам сайтів змогу зберегти автоматизований трафік, який вони вважають корисним, і обмежити той, що цінності не повертає.

Отже, ключове питання тут не просто в тому, чи є бот «AI». Важливо, чи його робота допомагає користувачам знаходити джерело та повертає сайту цінність, чи переважно споживає його матеріали для навчання або виконання AI-завдань у реальному часі. 13

Що варто зробити власникам сайтів

Перед зміною політики варто перевірити наслідки не за назвою бота, а за його поведінкою:

• залиште Search дозволеним, якщо для вас пріоритетні індексація та потенційний реферальний трафік;
• оберіть блокування на сторінках із рекламою, якщо хочете захистити монетизовані матеріали без повної заборони для всього сайту;
• використовуйте блокування на всіх сторінках лише після оцінки того, чи не поєднує краулер Search і Training;
• перегляньте стару конфігурацію Block AI bots, особливо якщо для сайту критично важлива видимість у пошуку Google, Apple або Bing. 236

Нові типові налаштування Cloudflare дають видавцям детальніший контроль, але через правила для багатофункціональних ботів це рішення є не лише політикою щодо ШІ, а й потенційно важливим SEO-рішенням.