Cloudflare перевертає інтернет: із 15 вересня 2026 року ШІ-сканери мають платити або будуть заблоковані

Основна зміна: Дедлайн 15 вересня 2026 року

Cloudflare встановив 15 вересня 2026 року як крайній термін для ШІ-компаній, щоб вони розділили своїх веб-сканерів на окремі, чітко ідентифіковані категорії залежно від того, як буде використовуватись зібраний вміст. Будь-який сканер, який не оголошує чітко свою мету або поєднує пошукову індексацію з навчанням ШІ під одним ідентифікатором, буде заблоковано за замовчуванням на трафіку, що проходить через Cloudflare, особливо на сторінках, які показують рекламу .

Після цієї дати нові клієнти Cloudflare та новостворені веб-сайти матимуть налаштування за замовчуванням, які дозволяють лише чітко ідентифіковані пошукові сканери, блокуючи при цьому сканери для навчання ШІ та ШІ-агентів, якщо видавець явно не погодиться на це . Існуючі безкоштовні клієнти, які не оновлять свої налаштування вручну, також будуть переведені на нові стандартні налаштування .

1. Нові стандартні налаштування: Від «відмови» до «явного дозволу»

Раніше в інтернеті діяла норма «відмови»: сканерам було дозволено все, якщо веб-сайт явно не блокував їх через robots.txt. Cloudflare змінив це на парадигму «явного дозволу» для ШІ-сканерів .

• Для нових клієнтів і нових сайтів: ШІ-сканери, що використовуються для навчання або дій агентів, заблоковані за замовчуванням. Видавці повинні активно вмикати їх .
• Для існуючих клієнтів: Налаштування не змінюються автоматично, але власники можуть (і їм наполегливо рекомендують) перейти на нові трирівневі елементи керування в панелі керування Cloudflare .
• На сторінках з рекламою: Сканери змішаного використання (ті, що одночасно індексують для пошуку та збирають дані для навчання ШІ) будуть заблоковані за замовчуванням, оскільки політика за замовчуванням трактує немаркований або «змішаний» трафік як трафік для навчання/агентів .

2. Система трьох категорій: Пошук, Агент, Навчання

Cloudflare запровадив нову класифікацію, яка дозволяє видавцям встановлювати незалежні правила для трьох типів поведінки ботів, доступну всім клієнтам, включаючи користувачів безкоштовного плану :

Тепер видавці можуть встановити політику, наприклад, «Дозволити Пошук, Заблокувати Навчання, Заблокувати Агентів» в одній панелі керування, навіть на безкоштовному плані . Це набагато гнучкіше, ніж традиційний robots.txt, який дозволяв лише загальний дозвіл/заборону для кожного ідентифікатора бота. Власна документація Cloudflare визначає «Пошук» як діяльність, за якої власники сайтів «повинні очікувати реферальний трафік або іншу справедливу компенсацію» .

3. Перехід від «Плати за кожен запит» до «Плати за використання»

Cloudflare вперше представив Pay Per Crawl у липні 2025 року як закрите бета-тестування — ринок, де видавці могли стягувати плату з ШІ-компаній за кожен запит, використовуючи HTTP-код 402 («Потрібна оплата») для узгодження доступу . Ця система дозволяла видавцям повертати відповідь 402 з інформацією про ціну, коли несанкціонований сканер запитував вміст .

До квітня 2026 року, під час так званого Тижня агентів (Agents Week, 13-17 квітня), компанія еволюціонувала це в ширшу модель Pay Per Use, об'єднавши структуру «плати за запит» в єдину консоль керування, доступну на всіх тарифних планах . Ключова відмінність:

• Pay Per Crawl (бета, 2025): Модель мікроплатежів за кожен запит — кожен запит на сканування ініціював перемовини про оплату через HTTP-відповіді 402 .
• Pay Per Use (загальна доступність, 2026): Більш гнучка система, де видавці можуть встановлювати умови — фіксовану ліцензійну плату, ставки за сканування або підписку — а ШІ-компанії можуть керувати доступом програмно через систему керування ботами Cloudflare та правила WAF .

Впровадження Stack Overflow (лютий 2026 року) продемонструвало роботу цієї моделі в продакшені: їхня програма ліцензування даних використовує категоризацію ботів Cloudflare для надсилання відповідей 402 неавторизованим сканерам, монетизуючи доступ у масштабі без індивідуальних контрактів .

Як це змінює ландшафт

Для видавців

• Нове джерело доходу: ШІ-компанії тепер повинні платити за дані для навчання з сайтів, які використовують Cloudflare, а не збирати їх безкоштовно .
• Гнучкий контроль: Видавці можуть залишити пошукових ботів (які приносять рекламний трафік), одночасно блокуючи ботів для навчання/агентів — захищаючи як дохід від реклами, так і цінність контенту .
• Захист за замовчуванням: Невеликі видавці, які не могли дозволити собі індивідуальне керування ботами, тепер отримують вбудований захист корпоративного рівня від ШІ-сканерів .

Для ШІ-компаній

• Вартість даних для навчання зростає: «Безкоштовний обід» масштабного веб-скрапінгу закінчується для сайтів у мережі Cloudflare (~20% вебу) . ШІ-компанії повинні або платити видавцям, або укладати ліцензійні угоди.
• Криза ідентичності сканерів: ШІ-компанії повинні до 15 вересня модернізувати свою інфраструктуру сканерів, щоб розділити пошуковий, навчальний та агентський трафік на окремі, ідентифіковані ідентифікатори — інакше ризикують бути повністю заблокованими .
• Google постраждає найбільше: Сканер Google історично виконував подвійну функцію (пошукова індексація та навчання ШІ для Gemini/SGE). Політика Cloudflare змушує Google або розділити свій сканер, або ризикувати тим, що його Googlebot буде заблоковано на сайтах з рекламою, які використовують Cloudflare .

Ширший вплив на індустрію

• Встановлення стандарту: Cloudflare фактично визначає новий протокол етикету для ШІ-сканерів. Інші CDN та хостинг-провайдери можуть піти за цим прикладом .
• Політика сигналів контенту: Cloudflare запровадив новий набір машиночитаних директив у robots.txt, які виходять за межі доступу до сторінки, дозволяючи видавцям вказувати, чи можна використовувати їхній вміст для пошукової індексації, навчання ШІ або ШІ-агентів . Це розширення традиційного robots.txt для охоплення використання після доступу, а не лише дозволу на сканування.