Cloudflare дозволяє лишити пошукову індексацію, заборонивши навчання ШІ

Головна зміна: важлива мета сканування, а не лише назва бота

Запущене 15 вересня 2026 року налаштування Disallow AI Training («заборонити навчання ШІ») змінює практичний вибір для видавців і власників сайтів. Вони можуть зберігати присутність у пошуку, водночас повідомляючи змішаному краулеру, що його не можна використовувати для навчання моделей на їхньому контенті. Статус Accountable («відповідальний») позначає операторів, які вже виконують таке побажання або взяли конкретне зобов’язання це зробити. 5

Cloudflare розділяє активність краулерів на три незалежні категорії:

• Search — сканування для індексації сторінок у результатах пошуку;
• Training — отримання контенту для навчання або донавчання моделі ШІ;
• Agent — отримання контенту під час виконання ШІ-агентом дії, яку запросив користувач. 10

Це розмежування важливе, бо одна інфраструктура краулера може виконувати кілька функцій. Раніше блокування бота, пов’язаного зі ШІ, могло водночас позбавити сайт звичайної пошукової індексації. Тепер можна обрати точніше правило: дозволити пошук, але відмовити у використанні матеріалів для навчання. 5

Що означає статус Accountable

Cloudflare запровадила позначку Accountable для операторів ботів, здатних відокремити пошукову індексацію від навчання моделей і врахувати вибір власника сайту. Apple, Google та Microsoft або вже дотримуються нового налаштування, або зобов’язалися дотримуватися його в терміни, визначені Cloudflare. 5

Для видавця це означає, що корисний пошуковий краулер не має автоматично блокуватися лише тому, що його оператор також використовує інфраструктуру для завдань ШІ. Кваліфіковані оператори зі змішаним призначенням можуть продовжувати індексувати сторінки для пошуку після заборони навчання. 5

Водночас доступний анонс описує стандарт загалом, але не дозволяє перевірити дату впровадження, поведінку конкретних ботів і технічні зобов’язання кожного оператора. Тому варто перевіряти власні правила для ботів і дані про сканування, а не припускати однакову поведінку всіх платформ.

Який трафік можна лишити, а який заблокувати

Нове налаштування має зберігати пошукову індексацію для змішаних краулерів Accountable, водночас відхиляючи використання контенту для навчання. Cloudflare прямо описує функцію як можливість залишатися в пошуку, не дозволяючи цьому самому краулеру тренуватися на контенті сайту. 5

Надані матеріали не містять повного публічного переліку ботів у форматі «дозволено/заблоковано». Вони, однак, підтверджують таке:

• пошуковий доступ для операторів зі статусом Accountable може зберігатися після заборони навчання; 5
• категорії Training і Agent можна блокувати незалежно від Search; 10
• загальна опція «заблокувати всіх ШІ-ботів» і далі доступна для тих, хто хоче повної заборони або паузи для ухвалення рішення, але вона менш точна, ніж контроль за призначенням трафіку. 7

Для сайтів, залежних від органічного трафіку, це суттєве оновлення: відмова від навчання ШІ більше не обов’язково означає відмову від видимості в пошуку.

Рекламні сторінки та вересневі налаштування за замовчуванням

Cloudflare раніше повідомляла, що з 15 вересня 2026 року для нових доменів, які підключаються до її сервісу, краулери категорій Training і Agent на сторінках із рекламою блокуватимуться за замовчуванням. 10 Такий підхід виходить із того, що рекламно монетизований контент може потребувати суворіших стандартних обмежень для використання ШІ.

Попередня модель мала ризик: якщо краулер поєднував кілька функцій, категоріальне блокування могло вплинути і на його пошукове сканування. Disallow AI Training та Accountable мають вирішити саме цю проблему: видавець може захистити рекламний контент від навчання моделей і, де оператор здатен дотриматися цього розмежування, не втратити індексацію. 5

Джерела не пояснюють вичерпно, як переносили налаштування для всіх уже наявних доменів або які стандартні правила діяли для кожного типу облікового запису. Власникам чинних доменів варто переглянути власну конфігурацію, а не виводити її з правил для нових доменів.

Google-Extended, Applebot-Extended і підхід Bing

Контроль за призначенням трафіку розв’язує проблему, яку намагаються вирішити спеціальні директиви видавців: відокремити пошукову активність оператора від використання ним контенту для ШІ.

Cloudflare згадувала власні механізми відмови Google, зокрема Google-Extended і nosnippet, а також відгуки видавців, за якими ці механізми не зупиняли всі способи використання контенту, які вони хотіли контролювати. 22 Надані для цього матеріалу джерела не дають змоги незалежно підтвердити точний обсяг або актуальну поведінку Google-Extended, Applebot-Extended чи директиви Bing NOARCHIVE.

Загальний висновок зрозуміліший за деталі реалізації: окрема заборона або зобов’язання Accountable можуть передати інструкцію «індексуйте цю сторінку для пошуку, але не використовуйте її для навчання». Повне блокування краулера не гарантує такого поділу.

Чому деталізація контролю стає важливою

За аналізом трафіку Cloudflare, 80% ШІ-сканувань за попередні 12 місяців були класифіковані як навчання моделей, 18% — як пошук і лише 2% — як дії на запит користувача. Компанія зазначає, що класифікація спирається на розкриття інформації операторами та галузеві джерела. 16

Такий розподіл пояснює, чому видавцям потрібні окремі налаштування, а не один перемикач «ШІ увімкнено/вимкнено». Сайт може погоджуватися на індексацію, не дозволяти постійно включати свій контент у модель через навчання та окремо вирішувати питання доступу ШІ-агентів у реальному часі.

У 2025 році Cloudflare також повідомляла, що понад 2,5 млн сайтів повністю заборонили навчання ШІ через керований robots.txt або правило блокування ШІ-краулерів. 13 Вересневі інструменти дають таким власникам точніший варіант, коли для них водночас важлива присутність у пошуковій видачі.

Наступний крок — контроль над ШІ-підсумками

Cloudflare заявила про намір надати видавцям детальніший контроль над згенерованими ШІ підсумками на початку 2027 року. 2 Анонс підтверджує напрям роботи, але не розкриває остаточний дизайн продукту, спосіб застосування правил чи конкретний набір опцій.

Практичний висновок наразі простий: політики для Search, Training і Agent слід переглядати як три окремі рішення. Якщо органічна видимість критична для сайту, не варто вважати, що обмеження ШІ неодмінно обмежить і пошук — особливо коли оператор краулера має статус Accountable. 5