ОтветыОпубликовано21 источники
Cloudflare: запрет на обучение ИИ теперь не требует уходить из поиска
Disallow AI Training позволяет запретить использование контента для обучения моделей, не закрывая сайт от поисковой индексации. Cloudflare разделила правила для трёх типов трафика: Search, Training и Agent, заменив прежний общий переключатель Block AI Bots.
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Disallow AI Training позволяет запретить использование контента для обучения моделей, не закрывая сайт от поисковой индексации.
- Cloudflare разделила правила для трёх типов трафика: Search, Training и Agent, заменив прежний общий переключатель Block AI Bots.
- Apple, Google и Microsoft первыми получили статус Accountable; их смешанные краулеры могут продолжать поисковое сканирование при запрете обучения.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Cloudflare’s September 15, 2026 launch of “Disallow AI Training” introduce for website owners, how does it allow them to prevent AI. Article summary: Cloudflare’s September 15 launch introduced **Disallow AI Training**: a setting intended to let a site refuse use of its content for model training without sacrificing ordinary search indexing. It combines an opt-out sig. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Cloudflare 15 сентября 2026 года представила настройку Disallow AI Training («Запретить обучение ИИ»). Её задача — устранить неприятный выбор для владельцев сайтов: либо разрешить компаниям использовать материалы для обучения моделей, либо рисковать исчезновением из обычной поисковой выдачи. Теперь сайт может явно отказаться от обучения ИИ и при этом сохранить доступ для поисковых роботов, которые соответствуют критериям Cloudflare. 7
20
Поиск, обучение и ИИ-агенты — теперь это разные сценарии
Вместо общего переключателя Block AI Bots Cloudflare ввела независимые настройки для трёх целей сканирования:
- Search — обход сайта для поисковой индексации;
- Training — сбор материалов для обучения или дообучения ИИ-моделей;
- Agent — обращения ИИ-агентов, действующих от имени пользователя.
Это даёт издателям и бизнесу возможность задавать разные правила для разных способов использования контента, а не выбирать между полным разрешением и полным запретом. Новые элементы управления и рекомендованные настройки стали доступны 15 сентября. 13
20
Если сайт хочет остаться доступным в поиске, но не желает, чтобы его материалы попадали в обучение моделей, ему предназначена настройка Disallow AI Training. Она публикует предпочтение «не использовать для обучения» через инструменты Cloudflare для политик ботов и robots.txt, одновременно применяя правила блокировки к обучающему трафику. 1
6
7
Как сохраняется видимость в поиске
Некоторые краулеры используются сразу для нескольких задач. Например, Googlebot, Applebot и Bingbot обходят страницы ради поиска, хотя компании-операторы могут использовать контент и в ИИ-сценариях. Политика Cloudflare разделяет эти назначения.
При включённой настройке Disallow AI Training:
- смешанный краулер со статусом Accountable может продолжать доступ к сайту для поисковой индексации;
- его оператор должен соблюдать отказ сайта от использования контента для обучения ИИ;
- специализированные обучающие краулеры, а также смешанные краулеры операторов без статуса Accountable, блокируются политикой запрета обучения.
7
17
24
Это принципиально отличается от более жёсткого варианта Block. Полная блокировка может остановить Googlebot, Applebot и Bingbot, включая их обход для поиска. Поэтому такой вариант не подходит тем, для кого приоритетна поисковая видимость. 17
28
Что означает статус Accountable
Accountable — это обозначение Cloudflare для операторов смешанных краулеров, которые уже выполняют либо обязались выполнить в установленный срок требования по разделению поискового обхода и ИИ-использования контента. Первыми этот статус получили Apple, Google и Microsoft. 7
20
23
Статус не означает, что владелец сайта выдал компаниям безусловное разрешение на применение материалов в ИИ. Он служит основанием, по которому Cloudflare оставляет такому смешанному краулеру доступ для поиска после выбора Disallow AI Training.
Четыре требования Cloudflare
Чтобы получить статус Accountable, оператор должен выполнить или взять на себя обязательство выполнить четыре условия:
- предоставить механизм отказа от обучения ИИ через
robots.txtили сопоставимый стандарт; - предложить возможность отказаться от ИИ-сводок в поиске — уже сейчас либо в оговорённые сроки;
- обеспечить прозрачность на уровне URL: владелец должен видеть, как конкретные страницы используются для поиска и обучения;
- публично подтвердить, что отказ от обучения не лишит сайт доступа к обычной поисковой выдаче.
23
Эти требования важны потому, что делают разделение поиска и обучения хотя бы потенциально проверяемым: издателю нужны и способ выразить свою волю, и возможность понять, соблюдается ли она.
Какие боты остаются, а какие блокируются
При выборе Disallow AI Training значение имеет не сам факт связи бота с ИИ-компанией. Ключевой вопрос — является ли он смешанным краулером и есть ли у его оператора статус Accountable.
| Категория краулера | Режим при Disallow AI Training |
|---|---|
| Смешанные поисковые краулеры Accountable, включая Googlebot, Applebot и Bingbot | Могут оставаться доступными для поисковой индексации |
| Специализированные краулеры для обучения ИИ | Блокируются |
| Смешанные краулеры без статуса Accountable | Блокируются для доступа, связанного с обучением |
Таким образом, Cloudflare предлагает более точную альтернативу тотальной блокировке ИИ-ботов: поисковая роль сохраняется лишь там, где оператор обязался уважать отдельный запрет на обучение.
Как это связано с Google, Apple и Bing
Функция Bot Preference Sync синхронизирует файл robots.txt с настройками ИИ-ботов в панели Cloudflare для категорий Search, Agent и Training. 1
6
Для Google и Apple ограничения обучения отделены от их основных поисковых краулеров:
- Google-Extended — токен отказа от использования контента Google для задач, связанных с обучением. Он отделён от Googlebot, поэтому запрет обучения сам по себе не означает блокировку индексации Google Search.
27
- Applebot-Extended — аналогичный механизм Apple: он позволяет отделить поисковую роль Applebot от отказа от обучения ИИ.
- Bingbot может сохранять доступ для поиска в модели Accountable от Cloudflare. При этом сама система Accountable учитывает не только уже реализованные возможности, но и обязательства операторов внедрить их в установленный срок.
Настройки по умолчанию для новых доменов с рекламой
Cloudflare ранее сообщала о новых настройках по умолчанию, вступающих в силу 15 сентября 2026 года. Для новых доменов, подключаемых к Cloudflare, категории Training и Agent блокируются по умолчанию на страницах, где показывается реклама. 13
Это не равнозначно блокировке поиска для всего сайта. Такой подход отражает стремление компании дать издателям раздельные правила для разных видов трафика. Источники не уточняют единый механизм автоматического перехода для всех действующих клиентов, поэтому владельцам сайтов стоит самостоятельно проверить настройки зоны для Search, Training и Agent, а не предполагать, что прежняя конфигурация изменилась автоматически.
Что делать владельцу сайта
Практический выбор выглядит так:
- выбирайте Disallow AI Training, если хотите сохранить присутствие в поиске, но запретить обучение моделей на вашем контенте;
- используйте более широкий режим Block только если готовы ограничить и поисковый доступ соответствующего краулера;
- проверяйте настройки Search, Training и Agent по отдельности — особенно для страниц с рекламой и доменов, где уже действуют правила для ботов.
20
Новые средства Cloudflare не отменяют необходимости для операторов краулеров соблюдать опубликованные предпочтения сайта. Но они проводят более чёткую границу: поисковая индексация может быть разрешена, тогда как обучение ИИ прямо запрещено — при условии, что оператор краулера соответствует критериям Accountable. 7
24
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Cloudflare: запрет на обучение ИИ теперь не требует уходить из поиска»?
Disallow AI Training позволяет запретить использование контента для обучения моделей, не закрывая сайт от поисковой индексации.
Какие ключевые моменты необходимо проверить в первую очередь?
Disallow AI Training позволяет запретить использование контента для обучения моделей, не закрывая сайт от поисковой индексации. Cloudflare разделила правила для трёх типов трафика: Search, Training и Agent, заменив прежний общий переключатель Block AI Bots.
Что мне делать дальше на практике?
Apple, Google и Microsoft первыми получили статус Accountable; их смешанные краулеры могут продолжать поисковое сканирование при запрете обучения.
Источники