Cloudflare 在 2026 年 9 月 15 日推出 “禁止 AI 训练”（Disallow AI Training） 设置，试图解决内容网站长期面对的一道选择题：拒绝内容被用于训练 AI 模型，是否就得同时放弃搜索曝光？

该设置允许网站明确表达“不用于训练”的偏好，并拦截相应训练流量；对于符合条件的混合用途爬虫，则可保留其用于常规搜索索引的访问权限。720

核心变化：搜索、训练与 AI 代理不再混为一谈

Cloudflare 不再只提供笼统的 “拦截 AI 机器人”（Block AI Bots） 方式，而是将爬虫访问按三种用途分别控制：

• 搜索（Search）：抓取内容以建立搜索索引；
• 训练（Training）：使用内容训练或微调模型；
• 代理（Agent）：AI 代理代表用户发起的访问。

这意味着，网站运营者不必再在“全部允许”和“全部拦截”之间二选一，而可以针对每种用途制定不同策略。Cloudflare 表示，相关控制项及推荐设置已随 9 月 15 日的发布向出版商和企业开放。1320

如果目标是继续获得搜索发现流量、但不希望内容被拿去训练模型，适用的就是 “禁止 AI 训练”。该设置会通过 Cloudflare 的机器人策略与 robots.txt 工具发布禁止训练的偏好，并对训练流量应用拦截规则。167

为什么开启后仍可能保留搜索收录

部分爬虫并非只服务一种用途。例如，Googlebot、Applebot 和 Bingbot 可用于搜索抓取，但其运营方也可能存在与 AI 相关的内容使用场景。Cloudflare 的新政策将“用于搜索”和“用于训练”分开处理。

启用“禁止 AI 训练”后：

• 获得 “可问责”（Accountable） 认定的混合用途爬虫，仍可为搜索索引访问网站；
• 其运营方应遵守网站拒绝将相关内容用于 AI 训练的要求；
• 专用于训练的爬虫，以及运营方未获“可问责”认定的混合用途爬虫，将在该策略下被拦截。71724

这与更强硬的 “拦截”（Block） 选项不同。选择完全拦截，可能会阻止 Googlebot、Applebot 和 Bingbot 的访问，其中也包括其搜索抓取。因此，若优先目标是保住搜索可见性，完全拦截并不是合适的设置。1728

“可问责”认定是什么

“可问责”是 Cloudflare 为混合用途爬虫运营方设立的认定。获得认定的运营方需满足 Cloudflare 的要求，或承诺在明确时间表内满足要求，以便将搜索抓取与 AI 相关用途区分开来。首批获得该认定的是 Apple、Google 和 Microsoft。72023

这并不意味着网站对 AI 使用给予了全面许可。相反，Cloudflare 以这一认定为依据：当网站选择“禁止 AI 训练”时，符合条件的混合用途爬虫仍可保留搜索访问权限。

四项要求

Cloudflare 表示，运营方必须满足或承诺满足以下四项条件：

1. 通过 robots.txt 或类似标准，提供退出 AI 训练的机制；
2. 提供退出 AI 生成搜索摘要的选项，或承诺在规定时间内提供；
3. 提供 URL 级别的信息，使网站能了解内容如何被用于搜索和训练；
4. 公开确认：退出训练不会导致网站失去常规搜索访问或收录资格。2324

这些条件的意义在于，搜索与训练的边界至少可以被核验：站长既要能表达自己的选择，也应能了解这一选择是否得到尊重。

哪些爬虫可继续搜索，哪些会被拦截

在“禁止 AI 训练”策略下，判断标准不只是某个机器人是否来自 AI 公司，而是它是否属于运营方已获“可问责”认定的混合用途爬虫。

爬虫类别	启用“禁止 AI 训练”后的处理方式
获“可问责”认定的混合用途搜索爬虫，包括 Googlebot、Applebot 和 Bingbot	可继续用于搜索索引 1722
专用于 AI 模型训练的爬虫	被拦截 1722
未获“可问责”认定的混合用途爬虫	训练访问被拦截 24

因此，Cloudflare 提供的是比“一律封锁 AI 爬虫”更细的策略：只有在运营方承诺遵守训练限制的情况下，才保留其搜索用途的访问权。

与 Google、Apple 和 Bing 的控制如何对应

Cloudflare 的 Bot Preference Sync 功能可将网站在 Cloudflare 控制台中为搜索、代理和训练设置的 AI 机器人偏好，同步到 robots.txt。16

对于 Google 和 Apple，训练相关控制与搜索爬虫是分开的：

• Google-Extended 是 Google 的训练相关退出标记，与 Googlebot 分离。因此，表达不用于训练的限制，本身不会必然阻断 Google 搜索索引。27
• Applebot-Extended 是 Apple 对应的训练相关控制，可让 Applebot 的搜索用途与 AI 训练退出选择保持分离。1727
• Bingbot 在 Cloudflare 的“可问责”框架下可继续用于搜索。该框架也明确区分了已具备的能力和按时间表承诺交付的能力，因此并不表示每一家运营方的所有配套能力都已全面上线。723

新接入域名的广告页面默认规则

Cloudflare 此前已公布 2026 年 9 月 15 日生效的新默认设置：对于新接入 Cloudflare 的域名，在展示广告的页面上，训练和 AI 代理两类流量默认会被拦截。13

这一默认策略并不等同于全站屏蔽搜索，而是进一步体现了按用途分级管理的思路。现有资料未能确认每一类既有客户配置的具体自动迁移规则，因此，已有 Cloudflare 配置的网站不宜假定旧规则会自动变更，最好逐项检查域名级别的搜索、训练和代理设置。

对内容网站意味着什么

实际选择可以概括为：

• 希望保留搜索曝光、同时拒绝模型训练：选择 “禁止 AI 训练”；
• 只有在愿意一并限制相关爬虫的搜索访问时，才考虑更广泛的 “拦截” 策略；
• 搜索、训练和 AI 代理应分别检查与配置，尤其是展示广告的页面，以及原本已有机器人规则的网站。131720

这套控制并不能替代爬虫运营方对公开偏好的遵守。但它划出了一条更清晰的政策边界：在运营方满足 Cloudflare“可问责”条件的前提下，网站可以允许搜索索引，同时明确拒绝其内容被用于 AI 模型训练。724

Cloudflare 在 2026 年 9 月 15 日推出 “禁止 AI 训练”（Disallow AI Training） 设置，试图解决内容网站长期面对的一道选择题：拒绝内容被用于训练 AI 模型，是否就得同时放弃搜索曝光？

该设置允许网站明确表达“不用于训练”的偏好，并拦截相应训练流量；对于符合条件的混合用途爬虫，则可保留其用于常规搜索索引的访问权限。720

核心变化：搜索、训练与 AI 代理不再混为一谈

Cloudflare 不再只提供笼统的 “拦截 AI 机器人”（Block AI Bots） 方式，而是将爬虫访问按三种用途分别控制：

• 搜索（Search）：抓取内容以建立搜索索引；
• 训练（Training）：使用内容训练或微调模型；
• 代理（Agent）：AI 代理代表用户发起的访问。

这意味着，网站运营者不必再在“全部允许”和“全部拦截”之间二选一，而可以针对每种用途制定不同策略。Cloudflare 表示，相关控制项及推荐设置已随 9 月 15 日的发布向出版商和企业开放。1320

如果目标是继续获得搜索发现流量、但不希望内容被拿去训练模型，适用的就是 “禁止 AI 训练”。该设置会通过 Cloudflare 的机器人策略与 robots.txt 工具发布禁止训练的偏好，并对训练流量应用拦截规则。167

为什么开启后仍可能保留搜索收录

部分爬虫并非只服务一种用途。例如，Googlebot、Applebot 和 Bingbot 可用于搜索抓取，但其运营方也可能存在与 AI 相关的内容使用场景。Cloudflare 的新政策将“用于搜索”和“用于训练”分开处理。

启用“禁止 AI 训练”后：

• 获得 “可问责”（Accountable） 认定的混合用途爬虫，仍可为搜索索引访问网站；
• 其运营方应遵守网站拒绝将相关内容用于 AI 训练的要求；
• 专用于训练的爬虫，以及运营方未获“可问责”认定的混合用途爬虫，将在该策略下被拦截。71724

这与更强硬的 “拦截”（Block） 选项不同。选择完全拦截，可能会阻止 Googlebot、Applebot 和 Bingbot 的访问，其中也包括其搜索抓取。因此，若优先目标是保住搜索可见性，完全拦截并不是合适的设置。1728

“可问责”认定是什么

“可问责”是 Cloudflare 为混合用途爬虫运营方设立的认定。获得认定的运营方需满足 Cloudflare 的要求，或承诺在明确时间表内满足要求，以便将搜索抓取与 AI 相关用途区分开来。首批获得该认定的是 Apple、Google 和 Microsoft。72023

这并不意味着网站对 AI 使用给予了全面许可。相反，Cloudflare 以这一认定为依据：当网站选择“禁止 AI 训练”时，符合条件的混合用途爬虫仍可保留搜索访问权限。

四项要求

Cloudflare 表示，运营方必须满足或承诺满足以下四项条件：

1. 通过 robots.txt 或类似标准，提供退出 AI 训练的机制；
2. 提供退出 AI 生成搜索摘要的选项，或承诺在规定时间内提供；
3. 提供 URL 级别的信息，使网站能了解内容如何被用于搜索和训练；
4. 公开确认：退出训练不会导致网站失去常规搜索访问或收录资格。2324

这些条件的意义在于，搜索与训练的边界至少可以被核验：站长既要能表达自己的选择，也应能了解这一选择是否得到尊重。

哪些爬虫可继续搜索，哪些会被拦截

在“禁止 AI 训练”策略下，判断标准不只是某个机器人是否来自 AI 公司，而是它是否属于运营方已获“可问责”认定的混合用途爬虫。

爬虫类别	启用“禁止 AI 训练”后的处理方式
获“可问责”认定的混合用途搜索爬虫，包括 Googlebot、Applebot 和 Bingbot	可继续用于搜索索引 1722
专用于 AI 模型训练的爬虫	被拦截 1722
未获“可问责”认定的混合用途爬虫	训练访问被拦截 24

因此，Cloudflare 提供的是比“一律封锁 AI 爬虫”更细的策略：只有在运营方承诺遵守训练限制的情况下，才保留其搜索用途的访问权。

与 Google、Apple 和 Bing 的控制如何对应

Cloudflare 的 Bot Preference Sync 功能可将网站在 Cloudflare 控制台中为搜索、代理和训练设置的 AI 机器人偏好，同步到 robots.txt。16

对于 Google 和 Apple，训练相关控制与搜索爬虫是分开的：

• Google-Extended 是 Google 的训练相关退出标记，与 Googlebot 分离。因此，表达不用于训练的限制，本身不会必然阻断 Google 搜索索引。27
• Applebot-Extended 是 Apple 对应的训练相关控制，可让 Applebot 的搜索用途与 AI 训练退出选择保持分离。1727
• Bingbot 在 Cloudflare 的“可问责”框架下可继续用于搜索。该框架也明确区分了已具备的能力和按时间表承诺交付的能力，因此并不表示每一家运营方的所有配套能力都已全面上线。723

新接入域名的广告页面默认规则

Cloudflare 此前已公布 2026 年 9 月 15 日生效的新默认设置：对于新接入 Cloudflare 的域名，在展示广告的页面上，训练和 AI 代理两类流量默认会被拦截。13

这一默认策略并不等同于全站屏蔽搜索，而是进一步体现了按用途分级管理的思路。现有资料未能确认每一类既有客户配置的具体自动迁移规则，因此，已有 Cloudflare 配置的网站不宜假定旧规则会自动变更，最好逐项检查域名级别的搜索、训练和代理设置。

对内容网站意味着什么

实际选择可以概括为：

• 希望保留搜索曝光、同时拒绝模型训练：选择 “禁止 AI 训练”；
• 只有在愿意一并限制相关爬虫的搜索访问时，才考虑更广泛的 “拦截” 策略；
• 搜索、训练和 AI 代理应分别检查与配置，尤其是展示广告的页面，以及原本已有机器人规则的网站。131720

这套控制并不能替代爬虫运营方对公开偏好的遵守。但它划出了一条更清晰的政策边界：在运营方满足 Cloudflare“可问责”条件的前提下，网站可以允许搜索索引，同时明确拒绝其内容被用于 AI 模型训练。724