Cloudflare 9月AI爬虫新默认规则：拦什么、放什么，以及可能影响Google收录的细节

Cloudflare 在2026年9月15日启用的新默认规则，核心并不是“一刀切封杀AI”，而是把自动化访问按用途拆开处理：对新接入Cloudflare的域名，只要页面展示广告，归类为**训练（Training）或代理（Agent）的爬虫将默认被拦截；归类为搜索（Search）**的爬虫则仍默认放行。215

这项区分对依赖搜索曝光和广告收入的网站尤其重要：站长可以尝试保留传统搜索索引带来的发现与回流，同时限制内容被用于训练模型，或被AI助手在用户请求时实时抓取。

默认规则：广告页面拦训练和代理，搜索仍放行

新默认设置适用于新接入Cloudflare网络的域名。当Cloudflare识别到页面展示广告时，会默认拦截两类自动化流量：

• Training（训练）：抓取网站内容，用于训练或微调AI模型的爬虫。
• Agent（代理）：代表用户实时执行操作的自动化访问，例如聊天工具取数机器人、浏览器操作代理等。13

与此同时，**Search（搜索）**仍默认允许。Cloudflare将其定义为：抓取或索引内容，以便服务日后据此回答问题；Cloudflare认为，这类访问通常应为发布者带来引流或其他公平的回报。13

因此，这并非全面禁止AI访问。默认拦截只针对训练与代理行为，并且只在展示广告的页面生效。215

哪些Cloudflare用户会受影响？

Cloudflare官方文档明确，这一新默认设置面向新接入其网络的域名。215 有关本次上线的报道还称，既有客户新添加的网站，以及未手动修改设置的免费套餐网站，也可能落入这一规则范围。23

已在Cloudflare运行一段时间的网站，不应假设所有既有域名都会被自动套用同样政策。实际结果取决于域名的接入状态、套餐以及现有配置。最稳妥的做法，是进入对应站点（zone）的AI爬虫控制项，核对当前生效的规则。23

站长可分别控制的三类流量

Cloudflare不再把所有“AI机器人”当作单一类别，而是按行为划分为三类，并允许分别配置：13

类别	覆盖的行为	新域名在含广告页面上的默认状态
Search（搜索）	抓取或索引内容，以便日后回答问题	允许
Training（训练）	收集内容以训练或微调模型	拦截
Agent（代理）	代表用户实时执行自动化任务	拦截

对于每一个类别，网站所有者都可以选择以下三种方式之一：

1. 允许该类流量；
2. 仅在展示广告的页面拦截；
3. 在所有页面拦截。23

这种颗粒度意味着，发布者可以保留搜索索引，同时全站阻止训练型爬虫；也可以只保护广告变现页面，而不把限制扩展到整个网站。

最大SEO变量：一台爬虫可能不只做一件事

真正需要谨慎的是“混合用途”爬虫。Cloudflare表示，同时具有搜索与训练行为的爬虫，会按其全部行为接受规则评估，最终由适用规则中最严格的一条决定是否可访问。2615

这会带来一个直接后果：即使站点允许Search，一旦封锁Training，被Cloudflare归为“搜索+训练”的爬虫，也可能失去正常的搜索抓取访问权。Cloudflare文档及相关上线报道列举的相关多用途爬虫包括 Googlebot、Applebot 和 BingBot。26

换句话说，“允许搜索”并不必然保住某个机器人，因为该机器人也可能被归类为训练用途。准备全站封锁Training的站长，应先评估由此产生的搜索收录与自然流量代价。24

旧版“Block AI bots”设置怎么办？

Cloudflare说明，凡是封锁AI训练的配置——包括旧版的 “Block AI bots” 选项——也会作用于兼具搜索和训练行为的爬虫。2 对曾经启用这一宽泛开关、并以为它只会影响非搜索AI流量的站点而言，复查设置尤其重要。

9月上线后的报道还提到，较新的 “Disallow AI Training” 方案，意在表达“不允许AI训练”的偏好，同时在爬虫被标记为“Accountable”时，保留Googlebot、Applebot和BingBot用于搜索抓取的权限。由于具体行为及迁移路径可能取决于仪表盘中所选的设置，管理员应以Cloudflare控制台当前显示的选项为准，而不要仅凭旧开关名称判断效果。4

为什么Cloudflare要把搜索与AI内容使用分开？

发布者担忧的焦点在于传统搜索与生成式AI的回报机制不同：搜索引擎通常抓取并建立索引，再把用户通过链接带回原始页面；而生成式AI服务可能将内容用于模型训练，或在自己的界面中直接给出检索后的答案，原网站获得的直接访问回流可能更少。

Cloudflare将Search界定为发布者应预期获得引流或等价补偿的流量；Training和Agent则对应以不同方式获取或使用网站内容的行为。13 其控制项的目的，是让站长保留自己认为有价值的自动化访问，同时限制那些主要“拿走”内容的访问。

所以，判断重点不只是某个机器人是否“属于AI”，而是它的行为是否支持内容发现、能否给网站带来价值回流，还是主要为了训练模型或完成实时AI任务而消耗内容。13

站长现在该怎么检查？

调整前，建议按行为和潜在后果逐项核对：

• 若搜索收录和潜在引流仍是优先事项，保持 Search 为允许状态。
• 若重点是保护广告变现内容，可使用仅在含广告页面拦截，而不是直接全站限制。
• 若考虑全站拦截，先确认相关爬虫是否兼具Search和Training行为。
• 若Google、Apple或Bing的搜索可见性重要，应重新检查旧版 “Block AI bots” 及当前训练控制项的实际配置。236

Cloudflare的9月默认设置给了发布者更细的控制权，但混合用途爬虫的分类也意味着：这不仅是AI访问政策问题，同样是一项SEO决策。