Cloudflare 2026年9月15日大限：AI爬虫新规如何重塑互联网

从2026年9月15日起，Cloudflare 将默认屏蔽任何将搜索索引与 AI 训练或代理任务捆绑在单一用户代理下的 AI 爬虫——除非网站发布者明确选择允许此类访问 。

这并非一次简单的设置调整。Cloudflare 管理着全球约 20% 的网络流量，此举正在将互联网的默认规则从“选择退出”（即除非被屏蔽，爬虫默认允许）颠覆为面向 AI 爬虫的“选择加入”模式 。对发布者而言，这意味着开箱即得企业级的爬虫防护。对于 AI 公司来说，这标志着通过 Cloudflare 代理的网站进行大规模、免费数据抓取的时代即将终结。

核心变化：2026年9月15日截止日期

Cloudflare 已将 2026年9月15日 设定为最后期限，要求 AI 公司必须根据抓取内容的用途，将其网络爬虫划分为清晰、可识别且独立的类别。任何未能明确声明其目的，或把搜索索引与 AI 训练捆绑在单一用户代理下的爬虫，将在 Cloudflare 的流量路径上被默认屏蔽，尤其在那些展示广告的页面上 。

此日期之后，新注册的 Cloudflare 客户和新创建的网站将采用新的默认设置：仅允许清晰标识的搜索爬虫，同时默认屏蔽 AI 训练和 AI 代理爬虫，除非发布者明确选择允许 。现有的免费版用户，若未手动更新其偏好设置，也将被迁移至新默认设置 。

1. 新默认设置：从“选择退出”到“选择加入”

过去，互联网遵循“选择退出”的规范：除非网站通过 robots.txt 明确禁止，否则爬虫默认被允许。现在，对于 AI 专用爬虫，Cloudflare 将其彻底转变为“选择加入”模式 。

• 针对新客户和新网站： 用于 AI 训练或代理行为的爬虫默认被屏蔽。发布者必须主动选择启用它们 。
• 针对现有客户： 设置不会自动更改，但网站所有者可以（强烈建议）通过 Cloudflare 控制面板迁移至新的三层控制体系 。
• 特别针对广告支持的页面： 混合用途的爬虫（即既为搜索建索引，又为 AI 训练抓取内容的爬虫）将被默认屏蔽，因为默认策略将未标明或“混合”用途的流量视为训练/代理流量 。

2. 三层爬虫分类系统：搜索、代理、训练

Cloudflare 引入了一种全新的分类方法，允许发布者为三种不同的爬虫行为设定独立的规则，所有客户（包括免费用户）均可使用 ：

类别	定义	默认设置 (自9月15日起)
搜索	抓取内容以建立搜索索引，并能将引荐流量引导回发布者的爬虫。	默认允许 —— 这些爬虫能带来读者和广告收入。
代理	代表用户执行操作的机器人（例如，AI 助手执行任务、购物或预订）。	默认屏蔽 —— 发布者必须主动选择加入。
训练	仅为训练 AI 模型而抓取内容，不返回用户或不出处内容的爬虫。	默认屏蔽 —— 发布者必须主动选择加入。

发布者现在可以在一个控制面板中设定诸如“允许搜索，阻止训练，阻止代理”的策略，即便是免费计划也支持 。这比传统的 robots.txt 更为精细，后者仅允许对每个用户代理进行“一刀切”式的允许或拒绝。Cloudflare 的文档明确定义，“搜索”是网站所有者“应期望获得引荐流量或其他公平补偿”的活动 。

3. 从“按次爬取付费”到“按使用付费”的演进

Cloudflare 于 2025 年 7 月首次推出 按次爬取付费 作为私密测试版——这是一个市场，发布者可以按请求向 AI 公司收费，利用 HTTP 402（“需要付款”）状态码来协商访问权限 。该系统允许发布者在收到未经批准的爬虫请求时，返回带有定价信息的 402 响应 。

到 2026 年 4 月，在 Cloudflare 所谓的“代理周”（4月13日至17日）期间，该公司已将其演化为更广泛的 按使用付费 模式，将按次爬取框架整合进一个所有套餐等级均可使用的单一运营控制台 。关键区别在于：

• 按次爬取付费 (2025年测试版)： 一种按请求计费的微交易模式——每次爬取请求都会通过 HTTP 402 响应触发支付协商 。
• 按使用付费 (2026年正式版)： 一个更灵活的系统，发布者可以设定条款——固定许可费、按次费率或订阅式访问——AI 公司则可以通过 Cloudflare 的爬虫管理和 Web 应用防火墙（WAF）规则以编程方式管理访问权限 。

Stack Overflow 在 2026 年 2 月的实施案例展示了其生产版本：他们的数据许可计划利用 Cloudflare 的爬虫分类，向未经授权的爬虫返回 402 响应，从而无需定制合同即可实现规模化变现 。

这将如何改变行业格局

对于发布者

• 新的收入来源： AI 公司必须为来自 Cloudflare 代理网站的训练数据付费，而不能再免费抓取 。
• 精细控制： 发布者可以保留能为网站带来广告流量的搜索爬虫，同时屏蔽训练/代理爬虫——从而保护广告收入和内容价值 。
• 默认保护： 过去负担不起定制爬虫管理的小型发布者，现在可以开箱即用地获得企业级的 AI 爬虫屏蔽能力 。

对于 AI 公司

• 训练数据成本上升： 在 Cloudflare 网络（约占全球 20% 的网络流量）上的“免费午餐”式网络级数据抓取宣告结束 。AI 公司要么必须向发布者付费，要么需要协商许可协议。
• 爬虫身份危机： AI 公司必须在 9 月 15 日前彻底改革其爬虫基础设施，将搜索、训练和代理流量分离成独立且可识别的用户代理——否则将面临被全面屏蔽的风险 。
• 谷歌受影响最大： 谷歌的爬虫历来身兼二职（搜索索引和为 Gemini/SGE 提供 AI 训练）。Cloudflare 的新规迫使谷歌要么拆分其爬虫，否则其 Googlebot 将在广告支持的 Cloudflare 页面上被屏蔽 。

更广泛的行业影响

• 树立行业标准： Cloudflare 正在有效地为 AI 爬虫礼仪定义新协议。其他 CDN 和主机服务提供商可能会效仿 。
• 内容信号策略： Cloudflare 在 robots.txt 中引入了一套新的机器可读指令，超出了页面级访问权限的范围，允许发布者表明其内容是否可以用于搜索索引、AI 训练或 AI 代理 。这是对传统 robots.txt 的扩展，以涵盖访问后的用途，而不仅仅是爬取许可。