Cloudflare与OpenAI启动联合研究试点：用实时网络信号革新AI搜索

2026年7月8日，Cloudflare与OpenAI宣布启动一项首创的研究试点，探索如何利用Cloudflare全球网络的实时信号，提升AI搜索的索引质量和回答质量。

这项试点是Cloudflare于2026年7月1日公布的更广泛战略的最新一环。该战略将AI爬虫重新划分为三类基于行为的类别，规定从2026年9月15日起对混合用途爬虫实施新的默认屏蔽，并试验一种面向出版商的“按使用付费”补偿模式^TBB。

Cloudflare与OpenAI研究试点

这是什么？

Cloudflare与OpenAI联合启动的这项研究试点，将Cloudflare边缘网络的数据与OpenAI的前沿搜索能力结合在一起。Cloudflare首席执行官Matthew Prince表示，其目标是利用“精细的网络信号，找到更好的方法来提升AI搜索效率，帮助用户更快获得高质量答案”。

运行原理：实时网络信号

该试点使用来自Cloudflare网络的匿名、聚合信号。Cloudflare网络承载着全球超过20%的互联网流量。具体信号包括：

• 内容新鲜度——页面更新或创建的时间。
• 流量质量——反映页面是否被活跃使用和信任的模式。
• 实际页面变更数据——服务器上内容实际变化的频率，而非仅依赖站点地图的时间戳。

这些信号帮助AI搜索引擎决定要抓取什么、何时重新抓取，以及哪些内容可能过时或质量较低，无需推测性地抓取每个页面。结果便是更高效的索引和更及时、准确的答案。

更广泛的战略：2026年7月1日的政策改革

OpenAI试点是Cloudflare于2026年7月1日宣布的一系列重大政策和产品变革的一部分——该公司将其称为“内容独立日”^TBB。

新的三类AI爬虫分类

Cloudflare放弃了简单的“是AI机器人或不是”的分类方式，现在要求所有爬虫必须归入以下一种或多种用途类别^TB：

类别	行为	示例
搜索	索引内容以便后续回答查询。网站所有者应获得推荐流量或补偿。	标准搜索引擎爬虫
代理	代表用户实时自动执行操作（聊天获取、浏览器使用代理）。	ChatGPT-User、Claude、Gemini代理
训练	爬取内容用于训练或微调模型。数据被永久吸收进模型。	批量训练爬虫

Cloudflare“强烈鼓励”同时从事三类业务的公司，为每种用途运行独立的、可识别的爬虫^T。

即将生效的默认设置（2026年9月15日）

从2026年9月15日起，Cloudflare将对所有新客户、现有客户的新站点以及免费套餐账户实施新的默认设置^TBB：

• 训练爬虫 → 广告投放页面默认屏蔽。
• 代理爬虫 → 广告投放页面默认屏蔽。
• 混合用途爬虫（在一次抓取中结合搜索、训练和/或代理功能的机器人） → 广告投放页面默认屏蔽。
• 纯搜索爬虫 → 默认允许，以确保网站仍可在传统搜索中被发现。

最严厉的变革针对的是混合用途爬虫：这些机器人一次抓取同时收集用于搜索和AI训练的内容，使网站所有者无法区分数据用途。Cloudflare的默认屏蔽迫使AI公司要么拆分爬虫，要么失去对广告支持页面的访问权限^TB。

按使用付费：出版商补偿实验

2026年7月1日，Cloudflare还宣布从之前的按次抓取付费模式（2025年宣布）转向按使用付费模式^BB：

• 按次抓取付费（2025年私人测试）：每次爬虫请求内容时向AI公司收费，利用HTTP状态码和身份验证^B。
• 按使用付费（2026年7月宣布）：只有当内容实际上为AI答案提供支持时，出版商才获得报酬，而不仅仅是被抓取^B。这被描述为AI搜索的“计量公用事业”——AI公司为其提供的价值付费，而非仅为原始访问付费^B。

按使用付费模式目前仍被描述为“早期实验”和“研究项目”^B。其具体定价、收入分成以及全面上线的时间表尚未公布。

各部分如何协同

OpenAI研究试点、三类爬虫分类、对混合用途爬虫的默认屏蔽以及按使用付费实验，都是统一战略的一部分^TBB：

1. 强制透明——通过要求为搜索、训练和代理分别配备独立爬虫，网站所有者终于能看清每个机器人在做什么。
2. 赋予网站所有者控制权——默认设置屏蔽最具提取性的行为（训练、代理、混合用途），同时保留可发现性（搜索允许）。
3. 创建补偿层——按使用付费取代了“免费抓取、获取推荐流量”的旧模式，将报酬与实际AI答案的生成挂钩。
4. 让AI搜索更聪明——OpenAI试点利用Cloudflare的实时信号减少浪费性抓取，提升AI答案的时效性和准确性，这对出版商（更好的归属）和AI公司（更低的基础设施成本）都有利。