谷歌同一个爬虫同时服务搜索和AI：出版商、监管机构和Cloudflare为何激烈反对

CMA的回应：全球首个行为要求

2025年10月，英国竞争与市场管理局（CMA）将谷歌在一般搜索和搜索广告领域指定为具有“战略市场地位”（SMS），因其在英国搜索市场的份额约占90%。2026年6月3日，CMA对谷歌施加了出版商行为要求（CR）——这是英国《2024年数字市场、竞争与消费者法案》下的首个具有约束力的义务。

CR的关键要素：

• 面向出版商的AI选择退出。 出版商首次可以阻止其内容为谷歌搜索中的AI功能（AI Overviews、AI Mode）提供动力，同时不会失去搜索可见性。
• 微调选择退出。 根据咨询反馈，谷歌还必须允许出版商选择不让其内容用于AI模型的微调。
• 强制归因。 谷歌必须在AI生成的搜索结果中明确链接回出版商的内容。
• 透明度与合规性。 谷歌必须在第一年每六个月发布一次合规报告，提供关键数据和指标，并且在将控制措施扩展到新的AI服务时，必须主动通知出版商。
• 实施期限。 谷歌有九个月的时间（截至2027年3月）来实施所有更改，尽管CMA期望更早推出关键控制措施。

CMA明确考虑但拒绝了爬虫分离——即强制谷歌为搜索索引和AI数据摄取使用不同的爬虫——认为这不具有相称性。它的结论是，谷歌的成本将显著提高，而改进后的控制措施是一种同样有效且更具相称性的补救措施。

Cloudflare的立场：爬虫分离才是真正的解决方案

Cloudflare处理着大约五分之一网络流量，它向CMA咨询提交了详细回应，认为CR是向前迈进的一步，但没有解决结构性问题的根源。其核心论点：

• CR将控制权交还给了谷歌。 出版商仍然依赖谷歌的专有系统，并且无法在不冒搜索排名风险的情况下使用第三方阻止工具（如Cloudflare自己的Crawl Control）。
• 爬虫分离是唯一的技术解决方案。 谷歌应被要求为AI训练和基础数据使用单独的爬虫，以便出版商可以在不损害另一个的情况下阻止其中一个。
• 颗粒化的控制还不够。 CMA提案在技术上令人困惑地区分了“AI训练/基础数据”和“搜索生成式AI功能”，大多数出版商难以理解。
• 问题的规模。 Googlebot约占所有网络爬取量的50%，谷歌AI搜索抓取的内容量是OpenAI的3.2倍。

Cloudflare CEO Matthew Prince于2025年10月亲自前往伦敦游说CMA采纳这种方法，并自此一直在公开推动“解绑”搜索和AI爬虫。Cloudflare还宣布，自2026年9月15日起，它将阻止混合用途爬虫访问相关客户支持广告的页面。

当前状况

• CMA于2026年6月3日实施了CR，首次为出版商提供了AI选择退出工具。实质性控制义务将于2026年12月3日生效，该要求将持续有效至2030年10月10日。
• Cloudflare继续认为CR是不足够的，只有强制性的爬虫分离才能恢复出版商的真正自主权。
• 谷歌表示，它正在测试新的控制措施，让出版商管理AI使用，并警告说，强制爬虫分离可能会“破坏搜索”，从而损害用户体验。谷歌自己对CMA咨询的回应认为，CR取得了恰当的平衡。
• CMA保留了采取进一步行动的可能性，表示正在积极监控谷歌如何实施这些变化，并在必要时可能采取额外措施。

围绕谷歌爬虫的斗争不仅仅是一个英国故事。CMA的决定正受到欧盟、美国和其他司法管辖区监管机构的密切关注，其结果可能为搜索主导地位与AI训练的交叉领域树立全球先例。