AI代理正在重塑网络：Cloudflare如何应对机器流量增长

AI代理和爬虫正在成为网站访问者中的另一大类。Cloudflare在16周年相关公告中表示，2026年5月，其网络上的自动化流量已经超过真人流量，比公司此前预测的2027年下半年提前。Cloudflare还预测，如果当前趋势延续，未来五年自动化流量可能达到真人流量的1000倍——这是对未来的推测，并非对整个互联网当前流量的测量。31

面对机器访问增加，Cloudflare公布的应对思路大致分为三类：让内容和服务提供方有机会向机器访问收费；细分网站对搜索、AI训练和AI代理的访问权限；以及帮助客户识别威胁、保护应用程序。部分产品的价格和完整参与条件尚未公布。

让机器访问有机会转化为收入

Monetization Gateway针对的是“访问前付费”：网站或资源所有者可以通过HTTP 402支付流程，向访问网站、API、MCP工具或数据集的AI代理收费。该产品目前处于封闭测试，美国卖家可以申请加入。Cloudflare称，已有客户用它向代理收取令牌、API和MCP工具的使用费用；但公告没有给出通用价格表或更完整的资格条件。18

Pay Per Use处理的则是另一种情形：AI公司申报其使用出版方内容的情况，Cloudflare负责账单、付款和使用情况报告，让出版方根据被申报的使用量获得相应款项。该服务目前处于测试阶段；已公布信息没有明确结算费率或完整参与要求。13

简单来说，前者意在让资源所有者在代理访问内容或服务时收费，后者则希望在参与的AI公司申报使用出版方内容后，按使用情况进行结算。就目前公开的信息而言，两者都还没有完整的通用收费细则。

搜索可见，不等于允许用于训练

Cloudflare推出的 Disallow AI Training 设置，让网站可以拒绝AI训练用途，同时继续出现在搜索结果中。Cloudflare表示，公司正以分别控制搜索、AI训练和AI代理访问的方式，取代原先单一的“Block AI Bots”开关。网站所有者因此可以逐项决定允许哪些访问，而不是只能把所有AI相关访问一并放行或拦截。26

从威胁情报到应用请求检测

Cloudflare表示，将向所有Cloudflare账户开放 Threat Events Platform。其 Threat Signals 工具会处理用户选择的开源威胁报告，提取并规范化威胁指标，再将相关背景信息与WAF规则关联。Cloudflare称，Threat Signals对所有账户免费。7

Application Profiles关注的是应用收到的HTTP请求是否符合预期。它会学习请求的结构和格式，并识别偏离之处，帮助团队依据“正常请求应是什么样”来制定正向安全策略。Cloudflare于2026年9月29日公布该产品；现有产品介绍没有说明价格或适用套餐条件。20

这些流量数字说明了什么？

“2026年5月超过真人流量”是Cloudflare对其自身网络的描述，不能据此认定自动化流量已经在整个互联网达到真人流量的1000倍。后一个数字是基于趋势延续的五年预测。31

这些数字解释了Cloudflare为何推出收费、权限管理与安全工具：更多机器访问可能增加网站的服务成本和安全风险，却不一定带来支持广告的真人访问。Cloudflare此次公布的方案，分别试图让网站设定机器访问条件、把搜索收录与AI训练许可分开，并在自动化使用增加时保护应用。1731