消费上限在两个独立层面执行。对于使用统一计费(Unified Billing)的组织,一个账户级的消费限额可以限制所有网关的总花费。而针对单个网关的规则则能提供更精细的控制。无论哪个限制先达到,后续的请求都会被阻止 。这些限制同时适用于统一计费请求(即通过Cloudflare购买额度,需支付5%的交易费)和自带密钥(BYOK)的模式,前提是所用模型的定价是已知的
。
直接返回429错误毕竟是一种生硬的拒绝。Cloudflare 的动态路由功能(Dynamic Routing,处于测试阶段)提供了一个更聪明的替代方案,它允许在预算耗尽时自动回退(fallback)到更便宜的模型。路由流程中可以包含预算限制节点,用来执行成本配额。当配额用尽时,它不会直接丢弃请求,而是自动切换到备选模型 。同样的系统还支持速率限制节点、按比例的A/B流量分流,以及基于请求元数据(如用户方案或所属团队)的条件分支,所有操作都无需改动应用程序代码
。
这或许是当天最重磅的发布:一个基于身份的预算内测功能,它与 Cloudflare Access 以及组织现有的身份提供商(IdP)集成。这从根本上解决了共享API密钥带来的顽疾,正如Cloudflare官方博客所说,“没人知道谁花了多少钱” 。直接将公司身份与个人归属和执行权限挂钩,让首席信息官和财务团队终于能像管理企业其他任何一条产品线的支出一样,为AI花费算清单位经济账
。
通过将消费限制与真实的美元和真实的个人挂钩,Cloudflare 笃信,AI成本管理终将变得像追踪其他任何云基础设施支出一样,成为企业运营的常规动作。
Comments
0 comments