Nye forbrugslofter i Cloudflares AI Gateway: Dollarbudgetter i stedet for anmodningsgrænser

To lag af håndhævelse

Forbrugslofter håndhæves på to uafhængige niveauer. Et kontoniveau-loft begrænser det samlede forbrug på tværs af alle gateways for organisationer, der bruger Unified Billing. Regler pr. gateway giver en mere finkornet kontrol. Uanset hvilken grænse, der nås først, vil blokere efterfølgende forespørgsler . Lofterne fungerer både for Unified Billing-forespørgsler – hvor Cloudflare indlæser kreditter med et transaktionsgebyr på 5 % – og for såkaldte bring-your-own-key-opsætninger (BYOK), forudsat at modellens prissætning er kendt .

Dynamisk routing: Fallback i stedet for fejl

En 429-afvisning er et unuanceret værktøj. Cloudflares Dynamic Routing (i beta) tilbyder et smartere alternativ ved at tillade fallback til billigere modeller, når et budget er opbrugt. Routing-flowet kan indeholde Budget Limit-noder, der håndhæver omkostningskvoter og, i stedet for at afvise forespørgslen, automatisk skifter til en alternativ model . Det samme system understøtter Rate Limit-noder, procentbaserede A/B-trafikfordelinger og betinget routing baseret på forespørgselsmetadata som brugerplan eller team – alt sammen uden at røre ved applikationskoden .

Identitetsdrevne budgetter med Cloudflare Access

Måske den mest betydningsfulde annoncering er en lukket beta for identitetsdrevne budgetter, der integreres med Cloudflare Access og en organisations eksisterende identitetsudbyder (IdP). Dette løser det vedvarende problem med delte API-nøgler, hvor, som Cloudflares blog formulerer det, "ingen ved, hvem der har brugt hvad" . En tilskrivning og håndhævelse pr. person, der er bundet direkte til virksomhedens login, giver CIO'er og økonomiafdelinger den samme enhedsøkonomi på AI-området, som findes for alle andre forretningsposter .

De branchepres, der ligger bag lanceringen

Dette funktionssæt er et direkte svar på specifikke markedssvigt, Cloudflare har observeret hos sine kunder :

• Løbske omkostninger: Virksomheder pressede aggressiv AI-adoption igennem med en "bare kom i gang, så finder vi ud af regningen senere"-mentalitet, hvilket førte til smertefulde budgetoverskridelser og CFO-bekymringer.
• Sorte huller i tilskrivningen: Delte API-nøgler gjorde det umuligt at spore forbrug til en specifik bruger, et team eller sågar et automatiseret CI-job.
• Dyreste model som standard: Uden budgetter rutede teams automatisk alle opgaver til den dyreste, mest avancerede model, selv når et billigere alternativ havde været tilstrækkeligt.

Ved at knytte forbrugslofter til faktiske kroner og faktiske mennesker satser Cloudflare på, at styring af AI-omkostninger vil blive lige så rutinemæssig som at spore enhver anden cloud-infrastrukturudgift.