Nye forbrugslofter i Cloudflares AI Gateway: Dollarbudgetter i stedet for anmodningsgrænser

Mange virksomheder, der for alvor er gået i gang med at bruge kunstig intelligens, kender mareridtet: En overraskende regning på hundredtusindvis af kroner, og ingen mulighed for at spore, hvilket team, hvilken bruger eller hvilken automatiseret proces, der har forårsaget den voldsomme stigning. Cloudflares opdatering af AI Gateway den 5. juni 2026 sætter direkte ind over for dette problem ved at flytte omkostningskontrollen fra at tælle antallet af forespørgsler til at følge det faktiske forbrug i kroner og øre – og knytte disse budgetter direkte til individuelle identiteter.

Sådan fungerer dollarbaserede forbrugslofter

Den centrale innovation er et skifte fra traditionel hastighedsbegrænsning – som sætter et loft over antallet af API-kald – til omkostningsbaserede budgetter, der sporer det kumulative forbrug i dollar ved hjælp af det faktiske token-forbrug og modelpriserne . Når gatewayen modtager en forespørgsel, beregner den omkostningen ud fra modellens kendte prissætning og de forbrugte tokens. Hvis det samlede forbrug inden for det konfigurerede tidsvindue overstiger grænsen, blokeres forespørgslen med en HTTP 429-fejlmeddelelse .

Budgetafgrænsning og konfiguration

Lofterne er ikke én størrelse, der passer alle. De kan afgrænses granulært efter model, udbyder eller brugerdefinerede metadata-dimensioner som bruger-id, team eller applikation . En organisation kan for eksempel sætte et dagligt budget på 200 dollars pr. bruger, et samlet dagligt loft på 10.000 dollars for hele gatewayen eller en daglig grænse på 50 dollars for en specifik, dyr model . Hver regel bruger et konfigurerbart tidsvindue med enten en fast (kalenderjusteret) eller glidende (rullende) nulstillingsstrategi .

To lag af håndhævelse

Forbrugslofter håndhæves på to uafhængige niveauer. Et kontoniveau-loft begrænser det samlede forbrug på tværs af alle gateways for organisationer, der bruger Unified Billing. Regler pr. gateway giver en mere finkornet kontrol. Uanset hvilken grænse, der nås først, vil blokere efterfølgende forespørgsler . Lofterne fungerer både for Unified Billing-forespørgsler – hvor Cloudflare indlæser kreditter med et transaktionsgebyr på 5 % – og for såkaldte bring-your-own-key-opsætninger (BYOK), forudsat at modellens prissætning er kendt .

Dynamisk routing: Fallback i stedet for fejl

En 429-afvisning er et unuanceret værktøj. Cloudflares Dynamic Routing (i beta) tilbyder et smartere alternativ ved at tillade fallback til billigere modeller, når et budget er opbrugt. Routing-flowet kan indeholde Budget Limit-noder, der håndhæver omkostningskvoter og, i stedet for at afvise forespørgslen, automatisk skifter til en alternativ model . Det samme system understøtter Rate Limit-noder, procentbaserede A/B-trafikfordelinger og betinget routing baseret på forespørgselsmetadata som brugerplan eller team – alt sammen uden at røre ved applikationskoden .

Identitetsdrevne budgetter med Cloudflare Access

Måske den mest betydningsfulde annoncering er en lukket beta for identitetsdrevne budgetter, der integreres med Cloudflare Access og en organisations eksisterende identitetsudbyder (IdP). Dette løser det vedvarende problem med delte API-nøgler, hvor, som Cloudflares blog formulerer det, "ingen ved, hvem der har brugt hvad" . En tilskrivning og håndhævelse pr. person, der er bundet direkte til virksomhedens login, giver CIO'er og økonomiafdelinger den samme enhedsøkonomi på AI-området, som findes for alle andre forretningsposter .

De branchepres, der ligger bag lanceringen

Dette funktionssæt er et direkte svar på specifikke markedssvigt, Cloudflare har observeret hos sine kunder :

• Løbske omkostninger: Virksomheder pressede aggressiv AI-adoption igennem med en "bare kom i gang, så finder vi ud af regningen senere"-mentalitet, hvilket førte til smertefulde budgetoverskridelser og CFO-bekymringer.
• Sorte huller i tilskrivningen: Delte API-nøgler gjorde det umuligt at spore forbrug til en specifik bruger, et team eller sågar et automatiseret CI-job.
• Dyreste model som standard: Uden budgetter rutede teams automatisk alle opgaver til den dyreste, mest avancerede model, selv når et billigere alternativ havde været tilstrækkeligt.

Ved at knytte forbrugslofter til faktiske kroner og faktiske mennesker satser Cloudflare på, at styring af AI-omkostninger vil blive lige så rutinemæssig som at spore enhver anden cloud-infrastrukturudgift.