Cloudflare AI Gateway: Echte kostencontrole met budgetten in euro's en dollars

Twee handhavingsniveaus

Bestedingslimieten worden op twee onafhankelijke niveaus gehandhaafd. Een limiet op accountniveau begrenst de totale uitgaven over alle gateways heen voor organisaties die Unified Billing gebruiken. Regels per gateway bieden nog fijnmazigere controle. Welk limiet het eerst wordt bereikt, blokkeert de daaropvolgende verzoeken . De limieten werken zowel voor Unified Billing-verzoeken – waarbij Cloudflare credits laadt met een transactietoeslag van 5% – als voor bring-your-own-key (BYOK)-opstellingen, mits de prijsstelling van het model bekend is .

Dynamische routering: terugvallen in plaats van falen

Een 429-afwijzing is een bot instrument. Cloudflare's Dynamic Routing (in bèta) biedt een slimmer alternatief door een fallback naar goedkopere modellen mogelijk te maken zodra een budget is uitgeput. Routeringsstromen kunnen Budget Limit-knooppunten bevatten die kostenquota afdwingen en, in plaats van het verzoek te weigeren, automatisch overschakelen naar een alternatief model . Hetzelfde systeem ondersteunt Rate Limit-knooppunten, procentuele A/B-verkeerssplitsingen en voorwaardelijke vertakkingen op basis van metadata zoals een gebruikersabonnement of team, allemaal zonder de applicatiecode aan te raken .

Identiteitsgebonden budgetten met Cloudflare Access

Wellicht de belangrijkste aankondiging is een gesloten bèta voor identiteitsgebonden budgetten die integreert met Cloudflare Access en de bestaande identity provider (IdP) van een organisatie. Dit lost het hardnekkige probleem van gedeelde API-sleutels op, waarbij, zoals Cloudflare's blog het stelt, "niemand weet wie wat heeft uitgegeven" . Toerekening en handhaving per persoon, direct gekoppeld aan de bedrijfsidentiteit, geven CIO's en financiële afdelingen dezelfde inzichtelijke eenheidskosten voor AI als die al bestaan voor elke andere bedrijfskostenpost .

De druk vanuit de markt achter deze release

Deze functionaliteit is een directe reactie op specifieke marktfalen die Cloudflare bij zijn klanten observeerde :

• Losgeslagen kosten: Bedrijven pushten agressieve AI-adoptie met een "snel handelen, later wel zien wat de rekening wordt"-mentaliteit, wat leidde tot pijnlijke budgetoverschrijdingen en CFO-kopzorgen.
• Zwarte gaten in kostenallocatie: Gedeelde API-sleutels maakten het onmogelijk om uitgaven te herleiden naar een specifieke gebruiker, team of zelfs een geautomatiseerde CI-taak.
• Standaardkeuze voor het duurste model: Zonder budgetten leidde men elke taak automatisch naar het duurste beschikbare model, zelfs wanneer een goedkoper alternatief volstond.

Door bestedingslimieten aan echte valuta en echte mensen te koppelen, wedt Cloudflare erop dat AI-kostenbeheer net zo vanzelfsprekend zal worden als het bijhouden van elke andere uitgave voor cloudinfrastructuur.