Cloudflare AI Gateway får dollarbaserade utgiftstak – stoppar skenande AI-räkningar

Två nivåer av efterlevnad

Utgiftstak tillämpas på två oberoende nivåer. Ett kontonivåtak begränsar den totala förbrukningen över alla gateways för företag som använder Unified Billing. Per-gateway-regler ger en mer finkornig kontroll. Vilket tak som än nås först blockerar efterföljande anrop . Begränsningarna fungerar både för Unified Billing-anrop – där Cloudflare laddar krediter med en transaktionsavgift på 5 % – och för "bring-your-own-key"-upplägg (BYOK), förutsatt att modellens prissättning är känd .

Dynamisk routing: Återfall istället för misslyckande

Ett 429-avvisande är ett trubbigt instrument. Cloudflares dynamiska routing (i beta) erbjuder ett smartare alternativ genom att tillåta återfall till billigare modeller när en budget är slut. Routing-flöden kan inkludera Budget Limit-noder som upprätthåller kostnadskvoter och, istället för att avbryta anropet, automatiskt växlar till en alternativ modell . Samma system stödjer Rate Limit-noder, procentbaserad A/B-trafikdelning och villkorlig förgrening baserat på anropsmetadata som användarplan eller team, allt utan att röra applikationskoden .

Identitetsdrivna budgetar med Cloudflare Access

Den kanske mest betydelsefulla nyheten är en sluten beta för identitetsdrivna budgetar som integreras med Cloudflare Access och en organisations befintliga identitetsleverantör (IdP). Detta löser det återkommande problemet med delade API-nycklar, där, som Cloudflare själva uttrycker det, "ingen vet vem som spenderade vad" . Tillskrivning per person och kontroll direkt kopplad till företagsidentiteten ger CIO:er och ekonomiteam den enhetskostnad för AI som redan finns för varje annan affärspost .

Branschtrycket bakom lanseringen

Denna uppsättning funktioner är ett direkt svar på specifika marknadsmisslyckanden som Cloudflare observerat bland sina kunder :

• Skjutsande kostnader: Företag drev aggressiv AI-adoption med en "rör dig snabbt, lös räkningen sen"-mentalitet, vilket ledde till smärtsamma överskridanden och CFO-ångest.
• Svarta hål för attribution: Delade API-nycklar gjorde det omöjligt att spåra kostnader till en specifik användare, ett team eller till och med ett automatiserat CI-jobb.
• Standardval av toppmodell: Utan budgetar dirigerade teamen automatiskt varje uppgift till den dyraste tillgängliga modellen, även när ett billigare alternativ hade räckt.

Genom att knyta utgiftstak till faktiska dollar och verkliga personer satsar Cloudflare på att AI-kostnadshantering ska bli lika rutinmässig som att spåra vilken annan molninfrastrukturkostnad som helst.