Forbruksgrensene håndheves på to uavhengige nivåer. En kontonivågrense setter et tak for totalforbruket på tvers av alle gatewayer for organisasjoner som bruker Unified Billing. Per-gateway-regler gir mer finmasket kontroll. Uansett hvilken grense som treffes først, vil påfølgende forespørsler blokkeres . Disse grensene fungerer både for Unified Billing-forespørsler – der Cloudflare laster opp kreditter mot et transaksjonsgebyr på 5 % – og for oppsett der man bruker egne API-nøkler (BYOK), forutsatt at modellens priser er kjent
.
En 429-feilmelding er et relativt brutalt verktøy. Cloudflares dynamiske ruting (som er i beta) tilbyr et smartere alternativ ved å tillate omkobling til rimeligere modeller når et budsjett er oppbrukt. Rutingflyter kan inkludere budsjettgrense-noder som håndhever kostnadskvoter og, i stedet for å avvise forespørselen, automatisk bytter til en alternativ modell . Det samme systemet støtter rate limit-noder, prosentvis A/B-splitting av trafikk og betingede forgreninger basert på metadata i forespørselen, som for eksempel brukerplan eller team. Alt dette kan gjøres uten å endre applikasjonskoden
.
Kanskje den mest betydningsfulle kunngjøringen er en lukket beta for identitetsdrevne budsjetter som integreres med Cloudflare Access og en organisasjons eksisterende identitetsleverandør (IdP). Dette løser det vedvarende problemet med delte API-nøkler, der, som Cloudflares blogg beskriver det, «ingen vet hvem som brukte hva» . Attribusjon og håndhevelse per person, knyttet direkte til bedriftsidentiteten, gir CIO-er og økonomiavdelingene den samme enhetsøkonomien for AI som finnes for alle andre forretningsområder
.
Dette funksjonssettet er et direkte svar på spesifikke markedssvikt Cloudflare observerte blant sine kunder :
Ved å binde forbruksgrensene til faktiske dollar og virkelige personer, vedder Cloudflare på at håndtering av AI-kostnader vil bli like rutinemessig som å spore enhver annen utgiftspost i skyinfrastrukturen.
Comments
0 comments