Cloudflare AI Gateway: Endelig Reelle Forbrukskontroller

To nivåer av håndhevelse

Forbruksgrensene håndheves på to uavhengige nivåer. En kontonivågrense setter et tak for totalforbruket på tvers av alle gatewayer for organisasjoner som bruker Unified Billing. Per-gateway-regler gir mer finmasket kontroll. Uansett hvilken grense som treffes først, vil påfølgende forespørsler blokkeres . Disse grensene fungerer både for Unified Billing-forespørsler – der Cloudflare laster opp kreditter mot et transaksjonsgebyr på 5 % – og for oppsett der man bruker egne API-nøkler (BYOK), forutsatt at modellens priser er kjent .

Dynamisk ruting: Omkobling istedenfor feilmelding

En 429-feilmelding er et relativt brutalt verktøy. Cloudflares dynamiske ruting (som er i beta) tilbyr et smartere alternativ ved å tillate omkobling til rimeligere modeller når et budsjett er oppbrukt. Rutingflyter kan inkludere budsjettgrense-noder som håndhever kostnadskvoter og, i stedet for å avvise forespørselen, automatisk bytter til en alternativ modell . Det samme systemet støtter rate limit-noder, prosentvis A/B-splitting av trafikk og betingede forgreninger basert på metadata i forespørselen, som for eksempel brukerplan eller team. Alt dette kan gjøres uten å endre applikasjonskoden .

Identitetsdrevne budsjetter med Cloudflare Access

Kanskje den mest betydningsfulle kunngjøringen er en lukket beta for identitetsdrevne budsjetter som integreres med Cloudflare Access og en organisasjons eksisterende identitetsleverandør (IdP). Dette løser det vedvarende problemet med delte API-nøkler, der, som Cloudflares blogg beskriver det, «ingen vet hvem som brukte hva» . Attribusjon og håndhevelse per person, knyttet direkte til bedriftsidentiteten, gir CIO-er og økonomiavdelingene den samme enhetsøkonomien for AI som finnes for alle andre forretningsområder .

Bransjepresset bak lanseringen

Dette funksjonssettet er et direkte svar på spesifikke markedssvikt Cloudflare observerte blant sine kunder :

• Løpske kostnader: Selskaper presset på for aggressiv AI-innføring med en «vi fikser regningen senere»-mentalitet, noe som førte til smertefulle overskridelser og bekymrede økonomidirektører.
• Sorte hull for attribusjon: Delte API-nøkler gjorde det umulig å spore forbruk til en spesifikk bruker, team eller til og med en automatisert CI-jobb.
• Standardvalget er toppmodellen: Uten budsjetter rutet team automatisk hver eneste oppgave til den dyreste modellen som var tilgjengelig, selv når et rimeligere alternativ ville vært mer enn godt nok.

Ved å binde forbruksgrensene til faktiske dollar og virkelige personer, vedder Cloudflare på at håndtering av AI-kostnader vil bli like rutinemessig som å spore enhver annen utgiftspost i skyinfrastrukturen.