Cloudflare AI Gateway zyskuje realną kontrolę kosztów: budżety w dolarach zamiast limitów zapytań

Dwa poziomy egzekwowania

Limity wydatków są egzekwowane na dwóch niezależnych poziomach. Limit na poziomie konta ogranicza całkowite wydatki we wszystkich bramkach dla organizacji korzystających z rozliczenia ujednoliconego (Unified Billing). Z kolei reguły dla pojedynczej bramki zapewniają jeszcze bardziej szczegółową kontrolę. Zapytania są blokowane w momencie przekroczenia któregokolwiek z tych limitów . Mechanizm działa zarówno dla zapytań w modelu Unified Billing – gdzie Cloudflare doładowuje środki z 5% opłatą transakcyjną – jak i w konfiguracjach bring-your-own-key (BYOK), o ile tylko cennik danego modelu jest znany .

Dynamiczny routing: przełączanie zamiast blokady

Odrzucenie zapytania z kodem 429 to dość tępe narzędzie. Dynamiczny routing Cloudflare (w wersji beta) oferuje inteligentniejszą alternatywę, umożliwiając przełączanie na tańsze modele po wyczerpaniu budżetu. Przepływy routingu mogą zawierać węzły limitu budżetu (Budget Limit nodes), które egzekwują kwoty kosztów i zamiast odrzucać zapytanie, automatycznie przełączają je na model alternatywny . Ten sam system obsługuje węzły limitu zapytań (Rate Limit nodes), procentowy podział ruchu w testach A/B oraz warunkowe rozgałęzienia oparte na metadanych zapytania, takich jak plan użytkownika czy zespół. Wszystko to bez konieczności dotykania kodu aplikacji .

Budżety oparte na tożsamości z Cloudflare Access

Prawdopodobnie najważniejszym ogłoszeniem jest start zamkniętej bety budżetów opartych na tożsamości, które integrują się z Cloudflare Access i istniejącym dostawcą tożsamości (IdP) organizacji. Rozwiązuje to odwieczny problem współdzielonych kluczy API, przy których, jak ujmuje to blog Cloudflare, „nikt nie wie, kto ile wydał” . Przypisanie i egzekwowanie kosztów na poziomie pojedynczej osoby, bezpośrednio powiązane z tożsamością korporacyjną, daje dyrektorom IT i finansów ten sam poziom ekonomiki jednostkowej dla AI, który istnieje dla każdej innej pozycji w budżecie firmy .

Presja rynkowa stojąca za nową funkcją

Ten zestaw funkcji jest bezpośrednią odpowiedzią na konkretne problemy rynkowe, które Cloudflare zaobserwowało u swoich klientów :

• Wymykające się spod kontroli koszty: Firmy parły do przodu z wdrażaniem AI w myśl zasady „działaj szybko, o rachunek martw się później”, co prowadziło do bolesnych przekroczeń budżetu i niepokoju w działach finansowych.
• Czarna dziura atrybucji: Współdzielone klucze API uniemożliwiały przypisanie wydatków do konkretnego użytkownika, zespołu czy nawet zautomatyzowanego zadania CI.
• Domyślne użycie flagowych modeli: Bez budżetów zespoły automatycznie kierowały każde zadanie do najdroższego dostępnego modelu, nawet gdy tańsza alternatywa byłaby w zupełności wystarczająca.

Wprowadzając limity wydatków powiązane z realnymi pieniędzmi i konkretnymi osobami, Cloudflare zakłada, że zarządzanie kosztami AI stanie się tak rutynowe, jak śledzenie każdego innego wydatku na infrastrukturę chmurową.