Limity wydatków są egzekwowane na dwóch niezależnych poziomach. Limit na poziomie konta ogranicza całkowite wydatki we wszystkich bramkach dla organizacji korzystających z rozliczenia ujednoliconego (Unified Billing). Z kolei reguły dla pojedynczej bramki zapewniają jeszcze bardziej szczegółową kontrolę. Zapytania są blokowane w momencie przekroczenia któregokolwiek z tych limitów . Mechanizm działa zarówno dla zapytań w modelu Unified Billing – gdzie Cloudflare doładowuje środki z 5% opłatą transakcyjną – jak i w konfiguracjach bring-your-own-key (BYOK), o ile tylko cennik danego modelu jest znany
.
Odrzucenie zapytania z kodem 429 to dość tępe narzędzie. Dynamiczny routing Cloudflare (w wersji beta) oferuje inteligentniejszą alternatywę, umożliwiając przełączanie na tańsze modele po wyczerpaniu budżetu. Przepływy routingu mogą zawierać węzły limitu budżetu (Budget Limit nodes), które egzekwują kwoty kosztów i zamiast odrzucać zapytanie, automatycznie przełączają je na model alternatywny . Ten sam system obsługuje węzły limitu zapytań (Rate Limit nodes), procentowy podział ruchu w testach A/B oraz warunkowe rozgałęzienia oparte na metadanych zapytania, takich jak plan użytkownika czy zespół. Wszystko to bez konieczności dotykania kodu aplikacji
.
Prawdopodobnie najważniejszym ogłoszeniem jest start zamkniętej bety budżetów opartych na tożsamości, które integrują się z Cloudflare Access i istniejącym dostawcą tożsamości (IdP) organizacji. Rozwiązuje to odwieczny problem współdzielonych kluczy API, przy których, jak ujmuje to blog Cloudflare, „nikt nie wie, kto ile wydał” . Przypisanie i egzekwowanie kosztów na poziomie pojedynczej osoby, bezpośrednio powiązane z tożsamością korporacyjną, daje dyrektorom IT i finansów ten sam poziom ekonomiki jednostkowej dla AI, który istnieje dla każdej innej pozycji w budżecie firmy
.
Ten zestaw funkcji jest bezpośrednią odpowiedzią na konkretne problemy rynkowe, które Cloudflare zaobserwowało u swoich klientów :
Wprowadzając limity wydatków powiązane z realnymi pieniędzmi i konkretnymi osobami, Cloudflare zakłada, że zarządzanie kosztami AI stanie się tak rutynowe, jak śledzenie każdego innego wydatku na infrastrukturę chmurową.
Comments
0 comments