Cloudflare AI Gateway získává skutečnou kontrolu nákladů: Dolarové rozpočty místo limitů požadavků

Dvě úrovně vynucování pravidel

Limity útraty se uplatňují na dvou nezávislých úrovních. Limit na úrovni účtu stanovuje strop celkové útraty napříč všemi branami pro organizace využívající jednotnou fakturaci (Unified Billing). Pravidla pro jednotlivé brány poskytují podrobnější kontrolu. Požadavky jsou blokovány v momentě dosažení prvního z těchto limitů . Limity fungují jak pro požadavky v rámci jednotné fakturace – kde Cloudflare načítá kredity s 5% transakčním poplatkem –, tak pro nastavení s vlastními klíči (BYOK), za předpokladu, že je známá cena modelu .

Dynamické směrování: Záložní plán místo chyby

Odmítnutí požadavku chybou 429 je poměrně nekompromisní nástroj. Dynamické směrování od Cloudflare (ve verzi beta) nabízí chytřejší alternativu tím, že umožňuje v případě vyčerpání rozpočtu automatický přechod na levnější modely. Směrovací toky mohou obsahovat uzly s rozpočtovým limitem (Budget Limit), které vynucují nákladové kvóty a namísto zamítnutí požadavku automaticky přepnou na záložní model . Stejný systém podporuje uzly pro omezení rychlosti, procentuální A/B rozdělování provozu a podmíněné větvení na základě metadat požadavku, jako je tarif uživatele nebo tým – to vše bez nutnosti měnit kód aplikace .

Rozpočty řízené identitou s Cloudflare Access

Možná nejvýznamnějším oznámením je uzavřená beta verze rozpočtů řízených identitou, která se integruje se službou Cloudflare Access a existujícím poskytovatelem identity (IdP) organizace. To řeší přetrvávající problém sdílených API klíčů, kdy – jak uvádí blog Cloudflare – „nikdo neví, kdo co utratil“ . Přiřazení nákladů a jejich vymáhání na úrovni jednotlivců, přímo navázané na firemní identitu, dává CIO a finančním oddělením k dispozici jednotkovou ekonomiku pro AI, kterou mají pro každou jinou položku podnikání .

Co stojí za uvedením této funkce

Tato sada funkcí je přímou reakcí na konkrétní problémy trhu, které Cloudflare pozoroval u svých zákazníků :

• Nekontrolovatelné náklady: Společnosti prosazovaly agresivní zavádění AI s mentalitou „jednej rychle, účet vyřešíme později“, což vedlo k nepříjemným překročením rozpočtu a úzkosti finančních ředitelů.
• Černé díry v atribuci: Sdílené API klíče znemožňovaly vysledovat útratu na konkrétního uživatele, tým nebo dokonce automatizovanou CI úlohu.
• Výchozí používání nejdražších modelů: Bez rozpočtů týmy automaticky směrovaly každý úkol na nejdražší dostupný model, i když by postačila levnější alternativa.

Navázáním limitů útraty na skutečné peníze a skutečné lidi Cloudflare sází na to, že správa nákladů na AI se stane stejně rutinní záležitostí jako sledování jakéhokoli jiného výdaje na cloudovou infrastrukturu.