Ліміти витрат застосовуються на двох незалежних рівнях. Ліміт витрат на рівні акаунта обмежує загальні витрати на всіх шлюзах для організацій, які використовують Єдиний білінг (Unified Billing). Правила для окремого шлюзу (per-gateway) забезпечують більш детальне управління. Запити блокуються, щойно досягається будь-який з лімітів, залежно від того, який спрацює першим . Ці ліміти працюють як для запитів через Єдиний білінг, де Cloudflare продає кредити з комісією за транзакцію 5%, так і для конфігурацій "принеси свій ключ" (BYOK), за умови, що ціна моделі відома
.
Відмова з кодом 429 — це грубий інструмент. Динамічна маршрутизація Cloudflare (Dynamic Routing, у бета-версії) пропонує більш розумну альтернативу, дозволяючи перемикатися на дешевші моделі, коли бюджет вичерпано. Маршрутні потоки можуть включати в себе вузли ліміту бюджету (Budget Limit nodes), які контролюють квоти на витрати і, замість відхилення запиту, автоматично перенаправляють його на іншу модель . Ця ж система підтримує вузли обмеження швидкості (Rate Limit nodes), A/B розподіл трафіку у відсотковому співвідношенні та умовне розгалуження на основі метаданих запиту, наприклад, плану користувача або команди. Все це можна налаштувати без жодних змін у коді програми
.
Мабуть, найважливішим оголошенням стало закрите бета-тестування бюджетів, прив'язаних до особистості, які інтегруються з Cloudflare Access та наявним в організації провайдером ідентифікації (IdP). Це вирішує хронічну проблему спільних API-ключів, коли, як зазначено у блозі Cloudflare, «ніхто не знає, хто і скільки витратив» . Персональна атрибуція витрат та контроль, безпосередньо прив'язані до корпоративного облікового запису, надають ІТ-директорам та фінансовим відділам інструменти для розрахунку юніт-економіки ШІ, які вже існують для будь-якої іншої статті бізнес-витрат
.
Цей набір функцій є прямою відповіддю на конкретні проблеми ринку, які Cloudflare спостерігала у своїх клієнтів :
Прив'язуючи ліміти витрат до реальних доларів та реальних людей, Cloudflare робить ставку на те, що управління витратами на ШІ стане такою ж рутиною, як і відстеження будь-яких інших витрат на хмарну інфраструктуру.
Comments
0 comments