Cloudflare AI Gateway отримує реальний контроль витрат: доларові бюджети, а не обмеження запитів

Два рівні контролю

Ліміти витрат застосовуються на двох незалежних рівнях. Ліміт витрат на рівні акаунта обмежує загальні витрати на всіх шлюзах для організацій, які використовують Єдиний білінг (Unified Billing). Правила для окремого шлюзу (per-gateway) забезпечують більш детальне управління. Запити блокуються, щойно досягається будь-який з лімітів, залежно від того, який спрацює першим . Ці ліміти працюють як для запитів через Єдиний білінг, де Cloudflare продає кредити з комісією за транзакцію 5%, так і для конфігурацій "принеси свій ключ" (BYOK), за умови, що ціна моделі відома .

Динамічна маршрутизація: запасний варіант замість відмови

Відмова з кодом 429 — це грубий інструмент. Динамічна маршрутизація Cloudflare (Dynamic Routing, у бета-версії) пропонує більш розумну альтернативу, дозволяючи перемикатися на дешевші моделі, коли бюджет вичерпано. Маршрутні потоки можуть включати в себе вузли ліміту бюджету (Budget Limit nodes), які контролюють квоти на витрати і, замість відхилення запиту, автоматично перенаправляють його на іншу модель . Ця ж система підтримує вузли обмеження швидкості (Rate Limit nodes), A/B розподіл трафіку у відсотковому співвідношенні та умовне розгалуження на основі метаданих запиту, наприклад, плану користувача або команди. Все це можна налаштувати без жодних змін у коді програми .

Бюджети, прив'язані до особистості, через Cloudflare Access

Мабуть, найважливішим оголошенням стало закрите бета-тестування бюджетів, прив'язаних до особистості, які інтегруються з Cloudflare Access та наявним в організації провайдером ідентифікації (IdP). Це вирішує хронічну проблему спільних API-ключів, коли, як зазначено у блозі Cloudflare, «ніхто не знає, хто і скільки витратив» . Персональна атрибуція витрат та контроль, безпосередньо прив'язані до корпоративного облікового запису, надають ІТ-директорам та фінансовим відділам інструменти для розрахунку юніт-економіки ШІ, які вже існують для будь-якої іншої статті бізнес-витрат .

Галузеві виклики, що стоять за цим релізом

Цей набір функцій є прямою відповіддю на конкретні проблеми ринку, які Cloudflare спостерігала у своїх клієнтів :

• Неконтрольовані витрати: Компанії агресивно впроваджували ШІ за принципом «рухаймось швидко, з рахунками розберемося потім», що призводило до болісних перевитрат та постійної тривоги фінансових директорів.
• «Чорні діри» атрибуції: Спільні API-ключі унеможливлювали відстеження витрат до конкретного користувача, команди або навіть автоматизованого CI-завдання.
• Пріоритет за замовчуванням для флагманських моделей: Без бюджетів команди автоматично скеровували кожне завдання на найдорожчу доступну модель, навіть коли дешевша альтернатива чудово впоралася б із роботою.

Прив'язуючи ліміти витрат до реальних доларів та реальних людей, Cloudflare робить ставку на те, що управління витратами на ШІ стане такою ж рутиною, як і відстеження будь-яких інших витрат на хмарну інфраструктуру.