Cloudflare AI Gateway отримує реальний контроль витрат: доларові бюджети, а не обмеження запитів

Компанії, які активно впроваджують штучний інтелект, часто стикаються з неприємним сюрпризом: несподіваним рахунком на п'яти- або шестизначну суму без жодної можливості відстежити, яка команда, користувач чи автоматичний процес спричинив такі витрати. Оновлення Cloudflare AI Gateway від 5 червня 2026 року спрямоване саме на вирішення цієї проблеми, переводячи контроль витрат з підрахунку запитів на відстеження реальних доларів та прив'язуючи ці бюджети до конкретних осіб.

Як працюють доларові ліміти витрат

Головна інновація полягає у переході від традиційного обмеження швидкості (rate limiting), яке встановлює ліміт на кількість API-запитів, до бюджетів на основі реальної вартості. Ці бюджети відстежують накопичувальні витрати в доларах, використовуючи реальне споживання токенів та ціноутворення моделей . Коли шлюз отримує запит, він розраховує його вартість на основі відомої ціни моделі та кількості використаних токенів. Якщо загальні витрати в межах заданого часового вікна перевищують ліміт, запит блокується з HTTP-відповіддю 429 (помилка «Забагато запитів») .

Область застосування та конфігурація бюджету

Ліміти не є універсальними для всіх. Їх можна дуже точно налаштовувати за моделлю, провайдером або власними параметрами метаданих, такими як ідентифікатор користувача, команда чи застосунок . Наприклад, організація може встановити щоденний бюджет у $200 на одного користувача, загальний денний ліміт у $10,000 на весь шлюз або денний ліміт у $50 для конкретної дорогої моделі . Кожне правило використовує налаштовуване часове вікно з фіксованою (прив'язаною до календаря) або ковзною (оновлюваною після завершення) стратегією скидання лічильника .

Два рівні контролю

Ліміти витрат застосовуються на двох незалежних рівнях. Ліміт витрат на рівні акаунта обмежує загальні витрати на всіх шлюзах для організацій, які використовують Єдиний білінг (Unified Billing). Правила для окремого шлюзу (per-gateway) забезпечують більш детальне управління. Запити блокуються, щойно досягається будь-який з лімітів, залежно від того, який спрацює першим . Ці ліміти працюють як для запитів через Єдиний білінг, де Cloudflare продає кредити з комісією за транзакцію 5%, так і для конфігурацій "принеси свій ключ" (BYOK), за умови, що ціна моделі відома .

Динамічна маршрутизація: запасний варіант замість відмови

Відмова з кодом 429 — це грубий інструмент. Динамічна маршрутизація Cloudflare (Dynamic Routing, у бета-версії) пропонує більш розумну альтернативу, дозволяючи перемикатися на дешевші моделі, коли бюджет вичерпано. Маршрутні потоки можуть включати в себе вузли ліміту бюджету (Budget Limit nodes), які контролюють квоти на витрати і, замість відхилення запиту, автоматично перенаправляють його на іншу модель . Ця ж система підтримує вузли обмеження швидкості (Rate Limit nodes), A/B розподіл трафіку у відсотковому співвідношенні та умовне розгалуження на основі метаданих запиту, наприклад, плану користувача або команди. Все це можна налаштувати без жодних змін у коді програми .

Бюджети, прив'язані до особистості, через Cloudflare Access

Мабуть, найважливішим оголошенням стало закрите бета-тестування бюджетів, прив'язаних до особистості, які інтегруються з Cloudflare Access та наявним в організації провайдером ідентифікації (IdP). Це вирішує хронічну проблему спільних API-ключів, коли, як зазначено у блозі Cloudflare, «ніхто не знає, хто і скільки витратив» . Персональна атрибуція витрат та контроль, безпосередньо прив'язані до корпоративного облікового запису, надають ІТ-директорам та фінансовим відділам інструменти для розрахунку юніт-економіки ШІ, які вже існують для будь-якої іншої статті бізнес-витрат .

Галузеві виклики, що стоять за цим релізом

Цей набір функцій є прямою відповіддю на конкретні проблеми ринку, які Cloudflare спостерігала у своїх клієнтів :

• Неконтрольовані витрати: Компанії агресивно впроваджували ШІ за принципом «рухаймось швидко, з рахунками розберемося потім», що призводило до болісних перевитрат та постійної тривоги фінансових директорів.
• «Чорні діри» атрибуції: Спільні API-ключі унеможливлювали відстеження витрат до конкретного користувача, команди або навіть автоматизованого CI-завдання.
• Пріоритет за замовчуванням для флагманських моделей: Без бюджетів команди автоматично скеровували кожне завдання на найдорожчу доступну модель, навіть коли дешевша альтернатива чудово впоралася б із роботою.

Прив'язуючи ліміти витрат до реальних доларів та реальних людей, Cloudflare робить ставку на те, що управління витратами на ШІ стане такою ж рутиною, як і відстеження будь-яких інших витрат на хмарну інфраструктуру.