Cloudflare наносит удар по бесконтрольным счетам за ИИ: бюджеты в долларах, а не в токенах

Два уровня соблюдения

Лимиты расходов применяются на двух независимых уровнях. Лимит на уровне аккаунта ограничивает общие расходы по всем шлюзам для организаций, использующих Unified Billing. Правила на уровне конкретного шлюза обеспечивают более детальный контроль. Срабатывает тот лимит, который будет достигнут раньше . Функция работает как для запросов через Unified Billing (Cloudflare загружает кредиты с комиссией 5%), так и для схемы BYOK (bring-your-own-key), при условии, что известно ценообразование модели .

Динамическая маршрутизация: переключение вместо отказа

Простой отказ с ошибкой 429 — слишком грубый инструмент. Динамическая маршрутизация Cloudflare предоставляет более умную альтернативу, позволяя переключаться на более дешевые модели при исчерпании бюджета. В потоки маршрутизации можно включать узлы бюджетных лимитов (Budget Limit nodes), которые обеспечивают соблюдение квот по затратам и вместо сброса запроса автоматически переключают его на альтернативную модель . Та же система поддерживает узлы ограничения частоты, процентное A/B-распределение трафика и условное ветвление на основе метаданных запроса, таких как тарифный план пользователя или команда, и все это без изменения кода приложения .

Бюджеты на основе личности через Cloudflare Access

Пожалуй, самым значимым анонсом стала закрытая бета-версия бюджетов, привязанных к личности пользователя, с интеграцией с Cloudflare Access и существующим провайдером идентификации (IdP) организации. Это решает давнюю проблему общих API-ключей, из-за которой, как сообщается в блоге Cloudflare, «никто не знает, кто сколько потратил» . Персонифицированная атрибуция и контроль, напрямую привязанные к корпоративной учетной записи, дают ИТ-директорам и финансовым отделам ту самую юнит-экономику для ИИ, которая уже существует для любой другой статьи бизнес-расходов .

Рыночное давление, стоящее за релизом

Этот набор функций — прямой ответ на конкретные провалы рынка, которые Cloudflare наблюдала у своих клиентов :

• Неконтролируемый рост затрат: Компании внедряли ИИ по принципу «действуй быстро, со счетом разберемся потом», что приводило к болезненным перерасходам и тревоге финансовых директоров.
• «Черные дыры» атрибуции: Общие API-ключи делали невозможным отследить расходы до конкретного пользователя, команды или даже автоматизированной CI-задачи.
• Использование топ-моделей по умолчанию: Без бюджетов команды автоматически направляли любую задачу на самую дорогую доступную модель, даже если можно было обойтись более дешевым аналогом.

Привязывая лимиты расходов к реальным деньгам и реальным людям, Cloudflare делает ставку на то, что управление затратами на ИИ станет такой же рутиной, как отслеживание любых других расходов на облачную инфраструктуру.