支出制限は、二つの独立したレベルで執行される。「統合課金(Unified Billing)」を利用する組織では、アカウントレベルの支出制限が全ゲートウェイの総支出に上限を設ける。一方、ゲートウェイごとのルールは、より詳細な制御を提供する。どちらか早く上限に達した方の制限が、後続のリクエストをブロックする 。この制限は、Cloudflareがクレジットを事前購入する統合課金(5%の取引手数料が発生)と、利用者自身のAPIキーを使用するBYOK(Bring Your Own Key)方式の両方で機能するが、後者の場合はモデルの価格設定が既知である必要がある
。
HTTP 429による単純な拒否は、やや乱暴な手段とも言える。Cloudflareの動的ルーティング(Dynamic Routing、ベータ版)は、よりスマートな代替策を提供する。予算が枯渇した際に、リクエストを遮断するのではなく、予算制限ノードを用いてより安価なモデルに自動的にフォールバックさせることが可能になる 。このシステムは、レート制限ノード、パーセンテージベースのA/Bトラフィック分割、ユーザープランやチームなどのリクエストメタデータに基づく条件分岐にも対応しており、アプリケーションコードに一切手を加えることなく実現できる
。
おそらく最も注目すべき発表は、Cloudflare Accessと組織の既存のIDプロバイダー(IdP)を統合する、ID主導の予算管理のクローズドベータ版だろう。これは、共有APIキーによって「誰がどれだけ使ったのか誰も分からない」という状態を解決するものだと、Cloudflareの公式ブログは述べている 。企業IDに直接紐付いた個人単位のコスト帰属と執行は、CIOや財務部門に対し、他の全ての事業項目と同様のAIの「ユニットエコノミクス」をもたらす
。
支出制限を実際の金額と実際の個人に結びつけることで、Cloudflareは、AIコスト管理がいずれ他のクラウドインフラコストの追跡と同じくらい日常的な業務になるだろうと予測している。
Comments
0 comments