Cloudflare AI Gateway Artık Gerçek Harcama Kontrolü Sunuyor: Dolar Bazlı Bütçeler, Talep Sayısı Değil

İki Katmanlı Uygulama

Harcama limitleri birbirinden bağımsız iki seviyede uygulanır. Hesap seviyesindeki bir harcama limiti, Birleşik Faturalandırma (Unified Billing) kullanan kuruluşlar için tüm ağ geçitlerindeki toplam harcamayı sınırlar. Ağ geçidi başına kurallar ise daha hassas bir kontrol sağlar. Hangi limite önce ulaşılırsa, sonraki istekler o limit tarafından engellenir . Bu limitler, hem Cloudflare'ın %5 işlem ücretiyle kredi yüklediği Birleşik Faturalandırma istekleri hem de kendi anahtarınızı getirdiğiniz (BYOK) kurulumlar için, modelin fiyatlandırması bilindiği sürece çalışır .

Dinamik Yönlendirme: Başarısızlık Yerine Yedekleme

Bir 429 reddi, kaba bir araçtır. Cloudflare'ın Dinamik Yönlendirme (Dynamic Routing) özelliği (beta aşamasında), bir bütçe tükendiğinde daha ucuz modellere yedekleme yapılmasına izin vererek daha akıllı bir alternatif sunar. Yönlendirme akışları, maliyet kotalarını uygulayan ve isteği düşürmek yerine otomatik olarak alternatif bir modele geçiş yapan Bütçe Limiti düğümleri içerebilir . Aynı sistem, Hız Limiti düğümlerini, yüzde tabanlı A/B trafik bölmelerini ve kullanıcı planı veya ekip gibi istek meta verilerine dayalı koşullu dallanmayı da destekler; tüm bunlar uygulama koduna dokunmadan yapılabilir .

Cloudflare Access ile Kimlik Odaklı Bütçeler

Belki de en önemli duyuru, Cloudflare Access ve bir kuruluşun mevcut kimlik sağlayıcısı (IdP) ile entegre olan kimlik odaklı bütçeler için bir kapalı beta sürümüdür. Bu, Cloudflare'ın blogunda belirttiği gibi "kimin ne harcadığını kimsenin bilmediği" paylaşımlı API anahtarları sorununu çözer. Doğrudan kurumsal kimliğe bağlı kişi bazında atıf ve uygulama, CIO'lara ve finans ekiplerine, diğer her iş kalemi için var olan birim ekonomiyi yapay zeka için de sağlar .

Bu Güncellemenin Ardındaki Sektörel Baskılar

Bu özellik seti, Cloudflare'ın müşterileri arasında gözlemlediği belirli pazar başarısızlıklarına doğrudan bir yanıttır :

• Kontrolden Çıkan Maliyetler: Şirketler, "hızlı hareket et, faturayı sonra düşünürsün" zihniyetiyle agresif bir yapay zeka benimsemesine girişti, bu da sancılı aşımlara ve CFO'lar için kaygıya yol açtı.
• Atıf Boşluğu: Paylaşımlı API anahtarları, harcamayı belirli bir kullanıcıya, ekibe ve hatta otomatik bir CI işine kadar izlemeyi imkansız hale getirdi.
• En Pahalı Model Varsayımı: Bütçeler olmadan, ekipler daha ucuz bir alternatif yeterli olabilecekken bile her görevi otomatik olarak mevcut en pahalı modele yönlendirdi.

Cloudflare, harcama limitlerini gerçek dolara ve gerçek kişilere bağlayarak, yapay zeka maliyet yönetiminin, diğer herhangi bir bulut altyapı giderini takip etmek kadar rutin hale geleceğine dair bir bahis oynuyor.