Cloudflare AI Gateway Artık Gerçek Harcama Kontrolü Sunuyor: Dolar Bazlı Bütçeler, Talep Sayısı Değil

Yapay zekayı agresif bir şekilde benimseyen şirketlerin ortak bir kabusu var: Hangi ekibin, kullanıcının veya kontrolsüz sürecin neden olduğunu izlemenin imkansız olduğu, beş ya da altı haneli sürpriz bir fatura. Cloudflare'ın 5 Haziran 2026'da AI Gateway için yaptığı güncelleme, maliyet kontrollerini talep saymaktan gerçek doları izlemeye kaydırarak ve bu bütçeleri bireysel kimliklere bağlayarak doğrudan bu sorunun üzerine gidiyor.

Dolar Bazlı Harcama Limitleri Nasıl Çalışır?

Temel yenilik, API isteklerinin sayısını sınırlayan geleneksel hız sınırlamasından (rate limiting), gerçek token kullanımını ve model fiyatlandırmasını kullanarak kümülatif dolar harcamasını takip eden maliyet tabanlı bütçelere geçiştir . Bir ağ geçidi bir istek aldığında, modelin bilinen fiyatlandırmasına ve tüketilen token'lara göre maliyeti hesaplar. Yapılandırılan zaman aralığındaki toplam harcama limiti aşarsa, istek bir HTTP 429 yanıtı ile engellenir .

Bütçe Kapsamı ve Yapılandırma

Limitler herkese uyan tek tip değildir. Model, sağlayıcı veya kullanıcı kimliği, ekip ya da uygulama gibi özel meta veri boyutlarına göre ayrıntılı bir şekilde kapsamlandırılabilir . Örneğin, bir kuruluş her kullanıcı için günlük 200 dolarlık bir bütçe, tüm ağ geçidi harcaması için günlük 10.000 dolarlık bir üst sınır veya belirli pahalı bir model için günlük 50 dolarlık bir limit belirleyebilir . Her kural, sabit (takvime hizalı) veya kayan (hareketli) sıfırlama stratejisine sahip, yapılandırılabilir bir zaman aralığı kullanır .

İki Katmanlı Uygulama

Harcama limitleri birbirinden bağımsız iki seviyede uygulanır. Hesap seviyesindeki bir harcama limiti, Birleşik Faturalandırma (Unified Billing) kullanan kuruluşlar için tüm ağ geçitlerindeki toplam harcamayı sınırlar. Ağ geçidi başına kurallar ise daha hassas bir kontrol sağlar. Hangi limite önce ulaşılırsa, sonraki istekler o limit tarafından engellenir . Bu limitler, hem Cloudflare'ın %5 işlem ücretiyle kredi yüklediği Birleşik Faturalandırma istekleri hem de kendi anahtarınızı getirdiğiniz (BYOK) kurulumlar için, modelin fiyatlandırması bilindiği sürece çalışır .

Dinamik Yönlendirme: Başarısızlık Yerine Yedekleme

Bir 429 reddi, kaba bir araçtır. Cloudflare'ın Dinamik Yönlendirme (Dynamic Routing) özelliği (beta aşamasında), bir bütçe tükendiğinde daha ucuz modellere yedekleme yapılmasına izin vererek daha akıllı bir alternatif sunar. Yönlendirme akışları, maliyet kotalarını uygulayan ve isteği düşürmek yerine otomatik olarak alternatif bir modele geçiş yapan Bütçe Limiti düğümleri içerebilir . Aynı sistem, Hız Limiti düğümlerini, yüzde tabanlı A/B trafik bölmelerini ve kullanıcı planı veya ekip gibi istek meta verilerine dayalı koşullu dallanmayı da destekler; tüm bunlar uygulama koduna dokunmadan yapılabilir .

Cloudflare Access ile Kimlik Odaklı Bütçeler

Belki de en önemli duyuru, Cloudflare Access ve bir kuruluşun mevcut kimlik sağlayıcısı (IdP) ile entegre olan kimlik odaklı bütçeler için bir kapalı beta sürümüdür. Bu, Cloudflare'ın blogunda belirttiği gibi "kimin ne harcadığını kimsenin bilmediği" paylaşımlı API anahtarları sorununu çözer. Doğrudan kurumsal kimliğe bağlı kişi bazında atıf ve uygulama, CIO'lara ve finans ekiplerine, diğer her iş kalemi için var olan birim ekonomiyi yapay zeka için de sağlar .

Bu Güncellemenin Ardındaki Sektörel Baskılar

Bu özellik seti, Cloudflare'ın müşterileri arasında gözlemlediği belirli pazar başarısızlıklarına doğrudan bir yanıttır :

• Kontrolden Çıkan Maliyetler: Şirketler, "hızlı hareket et, faturayı sonra düşünürsün" zihniyetiyle agresif bir yapay zeka benimsemesine girişti, bu da sancılı aşımlara ve CFO'lar için kaygıya yol açtı.
• Atıf Boşluğu: Paylaşımlı API anahtarları, harcamayı belirli bir kullanıcıya, ekibe ve hatta otomatik bir CI işine kadar izlemeyi imkansız hale getirdi.
• En Pahalı Model Varsayımı: Bütçeler olmadan, ekipler daha ucuz bir alternatif yeterli olabilecekken bile her görevi otomatik olarak mevcut en pahalı modele yönlendirdi.

Cloudflare, harcama limitlerini gerçek dolara ve gerçek kişilere bağlayarak, yapay zeka maliyet yönetiminin, diğer herhangi bir bulut altyapı giderini takip etmek kadar rutin hale geleceğine dair bir bahis oynuyor.