Uber, yapay zekâ kullanımı 9,4 kat artarken maliyetleri nasıl kontrol etti?

Uber’in yapay zekâ harcamaları 2026 bütçesinin üzerine çıktıktan sonra şirket, çözümü erişimi kısıtlamakta aramadı. Bunun yerine yapay zekâyı bir mühendislik maliyeti optimizasyonu problemi olarak ele aldı: Her iş yükünü uygun modele yönlendirdi, aşırı bağlam kullanımını sınırladı, önbelleğe alınan komutların daha uzun süre yeniden kullanılmasını sağladı ve mühendislere oturumlarının maliyetini gösterdi. 1

Bu çalışma modeli, haftalık yapay zekâ ajanı talepleri şubattan bu yana 9,4 kat artarken toplam AI harcamalarının nisandan itibaren büyük ölçüde sabit kalmasına yardımcı oldu. Uber’in paylaştığı verilere göre aynı yapay zekâ modeli kullanıldığında 1.000 istek başına maliyet nisandaki zirveye göre yaklaşık %34, oturum başına maliyet ise hazirandaki en yüksek seviyeye göre %52 düştü. 1

Uber’de yapay zekâ kullanımı hız kesmedi

Maliyet düşüşü, kullanımın gerilemesiyle değil, benimsemenin genişlemesiyle gerçekleşti. Yapay zekâ ajanları kod değişikliği gönderimlerinin %70’inden fazlasında rol aldı, mühendisler günde 30.000’den fazla ajan görevi çalıştırdı ve AI araçlarını kullanan çalışanların sayısı dört kattan fazla arttı. 1

Çok daha yüksek kullanım ile büyük ölçüde sabit kalan harcamaların bir arada görülmesi, birim maliyetin düştüğüne işaret ediyor. Bu, iş yüklerinin ücretsiz hâle geldiği anlamına gelmiyor; Uber’in token’ları ve model kapasitesini kullanma biçimini değiştirdiği anlamına geliyor.

1. İşleri uygun maliyetli modellere yönlendirmek

Uber, her görevi varsayılan olarak en güçlü veya en pahalı modele göndermek yerine, işi gereken yetkinliği en uygun maliyetle sağlayan modele yönlendiriyor. Daha basit görevler daha düşük maliyetli modellere aktarılırken daha karmaşık işler daha yüksek kapasiteye sahip modellere bırakılıyor. Şirket ayrıca belirli kullanım alanları için açık ağırlıklı modeller dâhil olmak üzere alternatifleri de değerlendiriyor. 1

Böylece model seçimi, herkese uygulanan tek bir varsayılan ayar olmaktan çıkıp iş yüküne göre verilen bir karara dönüşüyor. Büyük ölçekte, rutin isteklerdeki küçük tasarruflar bile görev başına ortalama maliyeti önemli ölçüde değiştirebilir.

2. Uzun süren ajan oturumlarının bağlamını sınırlamak

Uber, kullanılan model bir milyona kadar token’lık bağlamı desteklese bile etkileşimli oturumları 400.000 token ile sınırlıyor. 1

Bu sınır, kodlama ajanlarının önemli maliyet risklerinden birini hedefliyor. Bir oturum boyunca dosyalar, araç sonuçları, talimatlar ve önceki etkileşimler birikerek giderek daha büyük bir bağlam oluşturabiliyor. Bir sınır olmadığında, keşif amaçlı veya yeterince kontrol edilmeyen oturumlar sürekli daha fazla bağlamı işleyebiliyor.

Token sınırı yapay zekâ ajanlarının kullanımını ortadan kaldırmıyor. Bunun yerine en yoğun bağlam kullanan oturumlar için öngörülebilir bir tavan oluşturuyor ve mühendislik ekiplerine kullanımı yönetebilecekleri somut bir kontrol noktası sağlıyor.

3. Komut önbelleğinin ömrünü uzatmak

Uber, komut önbelleğinin süresini beş dakikadan bir saate çıkardı. Bu değişiklik, mühendislerin çalışma biçimine daha iyi uyum sağlamayı amaçlıyor; zira bir AI oturumu, çalışmaya yeniden başlanmadan önce beş dakikadan daha uzun süre bekleyebiliyor. 1

Önbelleğin daha uzun süre kullanılabilmesi, aynı bağlamın tekrar tekrar işlenmesini önleyebilir. Yapay zekâ destekli kodlama süreçlerinde aynı depo veya talimatlar oturum boyunca yeniden ziyaret edilebildiği için, bu yöntem görevin kendisini değiştirmeden gereksiz token işlemeyi azaltabilir.

4. Mühendislere anlık maliyet bilgisini göstermek

Uber, mühendislerin bir AI oturumunun o ana kadarki maliyetini terminal üzerinden gerçek zamanlı görmesini sağlıyor. 1

Bu uygulama, kullanımı doğrudan bir mühendislik geri bildirim döngüsüne dönüştürüyor. Mühendis, pahalı bir iş akışını ancak daha sonra hazırlanacak finans raporunda görmek yerine, deneme sırasında maliyeti takip edebiliyor ve gerektiğinde oturumu, modeli veya bağlamı değiştirebiliyor.

Ayrıca maliyet farkındalığını ürün akışının içine taşıyor. Komutlar, tekrar denemeler, bağlam ve model seçimiyle ilgili kararlar da zaten bu akışın içinde alınıyor.

Uber’in sonuçları kurumsal AI kullanımı için ne söylüyor?

Uber’in deneyimi daha geniş bir ilkeye işaret ediyor: Kurumsal yapay zekâ harcamalarını kontrol etmek yalnızca bütçe planlaması değildir. Aynı zamanda bir sistem tasarımı problemidir.

Bu örnekte öne çıkan kalıcı kontrol mekanizmaları şunlar:

• İş yüküne göre model yönlendirme: İhtiyacı karşılayan görevlerde daha düşük maliyetli modelleri kullanmak.
• Bağlam yönetimi: Büyük miktarda token tüketen geçmişi biriktirebilen oturumlara sınır koymak.
• Komut önbellekleme: Tekrarlanan bağlamı baştan işlemek yerine yeniden kullanmak.
• Birim maliyet takibi: Bir AI iş akışının ek maliyetini onu çalıştıran kişilere görünür kılmak.
• Model seçeneklerini artırmak: Her görev için tek bir varsayılan modele bağlı kalmamak; açık ağırlıklı modeller dâhil alternatifleri değerlendirmek. 1

Bu kontroller, yapay zekâ ajanları açısından özellikle önemli. Çünkü ajan tabanlı çalışma iteratif ilerliyor: Tek bir kullanıcı talebi planlama, araç kullanımı, doğrulama ve düzeltme gibi birden fazla aşamaya dönüşebiliyor. Bu nedenle toplam token tüketimi, tek seferlik bir sohbet isteğine kıyasla çok daha öngörülemez hâle geliyor.

Uber’in açıkladığı sonuçlar, yoğun AI kullanımının hiçbir finansal risk taşımadığını göstermiyor. Şirket, her isteğin ve oturumun ekonomisini değiştirdikten sonra harcamalarını büyük ölçüde sabit tutabildi. Diğer şirketler için çıkarılacak ders net: Yapay zekâ kullanımını ve maliyet yönetimini birlikte ölçeklendirmek, ölçüm araçlarını da en baştan ürün akışının içine yerleştirmek gerekiyor.