TensorCast nedir ve yapay zekâ altyapısında neyi değiştirmeyi hedefliyor?

TensorCast, büyük yapay zekâ modellerinde kullanılan tensörlerin yaşam döngüsünü yönetmek için önerilen dağıtık ve programlanabilir bir sistem katmanı. Tensor-as-a-Service (TaaS) olarak tanımlanan yaklaşım; model ağırlıklarının, KV Cache bloklarının ve ara tensör durumlarının kimliğini, konumunu, sahipliğini, taşınmasını, dönüştürülmesini, paylaşılmasını ve bellekte kullanılabilir hâle getirilmesini, bu verileri üreten veya kullanan hesaplama motorundan ayırıyor. 1

Bu yaklaşımın temel iddiası mimariyle ilgili: Ağırlık yükleyicileri, KV Cache sistemleri, ağ aktarım mekanizmaları ve depolama arka uçları için ayrı ayrı geliştirilen çözümler yerine, tensör durumunu yöneten ortak bir kontrol yüzeyi oluşturmak.

TensorCast neden geliştirildi?

Büyük dil modellerinin çalıştırıldığı sistemlerde yönetilmesi gereken veri yalnızca model ağırlıklarından ibaret değil. Çok turlu sohbetlerde sürekli değişen KV Cache blokları ve farklı hesaplama adımlarında oluşan ara durumlar da dağıtık biçimde saklanıp taşınabiliyor. Geleneksel altyapılarda bu sorumluluklar genellikle çıkarım motoru, istek yönlendiricisi, zamanlayıcı, ağ katmanı ve depolama sistemi arasında parçalı hâlde bulunuyor. Bu da birden fazla bileşeni ilgilendiren optimizasyonların geliştirilmesini ve değiştirilmesini zorlaştırıyor. 1

TensorCast, bu parçalanmayı bir "eksik sistem katmanı" olarak ele alıyor. Uygulama, bir tensör durumuyla ne yapılması gerektiğini bir politika olarak tanımlıyor; çalışma zamanı ise uygun yerleştirme, veri aktarımı, dönüştürme ve bellekte materyalizasyon işlemlerini küme kaynakları üzerinde yürütüyor. 1

Bu model, veriyi çoğunlukla opak bir nesne veya dosya olarak gören klasik nesne depolarından ayrılıyor. Aynı zamanda, odağı öncelikle görev planlaması olan hesaplama merkezli çerçevelerden farklı olarak doğrudan tensör durumlarının yaşam döngüsünü yönetiyor. 1

Tasarımın temel bileşenleri

• Birinci sınıf tensör nesneleri: Her tensörün açık bir kimliği, sahipliği, konumu ve yaşam döngüsü kuralları bulunuyor. Böylece bir motor, ağırlık, KV Cache bloğu veya ara duruma; bunun hangi düğümde, GPU'da ya da depolama ortamında bulunduğunu bilmeden başvurabiliyor. 1
• Birleştirilebilir yaşam döngüsü işlemleri: Geliştiriciler taşıma, dönüştürme, önceden getirme, çoğaltma ve materyalizasyon gibi işlemleri bir araya getirerek iş yüküne özel politikalar yazabiliyor. Her yeni optimizasyon için altyapının düşük seviyeli bölümlerini değiştirmek gerekmiyor. 1
• Politika ile mekanizmanın ayrılması: Tensör yönetim politikası TensorCast API'leriyle tanımlanırken dağıtık yürütme ve veri hareketi çalışma zamanına bırakılıyor. Bu sayede temel çıkarım motorunda değişiklik yapmadan yeni politikalar denenebiliyor. 1
• Kontrol düzlemi ile veri düzleminin ayrılması: Global Store (GS), çalışanların ve düğümlerin durumunu, tensörlerin konumunu, sahiplik bilgisini ve zamanlama metadatasını tutuyor. Gerçek veri aktarımını ise Worker süreçleri gerçekleştiriyor. GS'nin tensör yükünü taşımaması, koordinasyon katmanının veri aktarımında darboğaza dönüşmesini önlemeyi amaçlıyor. 1
• Farklı metadata stratejileri: Model ağırlıkları gibi sayısı daha sınırlı ve görece statik nesneler GS üzerinden merkezi olarak izlenebiliyor. KV Cache gibi çok sayıda ve sürekli değişen durumlar ise parçalara bölünüyor; her parçanın sahibi olan Worker, kiralama ve fencing token mekanizmalarıyla sahiplik ve tutarlılığı koruyor. 1
• Daha verimli materyalizasyon: Worker tarafındaki kopyalar GPU belleğini CUDA IPC, CPU belleğini ise yerel memfd tanıtıcıları üzerinden paylaşabiliyor. Uzak kaynaklarda RDMA doğrudan yazma desteği, gereksiz kopyaları azaltarak mevcut olduğunda GPU'dan GPU'ya veya yerel paylaşım yollarından yararlanılmasını sağlıyor. 6

KV Cache taşımak neden kolaylaşıyor?

Geleneksel bir sunum altyapısında, çok turlu bir oturumu başka bir çıkarım örneğine taşımak için istek yönlendiricisinin, çıkarım motorundaki KV Cache uygulamasının ve önbellek ya da ağ arka ucunun birlikte değiştirilmesi gerekebiliyor. TensorCast yaklaşımında ise politika, oturuma ait KV tensör nesnelerini belirleyip bunların hedef Worker üzerinde konumlandırılmasını veya bellekte kullanılabilir hâle getirilmesini isteyebiliyor. Sonraki istekler hedefe yönlendirildiğinde arama, aktarım ve bellek bağlama işlemlerini yaşam döngüsü çalışma zamanı üstleniyor. 1

Buradaki kazanım, taşımanın maliyetsiz hâle gelmesi değil; taşıma politikasının birbirine sıkı bağlı birkaç bileşende ayrı ayrı yeniden yazılmak yerine tensör yaşam döngüsü katmanında bir kez ifade edilebilmesi. Bu, önbellek konumuna göre yönlendirme, model ağırlıklarını yeniden kullanma veya ilişkili durumları aynı yere yerleştirme gibi bileşenler arası politikaların denenmesini kolaylaştırıyor. 1

Deneylerde hangi sonuçlar elde edildi?

Araştırmacılar TensorCast'ı vLLM ve SGLang ile entegre etti. Testlerde ağırlıkların bellekte kullanılabilir hâle getirilmesi, ağırlık senkronizasyonu, KV Cache yönetimi ve programlanabilir istek yönlendirme senaryoları değerlendirildi. 1

• KV Cache performansının, bu alana özel bir sistem olan Mooncake ile rekabetçi olduğu bildirildi. TensorCast'ın farkı, bunun yanında birden fazla bileşeni kapsayan politikaların programlanabilmesine izin vermesi. 1
• Toplam 235 milyar, etkinleştirilen 22 milyar parametreye sahip Qwen3-235B-A22B modeliyle bir örnek başlatılırken, yaygın dağıtık dosya sistemlerine kıyasla 228,6 kata kadar daha hızlı başlangıç raporlandı. 12
• Yüksek eşzamanlılığa sahip çok turlu ajan iş yüklerinde, programlanabilir bir TensorCast politikasının medyan ilk belirteç süresini (TTFT) yüzde 93,2'ye kadar azalttığı bildirildi. 1

Bu sonuçlar TensorCast'ın esnek ve durum bilgili yapay zekâ altyapıları açısından neden önem taşıyabileceğini gösteriyor: Model örneklerinin hızlı başlatılması, KV Cache konumunu dikkate alan yönlendirme ve taşıma ile tensör durumlarının yeniden kullanımı, tek tek çerçevelere özel optimizasyonlar yerine programlanabilir sistem politikaları olarak ele alınabiliyor.

Bununla birlikte söz konusu rakamlar, araştırmacıların bir araştırma ön baskısında paylaştığı deney sonuçları. Bu nedenle bağımsız tekrarlar ve üretim ölçeğinde doğrulama yapılmadan TensorCast'ın tüm gerçek dünya iş yüklerinde aynı kazanımları sağlayacağı söylenemez. 1