Czym jest TensorCast i dlaczego może zmienić sposób obsługi modeli językowych?

TensorCast to proponowana warstwa „Tensor-as-a-Service” (TaaS) — rozproszony i programowalny system do zarządzania całym cyklem życia tensorów. Obejmuje on ich identyfikację, lokalizację, rozmieszczanie, przesyłanie, przekształcanie, współdzielenie i materializację, czyli przygotowanie do użycia w pamięci — niezależnie od obliczeń, które te dane wytwarzają lub wykorzystują. 1

Znaczenie TensorCast nie polega wyłącznie na szybszym przesyłaniu danych. Propozycja dotyczy architektury infrastruktury AI: zamiast osobno projektować mechanizmy ładowania wag, systemy KV Cache, ścieżki sieciowe i zaplecze pamięci masowej, można zarządzać nimi za pomocą wspólnego interfejsu.

Dlaczego powstał TensorCast?

Duże modele językowe korzystają nie tylko ze stałych wag. Infrastruktura musi również obsługiwać dynamiczne bloki KV Cache — pamięć przechowującą informacje potrzebne do kontynuowania rozmowy — a także różnego rodzaju stany pośrednie. Obecnie te zadania są często rozdzielone między silnik inferencyjny, scheduler, warstwę sieciową i system przechowywania danych. Utrudnia to łączenie optymalizacji oraz wprowadzanie nowych strategii. 1

TensorCast traktuje zarządzanie cyklem życia tensorów jako brakującą warstwę systemową. Aplikacja określa, co powinno stać się z danym stanem, a środowisko uruchomieniowe dobiera i wykonuje sposób jego rozmieszczenia, przesłania, przekształcenia lub materializacji w zasobach klastra. 1

To podejście różni się od tradycyjnych magazynów obiektowych, które zwykle traktują dane jak nieprzezroczyste bloby. Różni się też od frameworków skoncentrowanych na obliczeniach: te zazwyczaj planują zadania, a nie cały cykl życia stanu tensorowego. 1

Najważniejsze elementy architektury

• Tensor jako obiekt pierwszej klasy. Każdy tensor ma własną tożsamość, właściciela, lokalizację i reguły cyklu życia. Silnik może więc odwołać się do wag, bloku KV Cache lub stanu pośredniego bez kodowania informacji o tym, gdzie dane fizycznie się znajdują i w jakiej postaci są przechowywane. 1
• Łączone prymitywy cyklu życia. Programiści mogą komponować operacje przesyłania, transformacji, wstępnego pobierania, replikacji i materializacji w polityki dopasowane do konkretnego obciążenia. Nie muszą za każdym razem modyfikować niskopoziomowej infrastruktury. 1
• Oddzielenie polityki od mechanizmu wykonania. Polityka jest definiowana za pomocą API TensorCast, natomiast runtime realizuje rozproszone wykonanie i transfer danych bez konieczności zmian w bazowym silniku obliczeniowym. 1
• Rozdzielenie płaszczyzny sterowania i danych. Global Store (GS) przechowuje metadane klastra, takie jak stan węzłów i workerów, lokalizacja tensorów, własność danych oraz informacje o planowaniu. Same transfery wykonują Workery. Global Store koordynuje operacje, ale nie przenosi dużych ładunków tensorowych, dzięki czemu nie powinien stać się wąskim gardłem transmisji. 1
• Dwa sposoby obsługi metadanych. Relatywnie nieliczne i stabilne obiekty, na przykład wagi modelu, mogą być śledzone centralnie w Global Store. Liczne i dynamiczne dane, takie jak KV Cache, są dzielone na fragmenty. Za własność i spójność danego fragmentu odpowiada Worker pełniący funkcję jego gospodarza, z wykorzystaniem dzierżaw i tokenów ogrodzeniowych (fencing tokens). 1
• Wydajna materializacja. Lokalne repliki mogą udostępniać pamięć GPU za pomocą CUDA IPC, a pamięć CPU — przez lokalne uchwyty memfd. W przypadku źródeł zdalnych TensorCast obsługuje bezpośredni zapis RDMA. Pozwala to ograniczyć zbędne kopiowanie danych i wykorzystywać bezpośrednie ścieżki między GPU lub w obrębie jednego węzła, gdy są dostępne. 6

Dlaczego migracja KV Cache może być prostsza?

W typowym stosie obsługi modeli przeniesienie wieloturowej sesji na inną instancję wymaga skoordynowanych zmian w routerze żądań, implementacji KV Cache w silniku inferencyjnym oraz w backendzie pamięci podręcznej i sieci. W TensorCast polityka może po prostu wskazać obiekty tensorowe należące do danej sesji, zażądać ich rozmieszczenia i materializacji na docelowym Workerze, a następnie skierować tam kolejne żądania. Wyszukiwanie danych, transfer i powiązanie ich z pamięcią obsługuje warstwa cyklu życia. 1

Nie oznacza to, że migracja staje się bezkosztowa. Główna korzyść polega na tym, że jej zasady definiuje się raz — na poziomie zarządzania tensorami — zamiast implementować je osobno w kilku ściśle powiązanych komponentach. Ułatwia to tworzenie strategii obejmujących całą infrastrukturę, na przykład routingu zależnego od lokalizacji cache’u, ponownego wykorzystania wag czy umieszczania powiązanych stanów obok siebie. 1

Co pokazały testy?

Autorzy zintegrowali TensorCast z silnikami vLLM i SGLang. Oceniali między innymi materializację i synchronizację wag, zarządzanie KV Cache oraz programowalny routing żądań. 1

Według przedstawionych wyników wydajność TensorCast w obsłudze KV Cache była porównywalna ze specjalizowanym systemem Mooncake, przy zachowaniu większej elastyczności w definiowaniu polityk obejmujących różne komponenty infrastruktury. 1

W przypadku uruchamiania instancji Qwen3-235B-A22B, czyli modelu mającego 235 miliardów parametrów, z czego 22 miliardy są aktywowane, autorzy odnotowali do 228,6 raza szybszy start niż w przypadku popularnych rozproszonych systemów plików. 12

W obciążeniach agentowych obejmujących wiele równoczesnych, wieloturowych interakcji programowalna polityka TensorCast miała obniżyć medianowy czas do pierwszego tokena (TTFT) nawet o 93,2%. TTFT to czas, jaki upływa od wysłania zapytania do pojawienia się pierwszego fragmentu odpowiedzi. 1

Co to oznacza dla infrastruktury AI?

Wyniki wskazują, że TensorCast może być przydatny w elastycznej i stanowej infrastrukturze AI. Szybkie uruchamianie modeli, routing świadomy lokalizacji cache’u, migracja sesji i ponowne wykorzystywanie tensorów można definiować jako polityki systemowe, a nie jako oddzielne, specyficzne dla danego frameworka optymalizacje.

Trzeba jednak zachować ostrożność w interpretacji liczb. Są to wyniki eksperymentów przedstawione przez autorów w preprincie badawczym. Niezależne odtworzenie testów oraz sprawdzenie rozwiązania w środowiskach produkcyjnych na dużą skalę pozostają konieczne. 1