Apa Itu TensorCast dan Mengapa Penting bagi Infrastruktur AI?

TensorCast adalah usulan lapisan “Tensor-as-a-Service” (TaaS)—sistem terdistribusi yang dapat diprogram untuk mengelola identitas, penempatan, perpindahan, transformasi, pembagian, dan materialisasi state tensor secara terpisah dari komputasi yang menghasilkan atau menggunakannya. 1

Gagasan utamanya bersifat arsitektural: alih-alih membangun pengelola bobot model, sistem KV Cache, jalur jaringan, dan backend penyimpanan secara terpisah, TensorCast menawarkan satu lapisan kendali untuk mengelola state dalam layanan AI yang dinamis.

Mengapa TensorCast dikembangkan?

Infrastruktur model bahasa besar (LLM) tidak hanya perlu memuat bobot model. Sistem juga harus mengelola blok KV Cache yang sangat dinamis serta berbagai state perantara selama proses inferensi. Dalam pendekatan konvensional, kebutuhan tersebut biasanya ditangani secara terpisah oleh mesin inferensi, scheduler, sistem jaringan, dan penyimpanan. Akibatnya, kebijakan yang melibatkan beberapa komponen sulit digabungkan atau diubah. 1

TensorCast memandang pengelolaan siklus hidup tensor sebagai lapisan sistem yang masih hilang. Aplikasi cukup menentukan apa yang perlu dilakukan terhadap suatu state tensor, sementara runtime memilih dan menjalankan proses penempatan, pemindahan, transformasi, serta materialisasinya di berbagai sumber daya dalam klaster. 1

Pendekatan ini berbeda dari object storage biasa yang umumnya memperlakukan data sebagai blob tanpa struktur. TensorCast juga tidak sama dengan framework yang berfokus pada komputasi, karena fokusnya adalah mengatur siklus hidup state tensor, bukan hanya menjadwalkan tugas. 1

Cara kerja dan rancangan inti TensorCast

• Objek tensor sebagai entitas utama: Setiap tensor memiliki identitas, kepemilikan, lokasi, dan aturan siklus hidup yang jelas. Dengan begitu, mesin dapat merujuk pada bobot model, blok KV Cache, atau state perantara tanpa harus mengetahui tensor tersebut berada di node mana, GPU mana, atau media penyimpanan apa. 1
• Primitif siklus hidup yang dapat dirangkai: Pengembang dapat menggabungkan operasi pemindahan, transformasi, prefetch, replikasi, dan materialisasi menjadi kebijakan sesuai kebutuhan beban kerja. Mereka tidak perlu mengubah infrastruktur tingkat rendah setiap kali ingin mencoba optimasi baru. 1
• Pemisahan kebijakan dan mekanisme: Kebijakan ditulis melalui API TensorCast, sedangkan runtime menangani eksekusi terdistribusi dan perpindahan data. Dengan model ini, perubahan kebijakan tidak harus diikuti perubahan pada mesin eksekusi yang mendasarinya. 1
• Pemisahan control plane dan data plane: Global Store (GS) menyimpan metadata klaster, seperti status worker atau node, lokasi tensor, kepemilikan, dan informasi penjadwalan. Sementara itu, Worker menjalankan perpindahan data yang sebenarnya. GS berfungsi sebagai koordinator, bukan jalur pengangkutan payload tensor, sehingga tidak mudah menjadi titik kemacetan transfer data. 1
• Dua strategi metadata: Objek yang jumlahnya relatif sedikit dan statis, seperti bobot model, dapat dilacak secara terpusat oleh GS. Sebaliknya, state yang jumlahnya besar dan dinamis, seperti KV Cache, dipecah menjadi shard. Worker yang menjadi rumah shard tersebut menjaga kepemilikan dan konsistensinya menggunakan lease serta fencing token. 1
• Materialisasi yang efisien: Replika di sisi Worker dapat mengekspos memori GPU melalui CUDA IPC atau memori CPU melalui handle memfd lokal. Untuk sumber jarak jauh, TensorCast mendukung penulisan langsung melalui RDMA. Mekanisme ini mengurangi penyalinan yang tidak perlu dan memungkinkan berbagi data GPU-ke-GPU atau jalur lokal jika tersedia. 6

Mengapa migrasi KV Cache menjadi lebih sederhana?

Dalam sistem layanan LLM konvensional, memindahkan sesi percakapan multi-putaran dapat memerlukan perubahan yang terkoordinasi pada router permintaan, implementasi KV Cache di mesin inferensi, serta backend cache dan jaringan.

Dengan TensorCast, sebuah kebijakan dapat mengidentifikasi objek tensor yang terkait dengan KV Cache suatu sesi, meminta agar objek tersebut ditempatkan atau dimaterialisasi di Worker tujuan, lalu mengarahkan permintaan berikutnya ke sana. Runtime TensorCast menangani pencarian, transfer, dan pengikatan memori. 1

Manfaat utamanya bukan berarti migrasi berlangsung tanpa biaya. Keuntungannya adalah kebijakan migrasi cukup ditulis satu kali di lapisan siklus hidup tensor, bukan diimplementasikan ulang pada beberapa komponen yang saling terkait. Hal ini memudahkan pengembangan kebijakan lintas komponen, misalnya routing berdasarkan lokasi cache, penggunaan ulang bobot, atau penempatan state yang saling berhubungan di lokasi yang sama. 1

Hasil pengujian yang dilaporkan

Peneliti mengintegrasikan TensorCast dengan vLLM dan SGLang, lalu mengujinya untuk materialisasi bobot, sinkronisasi bobot, pengelolaan KV Cache, serta routing permintaan yang dapat diprogram. 1

Beberapa hasil yang dilaporkan dalam preprint tersebut meliputi:

• Kinerja pengelolaan KV Cache yang kompetitif dengan Mooncake, sistem khusus untuk KV Cache, sembari tetap menawarkan fleksibilitas untuk membuat kebijakan yang menjangkau beberapa komponen sistem. 1
• Startup instance Qwen3-235B-A22B hingga 228,6 kali lebih cepat dibandingkan sistem berkas terdistribusi umum. Model tersebut memiliki total 235 miliar parameter, dengan 22 miliar parameter yang diaktifkan. 12
• Pada beban kerja agen dengan konkurensi tinggi dan percakapan multi-putaran, kebijakan TensorCast yang dapat diprogram dilaporkan menurunkan median time-to-first-token (TTFT) hingga 93,2 persen. 1

Hasil tersebut menunjukkan potensi TensorCast untuk infrastruktur AI yang elastis dan bersifat stateful. Startup model, routing dan migrasi yang memperhatikan lokasi cache, serta penggunaan ulang state tensor dapat ditangani sebagai kebijakan sistem yang dapat diprogram, bukan sebagai optimasi terpisah untuk setiap framework.

Namun, angka performa tersebut merupakan hasil eksperimen yang dilaporkan oleh penulis dalam sebuah preprint riset. Reproduksi independen dan validasi pada skala produksi masih diperlukan sebelum manfaatnya dapat dinilai secara lebih luas. 1