TensorCast: Lớp quản lý tensor hợp nhất cho hạ tầng AI thế hệ mới

TensorCast là đề xuất về một lớp Tensor-as-a-Service (TaaS): hệ thống phân tán, có thể lập trình để quản lý danh tính, vị trí, việc di chuyển, biến đổi, chia sẻ và hiện thực hóa trạng thái tensor—độc lập với phép tính tạo ra hoặc sử dụng trạng thái đó. Về mặt kiến trúc, mục tiêu của TensorCast là thay thế các cơ chế được xây dựng rời rạc cho việc nạp trọng số, quản lý KV Cache, truyền dữ liệu qua mạng và truy cập lưu trữ bằng một giao diện điều khiển thống nhất cho hoạt động phục vụ AI động. 1

Vì sao TensorCast được phát triển?

Các hệ thống mô hình ngôn ngữ lớn (LLM) không chỉ phải quản lý trọng số mô hình có tính ổn định tương đối. Chúng còn phải xử lý những khối KV Cache thay đổi liên tục trong các phiên hội thoại nhiều lượt, cùng nhiều trạng thái tensor trung gian khác. Theo cách triển khai truyền thống, các nhiệm vụ này thường bị nhúng vào những thành phần riêng biệt như engine suy luận, bộ lập lịch, cơ chế truyền mạng và backend lưu trữ. Vì vậy, việc kết hợp hoặc thay đổi chính sách tối ưu trở nên phức tạp. 1

TensorCast xem quản lý vòng đời tensor là một lớp còn thiếu trong hạ tầng LLM. Ứng dụng chỉ cần mô tả cần làm gì với trạng thái tensor; runtime sẽ lựa chọn và thực thi việc đặt dữ liệu, di chuyển, biến đổi hoặc hiện thực hóa dữ liệu trên các tài nguyên trong cụm máy. 1

Cách tiếp cận này khác với kho lưu trữ đối tượng thông thường, vốn thường coi dữ liệu là những “khối” không có cấu trúc, và cũng khác với các framework lấy tính toán làm trung tâm, chủ yếu lập lịch tác vụ thay vì quản lý toàn bộ vòng đời của trạng thái tensor. 1

Những thành phần cốt lõi của TensorCast

• Đối tượng tensor hạng nhất: Mỗi tensor có danh tính, quyền sở hữu, vị trí và ngữ nghĩa vòng đời rõ ràng. Nhờ đó, engine có thể tham chiếu đến trọng số, khối KV Cache hoặc trạng thái trung gian mà không cần tự mã hóa thông tin tensor đang nằm ở node nào, GPU nào hay dưới dạng lưu trữ nào. 1
• Các nguyên thủy vòng đời có thể kết hợp: Nhà phát triển có thể ghép các thao tác như di chuyển, biến đổi, nạp trước, nhân bản và hiện thực hóa thành chính sách phù hợp với từng workload, thay vì phải sửa hạ tầng cấp thấp cho mỗi tối ưu hóa mới. 1
• Tách chính sách khỏi cơ chế thực thi: Chính sách được viết thông qua API của TensorCast, còn runtime đảm nhận việc thực thi phân tán và di chuyển dữ liệu. Về nguyên tắc, điều này không đòi hỏi phải thay đổi engine thực thi bên dưới. 1
• Tách mặt phẳng điều khiển và mặt phẳng dữ liệu: Global Store (GS) duy trì siêu dữ liệu của cụm, chẳng hạn trạng thái worker/node, vị trí tensor, quyền sở hữu và thông tin lập lịch. Các Worker mới là thành phần thực hiện truyền dữ liệu thực tế. GS chỉ điều phối thay vì vận chuyển payload tensor, qua đó tránh trở thành nút thắt cổ chai. 1
• Hai chiến lược quản lý siêu dữ liệu: Những đối tượng có số lượng ít và tương đối tĩnh, như trọng số mô hình, có thể được theo dõi tập trung trong GS. Ngược lại, trạng thái có số lượng lớn và biến động cao như KV Cache được phân mảnh; một Worker phụ trách từng shard sẽ duy trì quyền sở hữu và tính nhất quán thông qua lease cùng fencing token. 1
• Hiện thực hóa hiệu quả: Replica ở phía Worker có thể cung cấp vùng nhớ GPU thông qua CUDA IPC hoặc vùng nhớ CPU thông qua handle memfd cục bộ. Với nguồn dữ liệu từ xa, TensorCast hỗ trợ ghi trực tiếp qua RDMA. Các cơ chế này hạn chế việc sao chép không cần thiết và cho phép chia sẻ cục bộ hoặc truyền GPU-to-GPU khi hạ tầng hỗ trợ. 6

Vì sao việc di chuyển KV Cache trở nên đơn giản hơn?

Trong một stack phục vụ LLM truyền thống, khi chuyển một phiên hội thoại nhiều lượt từ instance này sang instance khác, nhà vận hành có thể phải phối hợp thay đổi bộ định tuyến yêu cầu, phần triển khai KV Cache bên trong engine suy luận và backend cache/mạng.

Với TensorCast, một chính sách có thể xác định các đối tượng tensor chứa KV Cache của phiên, yêu cầu đặt hoặc hiện thực hóa chúng tại Worker đích, rồi chuyển các yêu cầu tiếp theo tới đó. Runtime quản lý vòng đời sẽ đảm nhận việc tra cứu, truyền dữ liệu và liên kết với vùng nhớ. 1

Điểm đáng chú ý không phải là quá trình di chuyển trở nên miễn phí. Lợi ích nằm ở chỗ chính sách chỉ cần được biểu đạt một lần tại lớp vòng đời tensor, thay vì phải được triển khai lại trong nhiều thành phần phụ thuộc chặt chẽ lẫn nhau. Điều này giúp việc thử nghiệm và triển khai các chính sách liên thành phần trở nên thực tế hơn—chẳng hạn định tuyến dựa trên vị trí KV Cache, tái sử dụng trọng số hoặc đặt các trạng thái liên quan trên cùng một nơi. 1

Kết quả thử nghiệm cho thấy điều gì?

Nhóm nghiên cứu đã tích hợp TensorCast với cả vLLM và SGLang, sau đó đánh giá các nhiệm vụ gồm hiện thực hóa trọng số, đồng bộ trọng số, quản lý KV Cache và định tuyến yêu cầu có thể lập trình. 1

Theo kết quả được báo cáo, hiệu năng quản lý KV Cache của TensorCast có tính cạnh tranh với Mooncake, một hệ thống chuyên dụng cho KV Cache, trong khi vẫn giữ khả năng xây dựng chính sách bao trùm nhiều thành phần khác nhau. 1

Với việc khởi động một instance của Qwen3-235B-A22B—mô hình có tổng cộng 235 tỷ tham số, trong đó 22 tỷ tham số được kích hoạt—bài báo báo cáo thời gian khởi động nhanh hơn tới 228,6 lần so với các hệ thống tệp phân tán phổ biến. 12

Trong các workload agent có mức đồng thời cao và hội thoại nhiều lượt, một chính sách TensorCast có thể lập trình được báo cáo là đã giảm tới 93,2% thời gian trung vị để tạo token đầu tiên (TTFT). TTFT là khoảng thời gian người dùng phải chờ trước khi mô hình bắt đầu trả về token đầu tiên. 1

Ý nghĩa đối với hạ tầng AI động

Các kết quả này cho thấy tiềm năng của TensorCast đối với hạ tầng AI có trạng thái và khả năng mở rộng linh hoạt: khởi động mô hình nhanh, định tuyến và di chuyển dựa trên vị trí cache, cũng như tái sử dụng trạng thái tensor có thể được xử lý như những chính sách hệ thống có thể lập trình, thay vì các tối ưu hóa riêng lẻ gắn với từng framework. 1

Tuy nhiên, các con số trên là kết quả thực nghiệm do nhóm tác giả báo cáo trong một bản thảo nghiên cứu. Việc tái lập độc lập và đánh giá ở quy mô sản xuất vẫn cần thiết trước khi có thể kết luận về hiệu quả trong mọi môi trường triển khai. 1