TensorCast：把大模型权重与 KV Cache 纳入统一生命周期管理

TensorCast是北京大学、阶跃星辰与北京邮电大学提出的一套“张量即服务”（Tensor-as-a-Service，TaaS）架构。它不是新的模型或推理引擎，而是位于计算、网络与存储系统之间的分布式、可编程张量生命周期管理层。

简单来说，TensorCast希望统一管理张量状态的身份、归属、位置、移动、转换、共享和物化，并将这些操作与产生或使用张量的计算逻辑分离开来。这样，模型权重、KV Cache和中间状态就不必分别由权重加载器、推理引擎、缓存系统、网络组件和存储后端各自管理。1

为什么需要TensorCast

大模型服务处理的并不只是静态的模型权重。一次推理服务还需要持续管理高度动态的KV Cache，以及可能在不同节点、GPU和存储介质之间流转的中间状态。

传统架构通常把这些能力嵌入不同组件：推理引擎负责计算和部分缓存逻辑，请求调度器决定流量去向，网络系统负责传输，存储系统负责保存权重或其他数据。这样的“竖井式”设计能够针对单一场景进行优化，却会带来两个问题：

• 相同的张量定位、迁移、复制和物化能力在多个系统中重复实现；
• 一项跨组件优化往往需要同时修改调度器、推理引擎、缓存后端和底层传输机制。1

TensorCast将张量生命周期管理视为大模型基础设施中缺失的一层抽象：应用只需描述希望如何处理张量状态，运行时则负责在集群资源之间完成定位、放置、移动、转换和物化。1

这也使它区别于通常把数据视为不透明“对象”的对象存储，以及主要围绕任务调度、而非张量状态生命周期进行设计的计算框架。1

TensorCast的核心设计

1. 张量成为一等对象

在TensorCast中，张量拥有明确的身份、所有权、位置和生命周期语义。推理引擎可以引用某个模型权重、KV Cache块或中间状态，而不必把“它位于哪台机器、哪块GPU、采用何种表示”硬编码进自身逻辑。1

2. 生命周期操作可以组合

TensorCast把移动、转换、预取、复制和物化等能力抽象为可组合的生命周期原语。开发者可以根据业务负载组合出特定策略，而不必为了每一种新优化反复修改底层基础设施。1

例如，系统可以围绕缓存局部性设计请求路由，也可以组合权重复用、KV Cache迁移和相关状态共置等策略。优化逻辑因此更接近普通程序或策略代码，而不是分散在多个基础组件中的定制补丁。1

3. 分离策略与执行机制

开发者通过TensorCast API描述张量管理策略，运行时负责分布式执行和数据移动。底层推理引擎无需为每一项张量管理优化进行深度改造，这种策略与机制的分离是TensorCast试图提供的主要系统价值。1

4. 控制平面与数据平面分离

TensorCast的Global Store（GS）主要维护集群元数据，例如Worker或节点状态、张量位置、所有权和调度信息；真正的大量张量数据则由Worker负责移动。

换言之，GS负责“协调”，而不是承载全部张量负载。这样可以避免Global Store本身成为数据传输瓶颈。1

对于数量较少、变化相对稳定的对象，例如模型权重，系统可以在GS中集中跟踪。对于数量庞大且变化频繁的状态，例如KV Cache，则采用分片管理：由负责某个分片的Worker维护所有权和一致性，并通过租约与fencing token（栅栏令牌）协调并发访问。1

5. 尽量减少数据复制

在本地，Worker侧副本可以通过CUDA IPC暴露GPU内存，或通过本地memfd句柄暴露CPU内存。在远程数据源场景中，TensorCast支持通过RDMA直接写入目标区域，从而减少不必要的中间拷贝；在条件允许时，也可以使用GPU到GPU或节点内共享路径。6

KV Cache迁移为何更容易

在传统大模型服务栈中，将一个多轮对话会话从一台推理实例迁移到另一台实例，通常需要同时协调请求路由器、推理引擎中的KV Cache实现，以及缓存或网络后端。

TensorCast则可以把会话相关的KV Cache视为一组具有明确身份的张量对象。迁移策略只需：

1. 找到该会话对应的KV张量对象；
2. 请求目标Worker完成相应的放置或物化；
3. 将后续请求路由到目标位置。

张量生命周期运行时负责查找、传输和内存绑定。1

这并不意味着迁移本身没有成本，而是意味着迁移策略不必在多个紧密耦合的组件中重复实现。对于基于缓存局部性的路由、模型权重复用，或将相关状态放置在同一位置等跨组件策略，这种统一抽象能够降低原型验证和部署的复杂度。1

论文报告了哪些实验结果

研究团队将TensorCast分别集成到vLLM和SGLang中，并评估了权重物化、权重同步、KV Cache管理以及可编程请求路由等功能。1

论文报告的主要结果包括：

• TensorCast的KV Cache性能与专用KV Cache系统Mooncake具有竞争力，同时保留了跨多个组件编写管理策略的灵活性。1
• 在启动Qwen3-235B-A22B实例时，TensorCast相较常见分布式文件系统最高实现228.6倍的启动速度提升。Qwen3-235B-A22B总参数量为2350亿，激活参数量为220亿。12
• 在高并发、多轮对话的Agent工作负载中，一项可编程TensorCast策略将首字延迟（time-to-first-token，TTFT）的中位数最高降低93.2%。1

这些结果显示，TensorCast可能适合弹性、状态化的大模型基础设施：模型实例可以更快启动，路由可以感知缓存位置，会话状态可以迁移和复用，而相关能力不必再被锁定在某一个推理框架或专用后端中。

不过，这些性能数字是研究论文预印本中报告的实验结果，并不等同于已经在所有生产环境中得到验证。其可复现性、不同硬件和网络条件下的表现，以及大规模生产部署中的运维成本，仍需要进一步独立评估。1