英伟达在2026年11月5日提出，AI内存压力并非只靠增加GPU内存容量就能解决。更大的模型、更长的上下文和智能体工作负载，会让模型权重与推理上下文争用有限的高带宽内存（HBM）；与此同时，英伟达称供应趋紧、价格走高。9 公司给出的思路，是协同设计整套系统，让每一字节内存支持更多有效推理工作。20

英伟达提出的五种内存效率手段

1. 用NVFP4压缩模型权重

英伟达称，NVFP4可将模型权重占用降至FP16的约三分之一点五、FP8的约二分之一点八，同时保持准确度。20 权重占用更小，理论上就能为上下文和并发请求等推理需求腾出更多HBM空间。这些是英伟达公布的数据，并不意味着所有模型或部署环境都能获得相同结果。

2. 分散混合专家模型的权重

宽专家并行（Wide Expert Parallelism）将混合专家模型的权重分布到多张GPU上，而不是让每张GPU都存放完整权重集合。英伟达认为，这样可以降低单张GPU上的权重占用，为推理上下文留出空间。20 实际效果则取决于模型、专家的部署方式，以及GPU之间的数据传输需求。

3. 在推理集群中管理上下文

英伟达将Dynamo描述为一层推理服务软件，可根据KV缓存状态路由请求，并协调整个集群中的缓存使用。20 KV缓存保存模型处理上下文时产生的中间状态；如果后续请求能复用这些状态，就有机会避免重复计算。能否受益，取决于上下文是否可复用，以及查找和读取缓存是否划算。

4. 引入CPU内存层

在英伟达的方案中，Vera CPU是协同系统的一部分，并非GPU内存的直接替代品。20 分层设计可以让CPU内存补充HBM：不必始终留在GPU最快内存中的数据，可以由其他层承接。现有材料没有说明这一方案具体如何迁移数据，也没有提供相应延迟结果。

5. 增加上下文存储层

英伟达的CMX上下文内存存储平台，为GPU内存和CPU之外再增加一个上下文存储层。20 其架构目标是避免把HBM视为上下文唯一可用的存放位置。对具体应用是否有帮助，仍要看搬运上下文的成本，以及应用对响应时间的要求。

“最高30倍”意味着什么？

现有报道提到一项醒目的“最高30倍”吞吐量说法，但统计口径并不一致：一篇报道描述的是单位成本吞吐量，另一份摘要则说是单位兆瓦吞吐量。1920 两者不能互换；现有材料也不足以独立评估测试设置，或确认这一结果能否在实际生产环境中复现。

因此，内存效率更高，并不自动等于应用更快或成本更低。要比较实际效果，还需结合模型质量、延迟、功耗和具体工作负载的总成本，而不能只看峰值吞吐量。

关键看系统如何配合

英伟达的方案是一套系统策略：压缩权重、在加速器间分布权重、复用推理上下文，并把CPU和存储纳入内存规划。五项手段共同指向一个目标：缓解HBM压力，而不是只依赖增加HBM容量。20

目前公开信息对方案中的设计手段交代得较清楚，对最亮眼的性能数字则支持有限。评估这些效率数据时，应先了解基准测试条件，再看它们在有代表性的实际工作负载中表现如何。

英伟达在2026年11月5日提出，AI内存压力并非只靠增加GPU内存容量就能解决。更大的模型、更长的上下文和智能体工作负载，会让模型权重与推理上下文争用有限的高带宽内存（HBM）；与此同时，英伟达称供应趋紧、价格走高。9 公司给出的思路，是协同设计整套系统，让每一字节内存支持更多有效推理工作。20

英伟达提出的五种内存效率手段

1. 用NVFP4压缩模型权重

英伟达称，NVFP4可将模型权重占用降至FP16的约三分之一点五、FP8的约二分之一点八，同时保持准确度。20 权重占用更小，理论上就能为上下文和并发请求等推理需求腾出更多HBM空间。这些是英伟达公布的数据，并不意味着所有模型或部署环境都能获得相同结果。

2. 分散混合专家模型的权重

宽专家并行（Wide Expert Parallelism）将混合专家模型的权重分布到多张GPU上，而不是让每张GPU都存放完整权重集合。英伟达认为，这样可以降低单张GPU上的权重占用，为推理上下文留出空间。20 实际效果则取决于模型、专家的部署方式，以及GPU之间的数据传输需求。

3. 在推理集群中管理上下文

英伟达将Dynamo描述为一层推理服务软件，可根据KV缓存状态路由请求，并协调整个集群中的缓存使用。20 KV缓存保存模型处理上下文时产生的中间状态；如果后续请求能复用这些状态，就有机会避免重复计算。能否受益，取决于上下文是否可复用，以及查找和读取缓存是否划算。

4. 引入CPU内存层

在英伟达的方案中，Vera CPU是协同系统的一部分，并非GPU内存的直接替代品。20 分层设计可以让CPU内存补充HBM：不必始终留在GPU最快内存中的数据，可以由其他层承接。现有材料没有说明这一方案具体如何迁移数据，也没有提供相应延迟结果。

5. 增加上下文存储层

英伟达的CMX上下文内存存储平台，为GPU内存和CPU之外再增加一个上下文存储层。20 其架构目标是避免把HBM视为上下文唯一可用的存放位置。对具体应用是否有帮助，仍要看搬运上下文的成本，以及应用对响应时间的要求。

“最高30倍”意味着什么？

现有报道提到一项醒目的“最高30倍”吞吐量说法，但统计口径并不一致：一篇报道描述的是单位成本吞吐量，另一份摘要则说是单位兆瓦吞吐量。1920 两者不能互换；现有材料也不足以独立评估测试设置，或确认这一结果能否在实际生产环境中复现。

因此，内存效率更高，并不自动等于应用更快或成本更低。要比较实际效果，还需结合模型质量、延迟、功耗和具体工作负载的总成本，而不能只看峰值吞吐量。

关键看系统如何配合

英伟达的方案是一套系统策略：压缩权重、在加速器间分布权重、复用推理上下文，并把CPU和存储纳入内存规划。五项手段共同指向一个目标：缓解HBM压力，而不是只依赖增加HBM容量。20

目前公开信息对方案中的设计手段交代得较清楚，对最亮眼的性能数字则支持有限。评估这些效率数据时，应先了解基准测试条件，再看它们在有代表性的实际工作负载中表现如何。