答案已发布13 来源
AI推理首字响应快56倍？先看懂共享KV缓存的测试结果
Supermicro、IBM与NVIDIA于2026年11月5日公布共享存储KV缓存方案；联合测试称，处理13万个词元的提示词时，首个词元响应时间最高快56倍。[5][13] 方案结合Supermicro Petascale全闪存服务器、AMD EPYC 9005处理器、IBM Storage Scale、NVIDIA Dynamo与Spectrum X以太网。[6] 56倍衡量的是模型开始作答前的等待时间，不代表完整答案也能快56倍；实际收益取决于新请求能否复用已有缓存内容。
发布者使用 GPT-6 Luna 编辑图片由 GPT Image 2 生成
研究答案
要点
- Supermicro、IBM与NVIDIA于2026年11月5日公布共享存储KV缓存方案；联合测试称，处理13万个词元的提示词时，首个词元响应时间最高快56倍。[5][13]
- 方案结合Supermicro Petascale全闪存服务器、AMD EPYC 9005处理器、IBM Storage Scale、NVIDIA Dynamo与Spectrum X以太网。[6]
- 56倍衡量的是模型开始作答前的等待时间，不代表完整答案也能快56倍；实际收益取决于新请求能否复用已有缓存内容。
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro、IBM与NVIDIA于2026年11月5日宣布推出一套共享存储键值（KV）缓存方案，目标是让AI推理系统复用已经处理过的上下文，减少重复计算。三家公司称，在一项使用13万个词元提示词的联合测试中，首个词元响应时间（TTFT）最高提升至原来的约56倍。5
13
这里的“首个词元”指模型开始输出回答时生成的第一个文本单元。它反映的是用户要等多久才能看到回应，并不等于整段答案的生成速度提高了56倍。
这套方案由哪些部分组成？
公布的系统整合了搭载AMD EPYC 9005系列处理器的Supermicro Petascale全闪存存储服务器、IBM Storage Scale软件、NVIDIA Dynamo推理软件，以及NVIDIA Spectrum-X以太网网络。6
KV缓存保存模型处理过程中产生、之后可能再次用到的中间状态。把可复用内容放在GPU本地显存之外的共享存储中，设计目标是让后续推理任务在需要时取用，避免每次都从头处理相同上下文。对于很长的提示词或反复出现的内容，这种做法有望减少重复计算。5
13
不过，现有公告信息列出了方案组件，并未充分说明不同节点之间具体如何传递缓存、如何协调调用。因此，不宜仅凭组件清单推断其跨节点运作的全部细节。
“快56倍”具体测的是什么？
TTFT（time-to-first-token，首个词元响应时间）是从系统开始处理请求到输出第一个词元所需的时间。Supermicro与NVIDIA公布的结果，比较的是长上下文提示词在使用与不使用KV缓存时的这段等待时间。相关报道提到，测试使用了1200亿参数模型和13万个词元的提示词。5
13
这一区别很关键：TTFT降低，意味着系统能更早开始回应；它本身不能证明后续内容也会以相同比例更快生成。单一测试中的结果，也不能直接代表所有模型、提示词和部署环境都能获得同样幅度的提升。
实际收益取决于缓存能否复用
缓存只有在新请求包含此前处理过、且仍可复用的上下文时，才可能省下相应的重复计算。例如，反复使用的指令、文档或对话历史，可能提供复用机会；全新的或不兼容的上下文仍需要处理。能否获得明显改善，因而取决于缓存内容是否恰好派得上用场，以及存储和网络的运行情况。
因此，56倍是公司公布的特定测试结果，不是对每位客户、每种工作负载的性能保证。5
13评估这类方案时，除了确认“有没有缓存”，更要看实际任务能复用多少上下文，以及改善首个响应时间是否能带来所需的吞吐量或使用体验。
Studio Global AI
继续你的研究
此页面包含一个有来源支持的答案，您可以在 Studio Global 内继续。
人们还问
“AI推理首字响应快56倍？先看懂共享KV缓存的测试结果”的简短答案是什么？
Supermicro、IBM与NVIDIA于2026年11月5日公布共享存储KV缓存方案；联合测试称，处理13万个词元的提示词时，首个词元响应时间最高快56倍。[5][13]
首先要验证的关键点是什么？
Supermicro、IBM与NVIDIA于2026年11月5日公布共享存储KV缓存方案；联合测试称，处理13万个词元的提示词时，首个词元响应时间最高快56倍。[5][13] 方案结合Supermicro Petascale全闪存服务器、AMD EPYC 9005处理器、IBM Storage Scale、NVIDIA Dynamo与Spectrum X以太网。[6]
接下来在实践中我应该做什么？
56倍衡量的是模型开始作答前的等待时间，不代表完整答案也能快56倍；实际收益取决于新请求能否复用已有缓存内容。