答案已發布13 個來源
最高快 56 倍？Supermicro、IBM、NVIDIA 的 KV 快取方案，重點在「更早開始回覆」
Supermicro、IBM 與 NVIDIA 於 2026 年 11 月 5 日公布共享式 AI 推論 KV 快取方案；廠商聯合測試稱，對 13 萬 token 提示詞，首 token 延遲最高改善 56 倍。[5][13] 方案整合採用 AMD EPYC 9005 系列處理器的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale、NVIDIA Dynamo 與 Spectrum X Ethernet。[6] 56 倍指模型開始輸出第一個 token 前的等待時間，不是完整回答的生成速度；效益仍取決於後續請求能否重用已處理的內容。
發布者使用 GPT-6 Luna 編輯圖片由 GPT Image 2 生成
研究答案
重點整理
- Supermicro、IBM 與 NVIDIA 於 2026 年 11 月 5 日公布共享式 AI 推論 KV 快取方案；廠商聯合測試稱，對 13 萬 token 提示詞，首 token 延遲最高改善 56 倍。[5][13]
- 方案整合採用 AMD EPYC 9005 系列處理器的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale、NVIDIA Dynamo 與 Spectrum X Ethernet。[6]
- 56 倍指模型開始輸出第一個 token 前的等待時間，不是完整回答的生成速度；效益仍取決於後續請求能否重用已處理的內容。
- 目前提供的資料未呈現完整測試細節或獨立商用驗證，因此不宜把單一測試結果視為所有模型與部署環境的保證。
AI 提示詞
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro、IBM 與 NVIDIA 在 2026 年 11 月 5 日公布一套共享式 KV（鍵值）快取儲存方案，目標是把已處理、可重複使用的 AI 推論內容保存在 GPU 本機記憶體以外，讓後續請求有機會沿用，減少重複計算。5
13
三家公司表示，在 13 萬 token 的長提示詞測試中，這套方案讓首 token 延遲（time-to-first-token，TTFT）最高改善 56 倍；相關報導也提到測試使用 1,200 億參數模型。5
13 不過，這個數字談的是模型開始回覆前的等待時間，不等於生成整段答案也快 56 倍。
共享快取方案由哪些部分組成？
公告中的硬體與軟體組合包括：採用 AMD EPYC 9005 系列處理器的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale、NVIDIA Dynamo 推論軟體，以及 NVIDIA Spectrum-X Ethernet 網路。6
KV 快取會保存模型推論過程中已計算的中間狀態。把可重用內容放在 GPU 記憶體之外的共享儲存層，理論上能讓其他需要相同內容的推論工作取用，而不必從頭重算。5
13 但現有資料並未說明各節點之間如何傳送、協調快取，也未交代不同工作負載實際取用快取的方式；因此不宜將可能的運作方式當成已確認的實作細節。
「快 56 倍」究竟在量什麼？
TTFT 是送出請求後，到模型產生第一個 token 為止的時間。對使用者而言，它反映的是「多久開始看到回覆」，而不是回答全部生成完畢所需的時間。Supermicro 與 NVIDIA 的說法，是比較長提示詞測試中有無 KV 快取時的 TTFT，並稱最高可改善 56 倍。5
13
這個差別很重要：快取可能讓系統更早開始回答，但後續文字的生成速度仍受其他因素影響。單一測試結果也不能直接推論到所有模型、提示詞、部署配置或使用情境。
效益關鍵：內容能不能再次用上
快取的價值來自「重用」。如果多個請求包含相同的指令、文件或對話脈絡，系統可能省下部分重複計算；若新請求帶入的是不同或不相容的內容，就仍須處理新的資訊。實際成效因此會受到可重用內容的比例，以及儲存與網路存取表現影響。
目前可見的資料主要是廠商公告與相關報導摘要，未提供完整測試表、足以比對不同配置的細節，或獨立商用驗證結果。現有資料也未列出方案價格、供貨時程或已部署的正式客戶名單。換句話說，56 倍是特定聯合測試中的廠商效能主張，並非每種工作負載都能達到的保證。5
13
對評估這套方案的團隊來說，關鍵不只是「有沒有快取」，而是實際工作負載有多少內容能重複利用，以及這種重用能否改善最在意的指標——例如開始回覆的時間或整體處理量。
Studio Global AI
繼續深入研究
這個頁面包含附來源佐證的答案，你可以在 Studio Global 內繼續追問。
大家也會問
「最高快 56 倍？Supermicro、IBM、NVIDIA 的 KV 快取方案，重點在「更早開始回覆」」的簡短答案是什麼？
Supermicro、IBM 與 NVIDIA 於 2026 年 11 月 5 日公布共享式 AI 推論 KV 快取方案；廠商聯合測試稱，對 13 萬 token 提示詞，首 token 延遲最高改善 56 倍。[5][13]
最值得優先驗證的重點是什麼？
Supermicro、IBM 與 NVIDIA 於 2026 年 11 月 5 日公布共享式 AI 推論 KV 快取方案；廠商聯合測試稱，對 13 萬 token 提示詞，首 token 延遲最高改善 56 倍。[5][13] 方案整合採用 AMD EPYC 9005 系列處理器的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale、NVIDIA Dynamo 與 Spectrum X Ethernet。[6]
接下來在實務上該怎麼做？
56 倍指模型開始輸出第一個 token 前的等待時間，不是完整回答的生成速度；效益仍取決於後續請求能否重用已處理的內容。