Nvidia 在 2026 年 11 月 5 日提出的核心論點是：AI 記憶體壓力，不能只靠增加 GPU 記憶體容量解決。模型變大、上下文變長，加上代理式 AI 工作負載增加，模型權重與推論時的上下文都得爭用有限的高頻寬記憶體（HBM）；Nvidia 也指出，供應趨緊、價格上升的情況預計還會持續一段時間。9 它主張透過整體系統協同設計，讓每個位元組支援更多有用的推論工作。20

Nvidia 提出的五個記憶體效率槓桿

1. 以 NVFP4 壓縮模型權重

Nvidia 表示，NVFP4 可在維持準確度的前提下，讓模型權重占用空間較 FP16 約減少至 3.5 分之 1、較 FP8 約減少至 1.8 分之 1。20 權重占用變小，理論上就能為上下文及同時處理的請求騰出更多 HBM。不過，這是 Nvidia 公布的數字，不代表每個模型或部署環境都能得到相同結果。

2. 分散混合專家模型的權重

廣泛專家平行化（wide expert parallelism）會將混合專家（MoE）模型的專家權重分散到多張 GPU，而不是讓每張 GPU 都保存完整權重集合。Nvidia 認為，這能降低單張 GPU 的權重占用，替推論上下文留出更多空間。20 實際效果則取決於模型設計、專家如何配置，以及 GPU 之間傳輸資料所需的成本。

3. 在服務叢集中管理上下文

Nvidia 將 Dynamo 描述為推論服務層，可依 KV 快取狀態路由請求，並協調整個服務叢集的快取使用。20 其構想是，在可行時重用既有上下文，避免一再重新計算。若上下文確實能重複使用，這可能改善記憶體效率；但效益仍取決於重用機會，以及搜尋和取回快取是否值得。

4. 加入 CPU 記憶體層

Vera CPU 是 Nvidia 整體系統構想的一環，不是 GPU 記憶體的直接替代品。20 在分層架構中，CPU 記憶體可搭配 HBM，存放不必常駐於 GPU 最快記憶體的資料。現有來源未提供此作法的詳細資料搬移政策或延遲測試結果。

5. 增設上下文記憶體儲存層

CMX 是 Nvidia 的上下文記憶體儲存平台，也是這套策略的一部分：讓上下文可存放在 GPU 記憶體與 CPU 之外的另一層儲存空間。20 架構上的目標，是不再把 HBM 當成上下文唯一的存放位置。但特定應用能否受益，仍須看搬移上下文的成本，以及應用對回應時間的要求。

「最高 30 倍」能說明什麼，又不能證明什麼？

現有報導提到一項醒目的「最高 30 倍」吞吐量說法，但各報導使用的衡量方式並不一致：一則報導描述的是每美元吞吐量，另一份摘要則寫成每兆瓦吞吐量。1920 兩種指標不能互換；目前可見資料也不足以獨立評估基準測試設定，或確認實際部署能否達到該結果。

這項差異很重要。記憶體效率提升，不等於應用一定更快或成本一定更低。要做有意義的比較，必須根據實際服務的工作負載，一併考量模型品質、延遲、耗電與總成本，而不能只看峰值吞吐量。

重點在整套系統，而非單一規格

Nvidia 的方案是一種系統策略：壓縮權重、將權重分散至多個加速器、重用推論上下文，並把 CPU 和儲存層納入記憶體規劃。這五項設計說明了 Nvidia 如何嘗試減輕 HBM 壓力，而不是只仰賴增加 HBM 容量。20

目前的資料對這套策略及其設計項目說明得較清楚，對最亮眼的效能宣稱則支持有限。在測試條件與代表性工作負載的實際表現尚未釐清前，這些效率數字仍應視為廠商宣稱。

Nvidia 在 2026 年 11 月 5 日提出的核心論點是：AI 記憶體壓力，不能只靠增加 GPU 記憶體容量解決。模型變大、上下文變長，加上代理式 AI 工作負載增加，模型權重與推論時的上下文都得爭用有限的高頻寬記憶體（HBM）；Nvidia 也指出，供應趨緊、價格上升的情況預計還會持續一段時間。9 它主張透過整體系統協同設計，讓每個位元組支援更多有用的推論工作。20

Nvidia 提出的五個記憶體效率槓桿

1. 以 NVFP4 壓縮模型權重

Nvidia 表示，NVFP4 可在維持準確度的前提下，讓模型權重占用空間較 FP16 約減少至 3.5 分之 1、較 FP8 約減少至 1.8 分之 1。20 權重占用變小，理論上就能為上下文及同時處理的請求騰出更多 HBM。不過，這是 Nvidia 公布的數字，不代表每個模型或部署環境都能得到相同結果。

2. 分散混合專家模型的權重

廣泛專家平行化（wide expert parallelism）會將混合專家（MoE）模型的專家權重分散到多張 GPU，而不是讓每張 GPU 都保存完整權重集合。Nvidia 認為，這能降低單張 GPU 的權重占用，替推論上下文留出更多空間。20 實際效果則取決於模型設計、專家如何配置，以及 GPU 之間傳輸資料所需的成本。

3. 在服務叢集中管理上下文

Nvidia 將 Dynamo 描述為推論服務層，可依 KV 快取狀態路由請求，並協調整個服務叢集的快取使用。20 其構想是，在可行時重用既有上下文，避免一再重新計算。若上下文確實能重複使用，這可能改善記憶體效率；但效益仍取決於重用機會，以及搜尋和取回快取是否值得。

4. 加入 CPU 記憶體層

Vera CPU 是 Nvidia 整體系統構想的一環，不是 GPU 記憶體的直接替代品。20 在分層架構中，CPU 記憶體可搭配 HBM，存放不必常駐於 GPU 最快記憶體的資料。現有來源未提供此作法的詳細資料搬移政策或延遲測試結果。

5. 增設上下文記憶體儲存層

CMX 是 Nvidia 的上下文記憶體儲存平台，也是這套策略的一部分：讓上下文可存放在 GPU 記憶體與 CPU 之外的另一層儲存空間。20 架構上的目標，是不再把 HBM 當成上下文唯一的存放位置。但特定應用能否受益，仍須看搬移上下文的成本，以及應用對回應時間的要求。

「最高 30 倍」能說明什麼，又不能證明什麼？

現有報導提到一項醒目的「最高 30 倍」吞吐量說法，但各報導使用的衡量方式並不一致：一則報導描述的是每美元吞吐量，另一份摘要則寫成每兆瓦吞吐量。1920 兩種指標不能互換；目前可見資料也不足以獨立評估基準測試設定，或確認實際部署能否達到該結果。

這項差異很重要。記憶體效率提升，不等於應用一定更快或成本一定更低。要做有意義的比較，必須根據實際服務的工作負載，一併考量模型品質、延遲、耗電與總成本，而不能只看峰值吞吐量。

重點在整套系統，而非單一規格

Nvidia 的方案是一種系統策略：壓縮權重、將權重分散至多個加速器、重用推論上下文，並把 CPU 和儲存層納入記憶體規劃。這五項設計說明了 Nvidia 如何嘗試減輕 HBM 壓力，而不是只仰賴增加 HBM 容量。20

目前的資料對這套策略及其設計項目說明得較清楚，對最亮眼的效能宣稱則支持有限。在測試條件與代表性工作負載的實際表現尚未釐清前，這些效率數字仍應視為廠商宣稱。