AI模型愈做愈大、對話上下文愈拉愈長，加上代理式AI工作負載增加，模型權重和推理時使用的上下文都要爭用有限的高頻寬記憶體（HBM）。Nvidia指，記憶體供應正趨緊，價格亦上升；單靠增加GPU記憶體容量，未必足以應付需求。9

Nvidia在2026年11月5日提出的方向，是將GPU、CPU、網絡、儲存和軟件一併設計，務求令每一個位元組都支援更多有用的推理工作。20 簡單講，唔只係「加多啲記憶體」，而係想減少浪費、重用已有資料，並按需要將資料放到不同層級。

Nvidia提出的五項記憶體效率做法

1. 用NVFP4壓縮模型權重

Nvidia表示，NVFP4可令模型權重佔用的空間，較FP16少約3.5倍、較FP8少約1.8倍，同時維持準確度。20 權重佔用少咗，理論上就可以騰出更多HBM，留畀上下文和同時處理的請求。

不過，這些是Nvidia公布的數字，唔代表每個模型、每種部署方式都會得到相同效果。

2. 將混合專家模型的權重分散到多張GPU

廣泛專家平行處理（wide expert parallelism）會將混合專家模型（Mixture of Experts）的專家權重分散到多張GPU，而唔係要求每張GPU都放齊全部權重。Nvidia認為，這樣可減少單張GPU的權重佔用，為推理上下文留出更多空間。20

實際得益要視乎模型設計、專家如何分配，以及GPU之間搬運資料所需的成本。

3. 由Dynamo協調整個推理服務群組的上下文

Nvidia將Dynamo定位為推理服務層，可按KV快取狀態分配請求，並協調整個服務群組的快取使用。20 KV快取會保存生成內容時已計算的部分上下文；如果之後的請求可以重用，就有機會避免重複計算。

但唔係所有上下文都可以重用，搵出及讀取快取亦有成本。所以，效益會視乎工作負載，以及重用快取是否比重新計算更划算。

4. 加入Vera CPU作為另一個記憶體層級

Vera CPU是Nvidia整體系統構想的一部分，並非GPU記憶體的直接替代品。20 在分層設計之下，CPU記憶體可以配合HBM，存放毋須一直留在GPU最快記憶體內的資料。

現有資料未有交代這種安排的詳細資料轉移政策，亦未提供相應延遲表現，因此未能判斷不同應用會有幾大得益。

5. 用CMX儲存上下文資料

CMX是Nvidia的上下文記憶體儲存平台，屬於GPU記憶體和CPU以外的另一層儲存。20 設計目標，是唔將HBM視為上下文唯一可以存放的地方。

不過，將上下文搬入搬出要花時間。對特定應用有冇幫助，要看資料存取成本，以及應用對回應速度的要求。

「最高30倍」未必代表同一種效能比較

現有報道提到一項引人注目的「最高30倍」吞吐量說法，但不同資料所講的指標並不一致：一篇報道指每美元吞吐量，另一份摘要則指每兆瓦吞吐量。1920 兩者唔可以當成同一個數字比較，而現有資料亦不足以獨立評估測試設定，或確認實際部署會否達到相關結果。

要留意，記憶體效率提高，唔等於應用一定更快或更平。比較方案時，亦要看模型質素、延遲、耗電量，以及特定工作負載下的總成本，而唔係只看最高吞吐量。

重點：這是一套系統策略，效能數字仍要看測試條件

Nvidia的方案包含幾個互相配合的方向：壓縮權重、將權重分散到多張加速器、重用推理上下文，並將CPU和儲存層納入記憶體規劃。這五項做法反映Nvidia希望在不只靠增加HBM的情況下，減輕記憶體壓力。20

現有證據較清楚支持這套策略及其設計方向，但未足以證實最亮眼的效能宣稱。未有測試條件和具代表性的實際工作負載結果之前，相關效率數字宜先視為廠商說法。

AI模型愈做愈大、對話上下文愈拉愈長，加上代理式AI工作負載增加，模型權重和推理時使用的上下文都要爭用有限的高頻寬記憶體（HBM）。Nvidia指，記憶體供應正趨緊，價格亦上升；單靠增加GPU記憶體容量，未必足以應付需求。9

Nvidia在2026年11月5日提出的方向，是將GPU、CPU、網絡、儲存和軟件一併設計，務求令每一個位元組都支援更多有用的推理工作。20 簡單講，唔只係「加多啲記憶體」，而係想減少浪費、重用已有資料，並按需要將資料放到不同層級。

Nvidia提出的五項記憶體效率做法

1. 用NVFP4壓縮模型權重

Nvidia表示，NVFP4可令模型權重佔用的空間，較FP16少約3.5倍、較FP8少約1.8倍，同時維持準確度。20 權重佔用少咗，理論上就可以騰出更多HBM，留畀上下文和同時處理的請求。

不過，這些是Nvidia公布的數字，唔代表每個模型、每種部署方式都會得到相同效果。

2. 將混合專家模型的權重分散到多張GPU

廣泛專家平行處理（wide expert parallelism）會將混合專家模型（Mixture of Experts）的專家權重分散到多張GPU，而唔係要求每張GPU都放齊全部權重。Nvidia認為，這樣可減少單張GPU的權重佔用，為推理上下文留出更多空間。20

實際得益要視乎模型設計、專家如何分配，以及GPU之間搬運資料所需的成本。

3. 由Dynamo協調整個推理服務群組的上下文

Nvidia將Dynamo定位為推理服務層，可按KV快取狀態分配請求，並協調整個服務群組的快取使用。20 KV快取會保存生成內容時已計算的部分上下文；如果之後的請求可以重用，就有機會避免重複計算。

但唔係所有上下文都可以重用，搵出及讀取快取亦有成本。所以，效益會視乎工作負載，以及重用快取是否比重新計算更划算。

4. 加入Vera CPU作為另一個記憶體層級

Vera CPU是Nvidia整體系統構想的一部分，並非GPU記憶體的直接替代品。20 在分層設計之下，CPU記憶體可以配合HBM，存放毋須一直留在GPU最快記憶體內的資料。

現有資料未有交代這種安排的詳細資料轉移政策，亦未提供相應延遲表現，因此未能判斷不同應用會有幾大得益。

5. 用CMX儲存上下文資料

CMX是Nvidia的上下文記憶體儲存平台，屬於GPU記憶體和CPU以外的另一層儲存。20 設計目標，是唔將HBM視為上下文唯一可以存放的地方。

不過，將上下文搬入搬出要花時間。對特定應用有冇幫助，要看資料存取成本，以及應用對回應速度的要求。

「最高30倍」未必代表同一種效能比較

現有報道提到一項引人注目的「最高30倍」吞吐量說法，但不同資料所講的指標並不一致：一篇報道指每美元吞吐量，另一份摘要則指每兆瓦吞吐量。1920 兩者唔可以當成同一個數字比較，而現有資料亦不足以獨立評估測試設定，或確認實際部署會否達到相關結果。

要留意，記憶體效率提高，唔等於應用一定更快或更平。比較方案時，亦要看模型質素、延遲、耗電量，以及特定工作負載下的總成本，而唔係只看最高吞吐量。

重點：這是一套系統策略，效能數字仍要看測試條件

Nvidia的方案包含幾個互相配合的方向：壓縮權重、將權重分散到多張加速器、重用推理上下文，並將CPU和儲存層納入記憶體規劃。這五項做法反映Nvidia希望在不只靠增加HBM的情況下，減輕記憶體壓力。20

現有證據較清楚支持這套策略及其設計方向，但未足以證實最亮眼的效能宣稱。未有測試條件和具代表性的實際工作負載結果之前，相關效率數字宜先視為廠商說法。