三星嘅 zHBM，核心係想將 AI 運算晶片同最快嗰層記憶體之間嘅實體距離，盡量壓到最短。唔再係將高頻寬記憶體（HBM）放喺 GPU 或其他 AI 加速器隔籬，而係直接喺處理器上面做垂直 3D 堆疊。三星喺 9 月 16 日、美國加州聖克拉拉舉行嘅 AI Infrastructure Summit，將呢個構想定位為推動 AI Agent 更快反應嘅一條路。19

同而家嘅 2.5D HBM 封裝有咩分別？

現時常見嘅 HBM 封裝，通常將 HBM 同 GPU 或 AI 加速器並排放喺同一平面，再經先進封裝連接。zHBM 就反過來，將 HBM 直接放到 AI 加速器上方；即係將邏輯運算同記憶體，由平面相鄰變成垂直整合。1213

道理其實好直接：資料要行嘅路短咗，理論上可以提升頻寬同能源效率，同時喺相同面積內塞入更多記憶體。三星表示，呢種垂直整合要靠下一代晶圓鍵合技術，包括混合銅鍵合（hybrid copper bonding）先做到。748

不過，zHBM 目前唔係即將取代所有 HBM 封裝嘅現成產品。三星展示嘅係概念模型，暫時未公布商業化時間表。1314

三星講嘅效能目標，有幾進取？

三星為配合 zHBM 嘅下一代介面提出咗以下目標：

• 效能約為 HBM5 嘅 8 倍
• 記憶體密度較傳統 HBM5 高 逾 10 倍
• 能源效率約高 3 倍
• 熱阻降低 超過 50% 1348

喺 AI Infrastructure Summit 上，三星亦表示 zHBM 有望令 AI 系統反應速度提升逾 10 倍，目標係做到每秒 1,000 個 token。19

呢啲數字應視為三星對未來架構嘅公司目標，而唔係已經喺商用加速器上由第三方驗證嘅基準測試。要真正量產，直接將記憶體疊喺運算邏輯上面，仲要過到良率、散熱、可靠性，以及加速器合作夥伴驗證等幾關。

點解 AI Agent 特別需要呢類設計？

三星將 zHBM 放喺 AI Agent 嘅脈絡下講。Agent 唔係單次生成答案咁簡單：佢要反覆讀取上下文、做推論、調用工具，再輸出結果。即使運算晶片好快，如果不斷等資料喺記憶體同處理器之間搬運，整個流程照樣會卡住。

zHBM 想處理嘅，正正就係記憶體與資料傳輸呢個樽頸。將 HBM 拉近至加速器頂部，理論上可令系統更快回應，同時降低搬資料嘅耗電。17 但最終可唔可以達到所講嘅端到端反應速度增幅，仍取決於完整嘅加速器、軟件、模型同封裝設計，唔會單靠記憶體擺位就自動實現。

zNAND-O：容量更大嘅配套層

三星同時提出 zNAND-O，一種面向資料密集型同邊緣 AI 環境嘅高效能 NAND 架構。佢定位喺 DRAM 同傳統 NAND 儲存之間：密度可以高過 DRAM，而 I/O 效能、延遲同耗電表現，目標係優於傳統 NAND。4951

兩者喺記憶體層級中做嘅工作唔同：

• zHBM：針對最貼近 AI 加速器、要求極高頻寬嘅最快一層。
• zNAND-O：提供密度更高嘅一層，用來容納大量資料同模型，避免全部放喺昂貴 DRAM 入面。4953

三星引述一項涉及 1,200 億參數 GPT 模型嘅測試：zNAND-O 做到同傳統 DRAM 伺服器相同嘅每秒 token 處理速度，而營運成本只係六分之一。呢個係三星公布嘅測試結果，唔代表所有大型模型部署都必然有同樣成本優勢。5455

三星亦將 zNAND-O 連繫到更長遠嘅裝置端 AI 挑戰，表示到 2030 年，萬億參數級嘅裝置端 AI 或會變得重要。53

CXL 未必取代到 HBM 做即時 AI 運算

峰會亦帶出 AI 記憶體市場一個重要分野：容量好重要，但唔代表所有記憶體都可以互相替代。

OpenAI 負責加速器研究嘅 Daniel Morris 表示，佢未搵到 CXL 用於實際運行 AI 模型嘅用例；不過，CXL 對大型模型中唔常用嘅資料可能有價值。Intel 嘅 Vidia Thiagarajan 亦形容，CXL 記憶體池化係輔助次級儲存，而唔係取代 HBM，原因係經 CXL 連接嘅記憶體同 HBM 之間仍有明顯頻寬差距。1822

呢個唔代表 CXL 冇用，而係未來更可能係分層架構：需要高頻寬、正喺活躍運算嘅資料，留喺加速器旁邊嘅 HBM；CXL 同其他記憶體或儲存層，則主要負責容量導向嘅工作。

對三星、SK hynix 同整個 HBM 賽道意味住咩？

短期 HBM 競爭，仍然取決於供應商能否為指定加速器平台生產、通過驗證並出貨。zHBM 為三星提供咗一個較長線嘅差異化架構，但唔等於可以跳過良率、散熱、可靠性同客戶整合呢啲基本功。

對整個 HBM 市場而言，OpenAI 同 Intel 對 CXL 難以取代本地 HBM 做模型執行嘅看法，反而突顯咗貼近加速器嘅高頻寬記憶體仍然關鍵。真正嘅競賽唔只係邊間公司嘅 3D 記憶體概念更進取，而係邊間可以最快將先進封裝與記憶體設計，變成合格、可靠而且可大規模供應嘅產品。183336

總結

三星今次嘅訊息好清楚：AI 效能愈來愈唔只由算力決定，資料搬運、記憶體容量、耗電同散熱同樣係關鍵。zHBM 提出將記憶體直接疊上加速器嘅 3D 設計，zNAND-O 則補上更高密度嘅資料與模型容量層。

三星提出嘅潛在增幅相當吸引，但目前仍屬概念階段目標。對採購方同 AI 基建規劃者嚟講，眼前最值得留意嘅未必係 zHBM 幾時落地，而係大方向已愈來愈明顯：未來 AI 系統好可能依賴更多專門分工、垂直整合嘅記憶體層，而 HBM 仍會留喺最高效能運算路徑嘅核心位置。131418

三星嘅 zHBM，核心係想將 AI 運算晶片同最快嗰層記憶體之間嘅實體距離，盡量壓到最短。唔再係將高頻寬記憶體（HBM）放喺 GPU 或其他 AI 加速器隔籬，而係直接喺處理器上面做垂直 3D 堆疊。三星喺 9 月 16 日、美國加州聖克拉拉舉行嘅 AI Infrastructure Summit，將呢個構想定位為推動 AI Agent 更快反應嘅一條路。19

同而家嘅 2.5D HBM 封裝有咩分別？

現時常見嘅 HBM 封裝，通常將 HBM 同 GPU 或 AI 加速器並排放喺同一平面，再經先進封裝連接。zHBM 就反過來，將 HBM 直接放到 AI 加速器上方；即係將邏輯運算同記憶體，由平面相鄰變成垂直整合。1213

道理其實好直接：資料要行嘅路短咗，理論上可以提升頻寬同能源效率，同時喺相同面積內塞入更多記憶體。三星表示，呢種垂直整合要靠下一代晶圓鍵合技術，包括混合銅鍵合（hybrid copper bonding）先做到。748

不過，zHBM 目前唔係即將取代所有 HBM 封裝嘅現成產品。三星展示嘅係概念模型，暫時未公布商業化時間表。1314

三星講嘅效能目標，有幾進取？

三星為配合 zHBM 嘅下一代介面提出咗以下目標：

• 效能約為 HBM5 嘅 8 倍
• 記憶體密度較傳統 HBM5 高 逾 10 倍
• 能源效率約高 3 倍
• 熱阻降低 超過 50% 1348

喺 AI Infrastructure Summit 上，三星亦表示 zHBM 有望令 AI 系統反應速度提升逾 10 倍，目標係做到每秒 1,000 個 token。19

呢啲數字應視為三星對未來架構嘅公司目標，而唔係已經喺商用加速器上由第三方驗證嘅基準測試。要真正量產，直接將記憶體疊喺運算邏輯上面，仲要過到良率、散熱、可靠性，以及加速器合作夥伴驗證等幾關。

點解 AI Agent 特別需要呢類設計？

三星將 zHBM 放喺 AI Agent 嘅脈絡下講。Agent 唔係單次生成答案咁簡單：佢要反覆讀取上下文、做推論、調用工具，再輸出結果。即使運算晶片好快，如果不斷等資料喺記憶體同處理器之間搬運，整個流程照樣會卡住。

zHBM 想處理嘅，正正就係記憶體與資料傳輸呢個樽頸。將 HBM 拉近至加速器頂部，理論上可令系統更快回應，同時降低搬資料嘅耗電。17 但最終可唔可以達到所講嘅端到端反應速度增幅，仍取決於完整嘅加速器、軟件、模型同封裝設計，唔會單靠記憶體擺位就自動實現。

zNAND-O：容量更大嘅配套層

三星同時提出 zNAND-O，一種面向資料密集型同邊緣 AI 環境嘅高效能 NAND 架構。佢定位喺 DRAM 同傳統 NAND 儲存之間：密度可以高過 DRAM，而 I/O 效能、延遲同耗電表現，目標係優於傳統 NAND。4951

兩者喺記憶體層級中做嘅工作唔同：

• zHBM：針對最貼近 AI 加速器、要求極高頻寬嘅最快一層。
• zNAND-O：提供密度更高嘅一層，用來容納大量資料同模型，避免全部放喺昂貴 DRAM 入面。4953

三星引述一項涉及 1,200 億參數 GPT 模型嘅測試：zNAND-O 做到同傳統 DRAM 伺服器相同嘅每秒 token 處理速度，而營運成本只係六分之一。呢個係三星公布嘅測試結果，唔代表所有大型模型部署都必然有同樣成本優勢。5455

三星亦將 zNAND-O 連繫到更長遠嘅裝置端 AI 挑戰，表示到 2030 年，萬億參數級嘅裝置端 AI 或會變得重要。53

CXL 未必取代到 HBM 做即時 AI 運算

峰會亦帶出 AI 記憶體市場一個重要分野：容量好重要，但唔代表所有記憶體都可以互相替代。

OpenAI 負責加速器研究嘅 Daniel Morris 表示，佢未搵到 CXL 用於實際運行 AI 模型嘅用例；不過，CXL 對大型模型中唔常用嘅資料可能有價值。Intel 嘅 Vidia Thiagarajan 亦形容，CXL 記憶體池化係輔助次級儲存，而唔係取代 HBM，原因係經 CXL 連接嘅記憶體同 HBM 之間仍有明顯頻寬差距。1822

呢個唔代表 CXL 冇用，而係未來更可能係分層架構：需要高頻寬、正喺活躍運算嘅資料，留喺加速器旁邊嘅 HBM；CXL 同其他記憶體或儲存層，則主要負責容量導向嘅工作。

對三星、SK hynix 同整個 HBM 賽道意味住咩？

短期 HBM 競爭，仍然取決於供應商能否為指定加速器平台生產、通過驗證並出貨。zHBM 為三星提供咗一個較長線嘅差異化架構，但唔等於可以跳過良率、散熱、可靠性同客戶整合呢啲基本功。

對整個 HBM 市場而言，OpenAI 同 Intel 對 CXL 難以取代本地 HBM 做模型執行嘅看法，反而突顯咗貼近加速器嘅高頻寬記憶體仍然關鍵。真正嘅競賽唔只係邊間公司嘅 3D 記憶體概念更進取，而係邊間可以最快將先進封裝與記憶體設計，變成合格、可靠而且可大規模供應嘅產品。183336

總結

三星今次嘅訊息好清楚：AI 效能愈來愈唔只由算力決定，資料搬運、記憶體容量、耗電同散熱同樣係關鍵。zHBM 提出將記憶體直接疊上加速器嘅 3D 設計，zNAND-O 則補上更高密度嘅資料與模型容量層。

三星提出嘅潛在增幅相當吸引，但目前仍屬概念階段目標。對採購方同 AI 基建規劃者嚟講，眼前最值得留意嘅未必係 zHBM 幾時落地，而係大方向已愈來愈明顯：未來 AI 系統好可能依賴更多專門分工、垂直整合嘅記憶體層，而 HBM 仍會留喺最高效能運算路徑嘅核心位置。131418