三星电子提出的 zHBM，核心是把 AI 加速器与高带宽内存（HBM）之间的距离进一步压缩到近乎“零距离”。不同于把 HBM 放在 GPU 或其他加速器旁边的现有方案，zHBM 计划将 HBM 直接垂直堆叠在处理器上方，形成 3D 集成封装。三星在 9 月 16 日美国加州圣克拉拉举行的 AI Infrastructure Summit 上，将其定位为提升智能体 AI 响应能力的一条路径。19

从 2.5D 并排封装到 3D 直叠，差别在哪里？

当前常见的 HBM 封装，通常让 HBM 与 GPU 或其他 AI 加速器处于同一平面，再通过先进封装互连。zHBM 则改为让 HBM 位于 AI 加速器正上方，也就是在垂直方向上把逻辑芯片与内存整合在一起。1213

这样做的逻辑并不复杂：数据走的物理距离更短，理论上可提升带宽和供电效率，并在相同占用面积内放入更多内存。三星表示，这一设计要依赖下一代晶圆键合技术，包括混合铜键合（Hybrid Copper Bonding）。748

需要注意的是，zHBM 目前是概念架构，并非已经可采购、可部署的通用 HBM 替代品。三星展示的是概念模型，尚未公布商业化时间表。1314

三星给出的性能目标有多激进？

对于引入 zHBM 的下一代接口系统，三星提出了以下预期目标：

• 性能约为 HBM5 的 8 倍；
• 内存密度超过传统 HBM5 的 10 倍；
• 能源效率约提升至 3 倍；
• 热阻降低超过 50%。1348

在 AI Infrastructure Summit 上，三星还称，zHBM 有望将 AI 系统响应速度提高逾 10 倍，目标是达到每秒 1,000 个 token。19

这些数字应被视为三星对未来架构的目标，而不是已经由商用加速器独立验证的基准成绩。把内存直接堆叠在逻辑芯片上方，必须同时解决量产良率、散热、可靠性以及与加速器合作伙伴的整合验证等难题。

为什么智能体 AI 特别在乎这件事？

智能体 AI 的工作方式并非只做一次计算：它需要反复读取上下文、执行推理、调用工具，再生成结果。即使计算单元本身足够快，只要在等待数据搬运，整体响应仍会被拖慢。

zHBM 瞄准的正是这类内存与数据传输瓶颈。三星的设想是，让 HBM 更贴近加速器，从而提升系统响应性，并降低数据移动的能耗。17 不过，最终能否兑现端到端的响应提升，仍取决于加速器、软件、模型及封装设计的整体协同，而非内存位置单独决定。

zNAND-O：为容量需求准备的另一层

三星同时推出了 zNAND-O，一种面向数据密集型与边缘 AI 场景的高性能 NAND 架构。它被定位在 DRAM 与传统 NAND 存储之间：相较 DRAM 具备更高密度，同时相较传统 NAND 改善 I/O 性能、延迟与能效。4951

两者对应 AI 内存层级中的不同位置：

• zHBM：面向最靠近加速器、对带宽最敏感的高速内存层；
• zNAND-O：面向更高密度的数据和模型容量层，避免所有内容都必须放在成本高昂的 DRAM 中。4953

三星援引一项对 1,200 亿参数 GPT 模型的测试称，zNAND-O 实现了与传统 DRAM 服务器相同的每秒 token 处理速度，而运行成本仅为后者的六分之一。这是三星披露的测试结果，并不意味着所有大模型部署都能获得同样的成本优势。5455

三星还将 zNAND-O 与更长期的端侧大模型挑战联系起来，称到 2030 年，万亿参数级端侧 AI 可能变得重要。53

CXL 不太可能取代活跃推理中的 HBM

本次峰会也凸显了 AI 内存市场的一项关键区别：系统需要更大容量，不代表各种内存可以相互替代。

OpenAI 的加速器研究人员 Daniel Morris 表示，他尚未发现 CXL（Compute Express Link，一种用于扩展和共享内存等资源的互连标准）在实际运行 AI 模型中的明确用例；但它可能适合承载大模型中不常使用的数据。英特尔的 Vidia Thiagarajan 也认为，CXL 内存池更像是对二级存储的补充，而不是 HBM 的替代，原因在于 CXL 连接内存与 HBM 之间仍存在带宽差距。1822

这并不表示 CXL 没有价值。更可能的图景是分层架构：HBM 留在加速器附近，服务于带宽敏感的活跃计算；CXL 与其他内存、存储层则承担更偏向容量扩展的任务。

对三星与 SK 海力士意味着什么？

短期 HBM 竞争的胜负，仍取决于供应商能否为特定加速器平台完成制造、客户验证并实现稳定交付。zHBM 为三星提供了差异化的长期架构方向，但它不能跳过良率、热管理、可靠性和客户集成这些现实门槛。

对整个 HBM 市场而言，业内对 CXL 难以在活跃模型执行中替代本地 HBM 的判断，反而强化了加速器近端高带宽内存的重要性。竞争的关键不只是提出更大胆的 3D 内存概念，而是谁能最先把先进封装与内存设计变成通过认证、能够规模出货的产品。183336

结论

三星在 9 月峰会传递的信息是：AI 性能越来越受内存搬运、容量、功耗和热管理制约，而不只是受算力吞吐制约。zHBM 提出以“内存直接堆叠在加速器上方”的 3D 设计来应对这些限制；zNAND-O 则提供更高密度的相邻层级，以承接更大的 AI 数据与模型需求。

三星给出的潜在增益相当可观，但目前仍属于概念阶段目标。对采购方和 AI 基础设施规划者而言，眼下更重要的信号并非 zHBM 即将上市，而是未来 AI 系统很可能采用更专业化、更深度垂直整合的分层内存架构，而 HBM 仍将处于最高性能计算路径的核心位置。131418

三星电子提出的 zHBM，核心是把 AI 加速器与高带宽内存（HBM）之间的距离进一步压缩到近乎“零距离”。不同于把 HBM 放在 GPU 或其他加速器旁边的现有方案，zHBM 计划将 HBM 直接垂直堆叠在处理器上方，形成 3D 集成封装。三星在 9 月 16 日美国加州圣克拉拉举行的 AI Infrastructure Summit 上，将其定位为提升智能体 AI 响应能力的一条路径。19

从 2.5D 并排封装到 3D 直叠，差别在哪里？

当前常见的 HBM 封装，通常让 HBM 与 GPU 或其他 AI 加速器处于同一平面，再通过先进封装互连。zHBM 则改为让 HBM 位于 AI 加速器正上方，也就是在垂直方向上把逻辑芯片与内存整合在一起。1213

这样做的逻辑并不复杂：数据走的物理距离更短，理论上可提升带宽和供电效率，并在相同占用面积内放入更多内存。三星表示，这一设计要依赖下一代晶圆键合技术，包括混合铜键合（Hybrid Copper Bonding）。748

需要注意的是，zHBM 目前是概念架构，并非已经可采购、可部署的通用 HBM 替代品。三星展示的是概念模型，尚未公布商业化时间表。1314

三星给出的性能目标有多激进？

对于引入 zHBM 的下一代接口系统，三星提出了以下预期目标：

• 性能约为 HBM5 的 8 倍；
• 内存密度超过传统 HBM5 的 10 倍；
• 能源效率约提升至 3 倍；
• 热阻降低超过 50%。1348

在 AI Infrastructure Summit 上，三星还称，zHBM 有望将 AI 系统响应速度提高逾 10 倍，目标是达到每秒 1,000 个 token。19

这些数字应被视为三星对未来架构的目标，而不是已经由商用加速器独立验证的基准成绩。把内存直接堆叠在逻辑芯片上方，必须同时解决量产良率、散热、可靠性以及与加速器合作伙伴的整合验证等难题。

为什么智能体 AI 特别在乎这件事？

智能体 AI 的工作方式并非只做一次计算：它需要反复读取上下文、执行推理、调用工具，再生成结果。即使计算单元本身足够快，只要在等待数据搬运，整体响应仍会被拖慢。

zHBM 瞄准的正是这类内存与数据传输瓶颈。三星的设想是，让 HBM 更贴近加速器，从而提升系统响应性，并降低数据移动的能耗。17 不过，最终能否兑现端到端的响应提升，仍取决于加速器、软件、模型及封装设计的整体协同，而非内存位置单独决定。

zNAND-O：为容量需求准备的另一层

三星同时推出了 zNAND-O，一种面向数据密集型与边缘 AI 场景的高性能 NAND 架构。它被定位在 DRAM 与传统 NAND 存储之间：相较 DRAM 具备更高密度，同时相较传统 NAND 改善 I/O 性能、延迟与能效。4951

两者对应 AI 内存层级中的不同位置：

• zHBM：面向最靠近加速器、对带宽最敏感的高速内存层；
• zNAND-O：面向更高密度的数据和模型容量层，避免所有内容都必须放在成本高昂的 DRAM 中。4953

三星援引一项对 1,200 亿参数 GPT 模型的测试称，zNAND-O 实现了与传统 DRAM 服务器相同的每秒 token 处理速度，而运行成本仅为后者的六分之一。这是三星披露的测试结果，并不意味着所有大模型部署都能获得同样的成本优势。5455

三星还将 zNAND-O 与更长期的端侧大模型挑战联系起来，称到 2030 年，万亿参数级端侧 AI 可能变得重要。53

CXL 不太可能取代活跃推理中的 HBM

本次峰会也凸显了 AI 内存市场的一项关键区别：系统需要更大容量，不代表各种内存可以相互替代。

OpenAI 的加速器研究人员 Daniel Morris 表示，他尚未发现 CXL（Compute Express Link，一种用于扩展和共享内存等资源的互连标准）在实际运行 AI 模型中的明确用例；但它可能适合承载大模型中不常使用的数据。英特尔的 Vidia Thiagarajan 也认为，CXL 内存池更像是对二级存储的补充，而不是 HBM 的替代，原因在于 CXL 连接内存与 HBM 之间仍存在带宽差距。1822

这并不表示 CXL 没有价值。更可能的图景是分层架构：HBM 留在加速器附近，服务于带宽敏感的活跃计算；CXL 与其他内存、存储层则承担更偏向容量扩展的任务。

对三星与 SK 海力士意味着什么？

短期 HBM 竞争的胜负，仍取决于供应商能否为特定加速器平台完成制造、客户验证并实现稳定交付。zHBM 为三星提供了差异化的长期架构方向，但它不能跳过良率、热管理、可靠性和客户集成这些现实门槛。

对整个 HBM 市场而言，业内对 CXL 难以在活跃模型执行中替代本地 HBM 的判断，反而强化了加速器近端高带宽内存的重要性。竞争的关键不只是提出更大胆的 3D 内存概念，而是谁能最先把先进封装与内存设计变成通过认证、能够规模出货的产品。183336

结论

三星在 9 月峰会传递的信息是：AI 性能越来越受内存搬运、容量、功耗和热管理制约，而不只是受算力吞吐制约。zHBM 提出以“内存直接堆叠在加速器上方”的 3D 设计来应对这些限制；zNAND-O 则提供更高密度的相邻层级，以承接更大的 AI 数据与模型需求。

三星给出的潜在增益相当可观，但目前仍属于概念阶段目标。对采购方和 AI 基础设施规划者而言，眼下更重要的信号并非 zHBM 即将上市，而是未来 AI 系统很可能采用更专业化、更深度垂直整合的分层内存架构，而 HBM 仍将处于最高性能计算路径的核心位置。131418