Samsung muốn đưa bộ nhớ HBM tiến thẳng lên trục Z với kiến trúc zHBM

Samsung đang phát triển HBM theo hướng ngày càng đưa nhiều chức năng xử lý và điều khiển vào đế logic của chồng bộ nhớ. Đích đến dài hạn là zHBM, kiến trúc đặt bộ xử lý AI ngay bên dưới chồng DRAM trong một gói 3D thực sự.

Điểm cần lưu ý: các con số hiệu năng Samsung công bố cho zHBM là mục tiêu của một kiến trúc tương lai, chưa phải kết quả benchmark từ sản phẩm thương mại đã được chứng minh. 1713

Lộ trình 3 giai đoạn của Samsung

Giai đoạn	Thay đổi kiến trúc chính	Lợi ích hướng tới
Giai đoạn 1: cHBM	Chuyển bộ điều khiển bộ nhớ và giao diện die-to-die nhỏ gọn hơn vào đế logic HBM	Giải phóng diện tích trên bộ gia tốc và giảm chi phí năng lượng khi truyền dữ liệu
Giai đoạn 2: aHBM	Bổ sung giám sát, mở rộng bộ nhớ và một số phần tử xử lý vào đế logic	Cải thiện quản lý bộ nhớ, dung lượng và khả năng sử dụng dữ liệu tại chỗ
Giai đoạn 3: zHBM	Đặt trực tiếp cấu trúc DRAM/HBM phía trên bộ gia tốc AI	Rút ngắn đường truyền giữa bộ xử lý và bộ nhớ, đồng thời tăng mật độ kết nối theo chiều dọc

Lộ trình này không chỉ là câu chuyện tăng tốc độ DRAM. Nó làm thay đổi vai trò của đế logic: từ một lớp chủ yếu đảm nhiệm kết nối và điều khiển, đế logic dần trở thành một phân hệ I/O và xử lý có năng lực cao hơn, trước khi tiến tới cấu trúc tích hợp máy tính–bộ nhớ theo chiều dọc. 182027

Giai đoạn 1: cHBM chuyển phần điều khiển khỏi bộ gia tốc

Nền tảng ban đầu của Samsung là HBM4, kết hợp DRAM 1c với đế logic 4 nm. Samsung cho biết HBM4 có thể đạt tốc độ tối đa 13 Gbps và băng thông lên tới 3.300 GB/s trên mỗi chồng. Đây là các thông số được công bố cho HBM4, không phải thông số của zHBM trong tương lai. 3537

Ở giai đoạn cHBM, Samsung muốn thay thế PHY HBM truyền thống có kích thước lớn trên bộ gia tốc AI bằng một giao diện die-to-die nhỏ gọn hơn. Đồng thời, một phần chức năng của bộ điều khiển bộ nhớ sẽ được chuyển từ bộ gia tốc sang đế logic HBM. 1720

Cách làm này có thể đem lại hai lợi ích chính:

• Giải phóng diện tích bộ gia tốc: Phần silicon trước đây dành cho điều khiển bộ nhớ và giao diện có thể được tái sử dụng cho các đơn vị tính toán, bộ nhớ đệm hoặc logic chuyên dụng cho từng ứng dụng.
• Rút ngắn đường truyền điện: Khi chức năng được đưa vào đế logic, khoảng cách và phần chi phí liên quan đến giao tiếp giữa bộ gia tốc với HBM có thể giảm, qua đó cải thiện hiệu quả năng lượng của giao diện. 13

Một số báo cáo đề cập khả năng giải phóng khoảng 5–10% diện tích bộ gia tốc và cải thiện hiệu năng 10–20%. Tuy nhiên, đây là những con số được trích từ tài liệu lộ trình được đưa tin, không nên xem là kết quả áp dụng đồng nhất cho mọi bộ xử lý AI. 1729

Giai đoạn 2: aHBM biến đế logic thành một phân hệ chủ động

Sau khi tiếp nhận các chức năng điều khiển, phần diện tích còn lại trên đế logic có thể được dùng để bổ sung nhiều năng lực hơn. Khái niệm aHBM của Samsung bao gồm cảm biến và khả năng đo đạc theo thời gian thực đối với nhiệt độ, điện áp cùng các điều kiện vận hành khác. Ngoài ra còn có các chức năng liên quan đến độ tin cậy và tự kiểm tra. 182728

Những dữ liệu này có thể giúp hệ thống phản ứng chính xác hơn với trạng thái vận hành, đồng thời theo dõi sức khỏe của chồng bộ nhớ tốt hơn.

Đế logic cũng có thể đóng vai trò giao diện mở rộng bộ nhớ, kết nối thêm HBM hoặc các loại bộ nhớ khác như LPDDR. Nhờ đó, nhà thiết kế hệ thống có thêm phương án tăng dung lượng bộ nhớ khả dụng thay vì chỉ phụ thuộc vào chồng HBM cục bộ. 182829

Samsung còn đề xuất tích hợp các phần tử xử lý vào đế logic. Những phần tử này không nhằm thay thế GPU hay bộ gia tốc đa dụng. Vai trò của chúng hẹp hơn: xử lý một số tác vụ thiên về truy cập bộ nhớ ngay gần nơi dữ liệu được lưu trữ, từ đó giảm một phần lưu lượng đi qua gói chip và có thể cải thiện mức độ sử dụng bộ nhớ. 61927

Đây là giai đoạn chuyển tiếp: HBM vẫn nằm cạnh bộ xử lý trong gói 2.5D, nhưng đế logic bắt đầu hoạt động giống một phân hệ I/O và xử lý thông minh hơn, thay vì chỉ là lớp trung gian thụ động.

Giai đoạn 3: zHBM đặt bộ nhớ trực tiếp lên bộ xử lý

zHBM là bước thay đổi mạnh nhất. Trong gói HBM thông thường, bộ gia tốc và các chồng HBM nằm cạnh nhau trên một interposer. Với zHBM, Samsung muốn đặt bộ xử lý trực tiếp bên dưới chồng DRAM, tạo thành cấu trúc tính toán–bộ nhớ 3D thực sự. 3732

Cách bố trí theo chiều dọc nhằm rút ngắn quãng đường dữ liệu phải di chuyển và thay thế giao diện lớn tập trung ở mép chip bằng các kết nối dọc phân tán với mật độ cao hơn. Về nguyên lý, điều này có thể mang lại:

• băng thông cao hơn nhờ giao diện kết nối rộng hơn nhiều;
• mức tiêu thụ điện I/O thấp hơn vì tín hiệu đi qua quãng đường ngắn hơn;
• khả năng cung cấp dữ liệu hiệu quả hơn cho huấn luyện và suy luận AI; và
• diện tích gói chip theo chiều ngang nhỏ hơn, do HBM không còn phải bố trí xung quanh bộ xử lý. 13732

Vì vậy, zHBM không đơn thuần là “HBM nhanh hơn”. Nó thay đổi mối quan hệ vật lý giữa bộ nhớ và bộ xử lý. Lợi ích thực tế sẽ phụ thuộc không chỉ vào tốc độ DRAM, mà còn vào cấu trúc đóng gói, thiết kế giao diện, khả năng cấp điện, tản nhiệt và mức độ nhạy cảm của từng workload đối với việc di chuyển dữ liệu.

HBM5 và zHBM: các mục tiêu không nên đặt lên cùng một thước đo

Các mục tiêu được Samsung công bố hoặc được báo chí đưa tin sử dụng những mốc so sánh và chỉ số khác nhau. Vì vậy, chúng nên được đọc như các tuyên bố riêng biệt, không phải một benchmark duy nhất có thể đối chiếu trực tiếp:

• HBM5 so với HBM4E: Samsung đặt mục tiêu tăng hiệu năng 2 lần, cải thiện 20% hiệu năng trên mỗi watt và giảm 20% điện trở nhiệt. Một số báo cáo đặt thời điểm sản xuất hàng loạt vào khoảng năm 2028, nhưng HBM5 vẫn là một thế hệ trong lộ trình, chưa phải tiêu chuẩn sản xuất phổ biến đã được thiết lập rộng rãi. 4101214
• zHBM so với HBM4E: Một so sánh được trình bày theo hướng Hot Chips cho biết zHBM hướng tới mức tiêu thụ điện DRAM thấp hơn khoảng 70% và băng thông DRAM cao hơn 2,3 lần. 111
• Mục tiêu dài hạn của zHBM: Samsung cũng đưa ra các mục tiêu tăng hiệu năng tối đa 8 lần, tăng 3 lần hiệu năng trên mỗi watt và giảm 75–90% điện trở nhiệt so với HBM4E. 21314

Sự khác biệt giữa “băng thông cao hơn 2,3 lần” và “hiệu năng cao hơn 8 lần” không nhất thiết là mâu thuẫn. Băng thông, điện năng DRAM, hiệu năng ứng dụng và hiệu năng trên mỗi watt là những chỉ số khác nhau, có thể được đo trên các cấu hình khác nhau. Tài liệu được cung cấp chưa có đủ phương pháp đo để độc lập quy đổi toàn bộ các con số này, vì vậy chúng nên được xem là mục tiêu kiến trúc chứ chưa phải kết quả benchmark thống nhất. 11014

zHBM nằm ở đâu trong chiến lược CUBE?

Samsung mô tả CUBE dựa trên bốn mục tiêu: Capacity (dung lượng), Utilization (mức độ sử dụng), Bandwidth (băng thông) và Efficiency (hiệu quả). Theo lập luận của hãng, hệ thống AI không chỉ cần các giao diện bộ nhớ ngày càng nhanh mà còn cần bộ nhớ được bố trí và khai thác thông minh hơn trong không gian 3 chiều. 257

Ba giai đoạn HBM tương ứng với bốn trục này:

• Dung lượng: Đế logic có thể kết nối thêm các tầng bộ nhớ, trong khi xếp chồng theo chiều dọc giúp tăng mật độ mà không nhất thiết mở rộng diện tích gói chip theo chiều ngang. 418
• Mức độ sử dụng: Telemetry, logic điều khiển và xử lý gần bộ nhớ có thể giúp dung lượng và băng thông hiện có được khai thác hiệu quả hơn cho từng workload. 1827
• Băng thông: Kết nối dọc trực tiếp rút ngắn khoảng cách giữa bộ xử lý và bộ nhớ, đồng thời tạo điều kiện cho I/O có mật độ cao hơn. 37
• Hiệu quả: Giảm lượng dữ liệu phải di chuyển và chi phí giao tiếp có thể làm giảm điện năng; khả năng giám sát nhiệt tốt hơn cũng có thể giúp hệ thống vận hành gần giới hạn thiết kế hơn. 1511

Theo nghĩa đó, zHBM là biểu hiện rõ nhất của cách tiếp cận bộ nhớ theo trục Z của Samsung: xây dựng theo chiều cao để tăng mật độ hữu ích và rút ngắn khoảng cách giao tiếp, thay vì tiếp tục mở rộng một gói 2.5D với các thành phần đặt cạnh nhau. 713

Những bài toán kỹ thuật vẫn chưa được giải quyết

Tản nhiệt

Đặt một bộ xử lý công suất cao bên dưới chồng DRAM khiến việc thoát nhiệt khó hơn. Bộ xử lý nằm xa hơn khỏi đường dẫn tới bộ tản nhiệt, trong khi DRAM phải hoạt động trong một khoảng nhiệt tương đối hạn chế.

Vì vậy, mức giảm điện trở nhiệt mà Samsung nêu ra là mục tiêu thiết kế, không phải lợi ích tự động có được chỉ nhờ xếp chồng 3D. Samsung và các đối tác sản xuất vẫn phải chứng minh rằng hiệu năng, độ tin cậy của bộ nhớ và yêu cầu làm mát có thể cùng tồn tại trong một gói sản xuất thực tế. 1419

Liên kết, căn chỉnh và năng suất

Một cấu trúc 3D trực tiếp đòi hỏi độ chính xác cực cao trong quá trình liên kết và căn chỉnh các bề mặt lớn. Làm mỏng wafer, tích hợp TSV, kiểm soát cong vênh, quản lý lỗi và đạt tỷ lệ liên kết thành công cao sẽ trở nên quan trọng hơn khi bộ xử lý và bộ nhớ được ghép vật lý với nhau.

Chỉ một lỗi ở một phía của gói cũng có thể ảnh hưởng đến giá trị của toàn bộ cụm lắp ráp. Do đó, kiểm tra die tốt trước khi đóng gói, cơ chế sửa lỗi và khả năng kiểm tra sau khi liên kết sẽ ngày càng quan trọng. Việc Samsung dự kiến bổ sung các chức năng tự kiểm tra và độ tin cậy vào đế logic cũng cho thấy đóng gói và kiểm thử gắn chặt với kiến trúc đến mức nào. 2728

Cấp điện và toàn vẹn tín hiệu

Một giao diện dọc cực rộng vẫn cần hệ thống cấp điện ổn định, kiểm soát xung nhịp, định thời và nhiễu. Băng thông lý thuyết cao không đảm bảo hiệu năng ứng dụng cao hơn nếu chất lượng tín hiệu, sụt áp hoặc giới hạn nhiệt khiến hệ thống phải giảm xung khi chạy lâu.

Chiều cao chồng và giới hạn cơ khí

Thêm nhiều cấu trúc theo chiều dọc có thể làm tăng độ dày gói chip, ứng suất cơ học và độ phức tạp của đường tản nhiệt. Thiết kế cuối cùng phải cân bằng dung lượng, băng thông với chiều cao chồng, độ cong vênh, khả năng sản xuất cũng như giới hạn của đế gói và bo mạch hệ thống.

Đồng thiết kế bộ xử lý–bộ nhớ

HBM tiêu chuẩn có thể được tích hợp tương đối mô-đun như một thành phần bộ nhớ. Ngược lại, aHBM và đặc biệt là zHBM đòi hỏi sự phối hợp chặt chẽ hơn giữa bộ gia tốc, logic đế, gói chip, firmware, runtime và phần mềm.

Các thành phần như giao diện, quyền kiểm soát, tính nhất quán dữ liệu, xử lý lỗi và các tác vụ gần bộ nhớ phải được thiết kế đồng bộ. Điều này có thể giúp hệ thống chuyên biệt hơn, nhưng cũng khiến nó kém linh hoạt và khó thay thế hơn so với thiết kế dùng HBM truyền thống.

Thời điểm thương mại hóa và hệ sinh thái

zHBM hiện vẫn là một khái niệm hướng tới tương lai; các báo cáo đặt thời điểm thương mại hóa sau năm 2029. Lịch trình và các tuyên bố về hiệu năng còn phụ thuộc vào độ trưởng thành của công nghệ đóng gói, mức độ chấp nhận của khách hàng, tiêu chuẩn, năng suất và chi phí. 8914

Kết luận: Samsung đang chuyển “trí thông minh” về phía bộ nhớ

Có thể hiểu lộ trình của Samsung theo ba bước:

1. cHBM tập trung vào việc giải phóng diện tích bộ gia tốc và chuyển phần điều khiển, giao diện sang đế logic HBM.
2. aHBM biến đế logic thành một phân hệ bộ nhớ có khả năng giám sát, mở rộng và xử lý chọn lọc.
3. zHBM hợp nhất vật lý bộ xử lý và bộ nhớ bằng cách đặt bộ xử lý ngay bên dưới chồng DRAM.

Tiềm năng của hướng đi này rất lớn: giảm điện năng I/O, dành thêm silicon cho tính toán, tăng băng thông hữu ích và cải thiện hiệu năng trên mỗi watt. Nhưng ở giai đoạn cuối, những thách thức khó nhất sẽ chuyển từ thiết kế giao diện bộ nhớ sang tản nhiệt, liên kết, năng suất, kiểm thử và đồng thiết kế toàn hệ thống.

Hiện tại, zHBM là một hướng phát triển đầy tham vọng được hỗ trợ bởi các mục tiêu của Samsung—not yet proof that a production 3D AI package can deliver them.