Câu trả lờiĐã xuất bản26 nguồn
Samsung zHBM: Khi bộ nhớ HBM được đặt ngay trên chip AI
Samsung cho biết zHBM có thể tăng tốc độ phản hồi của hệ thống AI hơn 10 lần nhờ xếp chồng HBM trực tiếp lên bộ tăng tốc, thay vì đặt bộ nhớ bên cạnh chip. Theo mục tiêu của Samsung, giao diện thế hệ mới dùng zHBM có thể đạt hiệu năng khoảng gấp 8 lần HBM5, mật độ bộ nhớ cao hơn 10 lần, hiệu quả năng lượng gấp 3 lần...
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Samsung cho biết zHBM có thể tăng tốc độ phản hồi của hệ thống AI hơn 10 lần nhờ xếp chồng HBM trực tiếp lên bộ tăng tốc, thay vì đặt bộ nhớ bên cạnh chip.
- Theo mục tiêu của Samsung, giao diện thế hệ mới dùng zHBM có thể đạt hiệu năng khoảng gấp 8 lần HBM5, mật độ bộ nhớ cao hơn 10 lần, hiệu quả năng lượng gấp 3 lần và điện trở nhiệt thấp hơn hơn 50%.
- Kỹ sư từ OpenAI và Intel cho rằng CXL phù hợp hơn với lớp dung lượng bổ sung hoặc dữ liệu ít truy cập, thay vì thay thế HBM trong quá trình chạy mô hình AI tích cực.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Samsung Electronics reveal at the September 16, 2026, AI Infrastructure Summit about its next-generation zHBM 3D memory architectur. Article summary: Samsung presented zHBM as a longer-term “zero-distance” HBM architecture: rather than placing HBM beside an AI accelerator on a silicon interposer, as in current 2.5D packages, it would bond HBM directly above the accele. Topic tags: general, general web, user generated, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Samsung đang đề xuất zHBM như một cách rút ngắn tối đa khoảng cách vật lý giữa bộ tăng tốc AI và bộ nhớ nhanh nhất của nó. Thay vì đặt bộ nhớ băng thông cao (HBM) cạnh GPU hoặc chip tăng tốc, zHBM đặt HBM ngay phía trên bộ xử lý trong một gói tích hợp 3D theo chiều dọc.
Tại AI Infrastructure Summit ngày 16/9 ở Santa Clara, California, Samsung mô tả hướng tiếp cận này là chìa khóa giúp các hệ thống AI tác tử (agentic AI) phản hồi nhanh hơn. 1
9
zHBM khác gì với đóng gói HBM hiện nay?
Trong các hệ thống HBM thông dụng, HBM thường nằm cạnh GPU hoặc bộ tăng tốc AI trên cùng một mặt phẳng, rồi được liên kết bằng công nghệ đóng gói tiên tiến. Đây là cách bố trí thường được gọi là đóng gói 2,5D.
Với zHBM, Samsung muốn chuyển sang bố trí 3D: HBM được xếp chồng theo chiều dọc ngay trên chip tăng tốc AI. Nói ngắn gọn, logic và bộ nhớ được đưa lại gần nhau hơn nhiều. 12
13
Lợi ích mà Samsung kỳ vọng là đường truyền dữ liệu ngắn hơn sẽ tăng băng thông, cải thiện hiệu quả điện năng và cho phép nhét nhiều dung lượng bộ nhớ hơn trong cùng diện tích. Kiến trúc này cần công nghệ liên kết wafer thế hệ mới, trong đó có hybrid copper bonding — kỹ thuật ghép nối đồng có độ chính xác cao. 7
48
Tuy vậy, zHBM chưa phải sản phẩm thay thế ngay cho mọi gói HBM hiện tại. Samsung mới giới thiệu công nghệ này dưới dạng mô hình ý tưởng và chưa công bố thời điểm thương mại hóa. 13
14
Các con số Samsung đang đặt mục tiêu
Với một hệ thống giao diện thế hệ mới tích hợp zHBM, Samsung đưa ra các mục tiêu sau:
- Hiệu năng khoảng gấp 8 lần HBM5
- Mật độ bộ nhớ cao hơn trên 10 lần so với HBM5 thông thường
- Hiệu quả năng lượng khoảng gấp 3 lần
- Điện trở nhiệt giảm hơn 50%
13
48
Tại AI Infrastructure Summit, Samsung còn cho biết zHBM có thể giúp tốc độ phản hồi của hệ thống AI tăng hơn 10 lần, với tham vọng đạt 1.000 token mỗi giây. 1
9
Đây cần được hiểu là các mục tiêu do Samsung công bố cho kiến trúc tương lai, chứ không phải kết quả benchmark độc lập từ một chip thương mại. Việc chồng bộ nhớ trực tiếp lên logic đòi hỏi phải giải được nhiều bài toán khó: tỷ lệ thành phẩm khi sản xuất, tản nhiệt, độ tin cậy và quá trình xác nhận tương thích cùng các đối tác làm chip tăng tốc.
Vì sao điều này đáng chú ý với AI tác tử?
AI tác tử không chỉ tạo câu trả lời một lần. Hệ thống phải liên tục đọc ngữ cảnh, chạy suy luận, gọi công cụ, lấy thêm dữ liệu rồi mới sinh đầu ra. Nếu bộ tăng tốc phải chờ dữ liệu được chuyển tới, chỉ tăng sức mạnh tính toán cũng chưa chắc loại bỏ được độ trễ.
zHBM nhắm vào chính nút thắt của việc truy xuất bộ nhớ và truyền dữ liệu. Lập luận của Samsung là đặt HBM sát hơn với bộ tăng tốc có thể giúp AI phản hồi nhanh hơn, đồng thời giảm năng lượng tiêu thụ cho việc di chuyển dữ liệu. 1
7
Dù vậy, mức tăng phản hồi đầu cuối trong thực tế vẫn phụ thuộc vào toàn bộ hệ thống: chip tăng tốc, phần mềm, mô hình AI và thiết kế đóng gói — không chỉ riêng vị trí của bộ nhớ.
zNAND-O: Lớp dung lượng bổ sung bên cạnh zHBM
Samsung cũng giới thiệu zNAND-O, kiến trúc NAND hiệu năng cao hướng tới các môi trường AI biên và khối lượng xử lý dữ liệu lớn. zNAND-O được định vị ở khoảng giữa DRAM và NAND thông thường: mật độ cao hơn DRAM, đồng thời được thiết kế để cải thiện I/O, độ trễ và hiệu quả điện năng so với NAND truyền thống. 49
51
Hai công nghệ phục vụ hai tầng khác nhau trong hệ thống bộ nhớ:
- zHBM hướng đến tầng bộ nhớ nhanh nhất, nằm sát bộ tăng tốc AI.
- zNAND-O hướng đến tầng dung lượng lớn hơn cho dữ liệu và mô hình, những thứ sẽ rất tốn kém nếu phải giữ hoàn toàn trong DRAM.
49
53
Samsung dẫn một thử nghiệm với mô hình GPT 120 tỷ tham số, trong đó zNAND-O đạt cùng tốc độ token/giây như máy chủ DRAM thông thường nhưng có chi phí vận hành bằng một phần sáu. Đây là kết quả thử nghiệm do Samsung báo cáo, không phải cam kết chi phí áp dụng cho mọi triển khai mô hình lớn. 54
55
Samsung cũng liên hệ zNAND-O với bài toán dài hạn của AI chạy ngay trên thiết bị, khi cho rằng mô hình AI tại chỗ quy mô nghìn tỷ tham số có thể trở nên đáng chú ý vào năm 2030. 53
CXL khó thay HBM khi AI đang chạy
Một thông điệp khác từ AI Infrastructure Summit là: nhiều dung lượng hơn không có nghĩa mọi loại bộ nhớ có thể thay thế lẫn nhau.
Daniel Morris, nhà nghiên cứu chip tăng tốc tại OpenAI, nói ông chưa thấy trường hợp sử dụng CXL để thực sự chạy mô hình AI; theo ông, CXL có thể phù hợp hơn với dữ liệu ít được sử dụng trong các mô hình lớn. Vidia Thiagarajan của Intel cũng nhận định việc gom bộ nhớ qua CXL là phần bổ sung cho lưu trữ thứ cấp, không thay thế HBM, do chênh lệch băng thông giữa bộ nhớ kết nối qua CXL và HBM. 18
22
Điều đó không đồng nghĩa CXL không có vai trò. Triển vọng hợp lý hơn là một kiến trúc phân tầng: HBM đặt sát bộ tăng tốc để phục vụ tính toán đang hoạt động và nhạy cảm với băng thông; còn CXL cùng các tầng bộ nhớ hoặc lưu trữ khác đảm nhiệm nhu cầu thiên về dung lượng.
Hàm ý với Samsung, SK hynix và cuộc đua HBM
Trong ngắn hạn, cuộc đua HBM vẫn được quyết định bởi khả năng sản xuất, xác nhận tương thích và giao hàng bộ nhớ cho từng nền tảng chip tăng tốc cụ thể. zHBM đem lại cho Samsung một hướng kiến trúc khác biệt về dài hạn, nhưng không thay thế yêu cầu phải chứng minh tỷ lệ thành phẩm, đặc tính nhiệt, độ tin cậy và khả năng tích hợp với khách hàng.
Việc CXL bị hoài nghi như một phương án thay thế HBM trong quá trình thực thi mô hình cũng củng cố vai trò của HBM đặt sát bộ tăng tốc. Vì thế, câu hỏi cạnh tranh không chỉ là hãng nào có ý tưởng bộ nhớ 3D táo bạo hơn, mà là hãng nào biến được thiết kế bộ nhớ và đóng gói tiên tiến thành sản phẩm đạt chuẩn, có thể sản xuất số lượng lớn sớm hơn. 18
33
36
Kết luận
Thông điệp của Samsung là hiệu năng AI ngày càng bị giới hạn bởi việc di chuyển dữ liệu, dung lượng bộ nhớ, điện năng và nhiệt — chứ không chỉ bởi thông lượng tính toán. zHBM đề xuất một thiết kế 3D đặt bộ nhớ trực tiếp trên bộ tăng tốc để xử lý những điểm nghẽn đó, trong khi zNAND-O bổ sung một tầng dung lượng dày đặc hơn cho các tác vụ AI lớn.
Các mức cải thiện mà Samsung đưa ra rất đáng chú ý, nhưng vẫn là mục tiêu của công nghệ ở giai đoạn ý tưởng. Với bên mua hạ tầng AI, tín hiệu quan trọng nhất chưa phải là một sản phẩm zHBM sắp bán ra, mà là hướng phát triển của ngành: hệ thống AI nhiều khả năng sẽ sử dụng các tầng bộ nhớ ngày càng chuyên biệt và tích hợp theo chiều dọc, trong đó HBM tiếp tục giữ vai trò trung tâm trên đường xử lý hiệu năng cao nhất. 13
14
18
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Samsung zHBM: Khi bộ nhớ HBM được đặt ngay trên chip AI" là gì?
Samsung cho biết zHBM có thể tăng tốc độ phản hồi của hệ thống AI hơn 10 lần nhờ xếp chồng HBM trực tiếp lên bộ tăng tốc, thay vì đặt bộ nhớ bên cạnh chip.
Những điểm chính cần xác nhận đầu tiên là gì?
Samsung cho biết zHBM có thể tăng tốc độ phản hồi của hệ thống AI hơn 10 lần nhờ xếp chồng HBM trực tiếp lên bộ tăng tốc, thay vì đặt bộ nhớ bên cạnh chip. Theo mục tiêu của Samsung, giao diện thế hệ mới dùng zHBM có thể đạt hiệu năng khoảng gấp 8 lần HBM5, mật độ bộ nhớ cao hơn 10 lần, hiệu quả năng lượng gấp 3 lần và điện trở nhiệt thấp hơn hơn 50%.
Tôi nên làm gì tiếp theo trong thực tế?
Kỹ sư từ OpenAI và Intel cho rằng CXL phù hợp hơn với lớp dung lượng bổ sung hoặc dữ liệu ít truy cập, thay vì thay thế HBM trong quá trình chạy mô hình AI tích cực.
Nguồn
asiae.co.kr"Opening the Era of 1,000 Tokens per Second"…Samsung Electronics Drives AI Semiconductor Innovation with zHBM
en.sedaily.comSamsung Touts 10-Fold AI Speed Gain With Stacked zHBM Memory
koreaherald.comSamsung stacks HBM atop AI chips in 3D memory push