Samsung đưa xử lý AI vào RAM LPDDR5X, đạt băng thông nội bộ 614 GB/s

Samsung đã dùng Hot Chips 2026 để giải thích cách LPDDR5X-PIM đưa một phần năng lực xử lý trực tiếp vào bộ nhớ DRAM công suất thấp. Thay vì liên tục chuyển trọng số mô hình và dữ liệu trung gian giữa bộ nhớ với SoC, thiết kế này thực hiện các phép toán phù hợp ngay gần các mảng nhớ.

Trong thử nghiệm trên một SoC AI biên chạy Llama 3.1 8B, Samsung báo cáo thời gian suy luận giảm 2,28 lần và thông lượng token tăng 3,01 lần so với LPDDR5X thông thường. Đây là kết quả do Samsung công bố trong một cấu hình thử nghiệm cụ thể, chưa phải đánh giá độc lập trên diện rộng. 1 9

LPDDR5X-PIM giải quyết nút thắt nào?

Suy luận mô hình ngôn ngữ lớn thường không chỉ bị giới hạn bởi năng lực tính toán. Việc liên tục đưa trọng số và dữ liệu trung gian qua giao diện bộ nhớ cũng có thể làm tăng độ trễ, tiêu thụ điện và khiến bộ xử lý phải chờ dữ liệu.

PIM, viết tắt của Processing-in-Memory (xử lý trong bộ nhớ), giải quyết vấn đề này bằng cách thực hiện một số phép toán ngay cạnh các mảng DRAM. Samsung mô tả LPDDR5X-PIM là giải pháp PIM đầu tiên của hãng dựa trên chuẩn LPDDR, tập trung vào các tác vụ suy luận AI. 2 9 13

Cách tiếp cận này đặc biệt phù hợp với những phép toán lặp đi lặp lại như GEMV, tức phép nhân ma trận với vector. Với các tác vụ như vậy, giảm lượng dữ liệu phải di chuyển đôi khi có ý nghĩa không kém việc bổ sung thêm các đơn vị tính toán thông thường.

16 khối PIM trong gói LPDDR5X bốn die

Cấu hình Samsung trình bày là một gói LPDDR5X dung lượng 16 GB, sử dụng bốn die trong gói 561 chân theo kiểu JEDEC và hoạt động ở tốc độ 9.600 Mb/s trên mỗi chân. Bốn die dùng chung tín hiệu lệnh và địa chỉ, nhưng có các đường dữ liệu riêng, phù hợp với cách tổ chức song song của hệ thống LPDDR. 9 17

Bên trong gói nhớ có 16 khối PIM phân bố trên các bank DRAM. Mỗi khối kết hợp hai nhóm phần cứng chính:

• Cây MAC thực hiện các phép nhân-tích lũy, vốn chiếm phần quan trọng trong GEMV và những phép toán ma trận liên quan.
• Các ALU số thực và số nguyên xử lý phép toán theo từng phần tử cùng những tác vụ hỗ trợ khác.

Cấu trúc không đồng nhất này cho phép bộ nhớ xử lý nhiều dạng phép toán và kiểu dữ liệu, thay vì chỉ thực hiện một loại số học đơn giản. Tài liệu PIM trước đây của Samsung cũng đề cập đến đơn vị số thực SIMD và cách đặt các đơn vị PIM ở cấp bank, cho thấy định hướng đưa phần cứng chuyên dụng đến gần dữ liệu cần xử lý. 9 11

614 GB/s không phải băng thông LPDDR5X bên ngoài

Con số dễ gây hiểu nhầm nhất trong công bố lần này là 614 GB/s. Samsung gọi đây là băng thông PIM tổng hợp bên trong, không phải băng thông mà bộ xử lý máy chủ có thể nhận trực tiếp qua giao diện LPDDR5X thông thường. Con số này phản ánh khả năng nhiều bank và nhiều khối PIM hoạt động song song trong bộ nhớ. 1

Theo phần so sánh của Samsung, băng thông PIM nội bộ cao khoảng tám lần mức LPDDR5X thông thường dùng làm đường cơ sở. Tuy nhiên, điều đó không biến giao diện LPDDR bên ngoài thành một liên kết 614 GB/s. Băng thông cao chỉ xuất hiện khi phần mềm sử dụng đúng các phép toán được PIM hỗ trợ và khai thác được mức song song bên trong bộ nhớ.

Address Align Mode giúp các bank làm việc song song

Một thành phần quan trọng của thiết kế là Address Align Mode. Các toán hạng tương ứng được bố trí tại những địa chỉ khớp nhau trên các bank tham gia. Nhờ đó, một lệnh PIM dùng chung có thể kích hoạt cùng một phép toán đồng thời trên nhiều bank.

Cách bố trí này tận dụng đặc điểm bốn die trong một rank LPDDR nhận chung tín hiệu lệnh và địa chỉ, trong khi vẫn duy trì các đường dữ liệu riêng. Vì vậy, các die có thể thực thi song song mà không cần biến toàn bộ gói nhớ thành một kênh bên ngoài siêu rộng theo cách truyền thống. 17

Samsung mô tả hai chế độ vận hành:

• Single-bank: kiểm soát chi tiết hơn và tạo thêm cơ hội để lưu lượng DRAM thông thường hoạt động song song với tác vụ PIM.
• Multi-bank: kích hoạt nhiều khối PIM cùng lúc, tăng mức song song nội bộ và băng thông cho những kernel phù hợp.

Đổi lại, đây là bài toán đánh đổi phụ thuộc vào khối lượng công việc. Nhiều bank cùng tham gia có thể cải thiện thông lượng, nhưng cũng làm giảm số bank còn sẵn sàng phục vụ truy cập DRAM thông thường tại thời điểm đó. PIM vì thế không hoàn toàn là một bộ tăng tốc “cắm vào là chạy”; phần mềm, cách sắp xếp tensor và kernel mục tiêu cần được ánh xạ theo cấu trúc bank của bộ nhớ.

Kết quả suy luận Llama 3.1 8B

Trên một SoC AI biên chạy Llama 3.1 8B, Samsung công bố các kết quả so sánh với LPDDR5X thông thường:

• Thời gian suy luận thấp hơn 2,28 lần.
• Thông lượng token cao hơn 3,01 lần.
• Băng thông PIM nội bộ lên tới 614 GB/s, trong khi mức cơ sở LPDDR5X thông thường trong phần trình bày vào khoảng 76,8 GB/s.

Các số liệu trên mô tả một cấu hình thử nghiệm cụ thể của Samsung, không phải hệ số tăng tốc áp dụng cho mọi mô hình. Kết quả thực tế còn phụ thuộc vào độ chính xác số học, lượng tử hóa mô hình, kích thước batch, dung lượng bộ nhớ, cách đặt tensor, khả năng hỗ trợ của phần mềm và tỷ lệ tác vụ GEMV trong toàn bộ quá trình suy luận.

Samsung cũng nêu mức tiêu thụ điện thấp hơn như một lợi ích kiến trúc do giảm việc truyền dữ liệu giữa bộ nhớ và SoC. Tuy nhiên, các tài liệu được cung cấp không đưa ra con số độc lập có thể so sánh về watt trên mỗi lần suy luận hoặc joule trên mỗi token. Vì vậy, lợi thế điện năng nên được hiểu là mục tiêu thiết kế và lợi ích kỳ vọng trong các workload phù hợp, chưa phải một tỷ lệ tiết kiệm đã được xác minh rộng rãi.

LPDDR5X-PIM khác HBM như thế nào?

HBM vẫn phù hợp hơn khi bộ tăng tốc cần băng thông bộ nhớ ngoài tối đa, đặc biệt trong huấn luyện mô hình quy mô lớn và các hệ thống trung tâm dữ liệu cao cấp. Đổi lại, HBM cần DRAM xếp chồng, kết nối xuyên silicon, đóng gói tiên tiến cùng yêu cầu đáng kể về diện tích và nhiệt.

Tại Hot Chips, Micron cho biết bất lợi về diện tích wafer của HBM so với DDR5 đang tăng lên. Trong phép so sánh của hãng, thiết kế HBM cùng dung lượng cần khoảng gấp ba lần diện tích wafer so với DDR5.

Samsung chọn một hướng đánh đổi khác: giữ dạng bộ nhớ LPDDR5X công suất thấp, rồi bổ sung năng lực tính toán giới hạn gần các bank DRAM. LPDDR5X-PIM không thể cung cấp băng thông tăng dụng chung như HBM cho mọi loại phép toán, nhưng có thể phù hợp khi vấn đề chính là di chuyển dữ liệu trong suy luận chứ không phải thiếu năng lực tính toán dấu phẩy động đỉnh cao.

Những nhóm ứng dụng được nhắm đến gồm:

• Thiết bị di động và máy khách: chạy AI ngay trên thiết bị trong giới hạn pin và nhiệt.
• Hệ thống AI biên: suy luận cục bộ mà không cần bộ tăng tốc HBM rời.
• Máy chủ: các workload suy luận hoặc xử lý dữ liệu bị giới hạn bởi việc di chuyển dữ liệu, nơi chi phí và yêu cầu đóng gói của HBM có thể khó biện minh.

Do đó, cách mô tả chính xác hơn là LPDDR5X-PIM có thể bổ trợ hoặc trở thành lựa chọn nhạy cảm về chi phí so với HBM trong một số workload suy luận, chứ không phải sự thay thế toàn diện cho HBM.

Từ FMS 2026 đến định hướng LPDDR6-PIM

Samsung đã trình diễn LPDDR5X-PIM tại FMS 2026. Phiên Hot Chips 2026 bổ sung phần giải thích chi tiết hơn về kiến trúc và hiệu năng; chương trình hội nghị xếp bài trình bày của Samsung trong phiên bộ nhớ, tập trung vào PIM dựa trên LPDDR cho suy luận AI. 9 13

Định hướng rộng hơn của Samsung là biến PIM từ một thử nghiệm chuyên biệt trên HBM thành tính năng bộ nhớ công suất thấp có khả năng triển khai rộng hơn. Công ty cũng đang hướng đến LPDDR6-PIM và tham vọng tiêu chuẩn hóa, dù bằng chứng hiện có chưa xác nhận một đặc tả JEDEC đã hoàn tất hoặc ngày phê chuẩn cụ thể.

DeepX cho biết họ dự định sử dụng Samsung LPDDR5X-PIM trong chip DX-M2 thế hệ thứ hai và hướng tới LPDDR6-PIM cho thiết kế DX-M3 về sau. 15

Nếu được tiêu chuẩn hóa, các yếu tố như lệnh chung, khả năng tương thích giao diện, công cụ phần mềm và quy tắc địa chỉ-bank nhất quán sẽ có ý nghĩa quan trọng với việc các nhà sản xuất SoC chấp nhận công nghệ này.

LPDDR5X-PIM và XCENA MX1: cùng ý tưởng, khác cấp độ

LPDDR5X-PIM xuất hiện trong cùng phiên bộ nhớ Hot Chips với XCENA MX1, nhưng hai công nghệ hoạt động ở những cấp độ khác nhau.

MX1 là một thiết bị bộ nhớ tính toán CXL Type 3 dành cho hạ tầng quy mô rack. Thiết kế này kết hợp dung lượng DDR5 lên tới 2 TB, dung lượng mở rộng dựa trên SSD và hơn 1.000 lõi RISC-V để xử lý gần bộ nhớ. 4 10

Trong khi đó, LPDDR5X-PIM tích hợp một tập hợp nhỏ các khối tính toán chuyên dụng trực tiếp vào DRAM LPDDR. Cả hai đều nhằm giảm lượng dữ liệu phải di chuyển giữa bộ xử lý và bộ nhớ, nhưng MX1 là thiết bị máy chủ gắn qua CXL, còn giải pháp của Samsung là gói bộ nhớ công suất thấp dành cho SoC hoặc các hệ thống sử dụng bộ nhớ kiểu LPDDR.

Kết luận

Công bố tại Hot Chips 2026 cho thấy Samsung đang nhắm LPDDR5X-PIM vào một vấn đề rất cụ thể của suy luận AI: chi phí và độ trễ do di chuyển dữ liệu. Gói nhớ 16 GB, bốn die, tốc độ 9.600 Mb/s trên mỗi chân, cùng 16 khối PIM gồm cây MAC và ALU hỗn hợp, cho phép một số phép toán được thực hiện ngay gần nơi dữ liệu được lưu trữ. 9

Kết quả với Llama 3.1 8B khá đáng chú ý, nhưng cần được đọc như một benchmark do nhà sản xuất thực hiện cho một workload cụ thể. Ý nghĩa lớn hơn của công nghệ nằm ở chiến lược: Samsung đang mở rộng PIM xuống nhóm bộ nhớ LPDDR công suất thấp, hướng đến thiết bị di động, máy khách, hệ thống biên và một số máy chủ, trong khi HBM vẫn đảm nhiệm các workload thực sự cần băng thông bộ nhớ tổng dụng ở mức cao nhất.