Samsung LPDDR5X-PIM Hadirkan Bandwidth AI Internal 614 GB/s di DRAM Hemat Daya

Samsung memanfaatkan konferensi Hot Chips 2026 untuk menjelaskan LPDDR5X-PIM, teknologi yang menempatkan kemampuan komputasi langsung di dalam DRAM berdaya rendah. Alih-alih mengirim setiap data dan bobot model bolak-balik antara memori dan prosesor, sebagian operasi AI dapat dikerjakan di dekat susunan sel DRAM.

Dalam pengujian Samsung pada SoC AI edge yang menjalankan Llama 3.1 8B, LPDDR5X-PIM diklaim mampu memangkas waktu inferensi 2,28 kali dan meningkatkan throughput token 3,01 kali dibandingkan LPDDR5X konvensional. Angka tersebut merupakan hasil yang dilaporkan perusahaan pada konfigurasi tertentu, bukan tolok ukur independen yang berlaku untuk semua sistem. 1 9

Masalah yang ingin diatasi LPDDR5X-PIM

Inferensi model bahasa besar sering kali tidak hanya dibatasi oleh kemampuan hitung prosesor. Waktu juga banyak tersita untuk memindahkan bobot model dan data antara DRAM dengan CPU, GPU, atau akselerator AI.

Pemrosesan di dalam memori—atau processing-in-memory (PIM)—mencoba mengurangi hambatan tersebut dengan menjalankan operasi tertentu di dekat bank DRAM. Pendekatan ini sangat relevan untuk operasi berulang seperti perkalian matriks-vektor, yang umum digunakan dalam tahap pembuatan token pada model bahasa.

Samsung menyebut LPDDR5X-PIM sebagai solusi PIM berbasis LPDDR pertama untuk inferensi AI. 2 9 13

Arsitektur: 16 blok PIM dalam paket empat die

Konfigurasi yang dipaparkan Samsung menggunakan paket LPDDR5X berkapasitas 16 GB. Paket ini terdiri atas empat die, memakai format 561-ball bergaya JEDEC, dan beroperasi pada kecepatan 9.600 Mb/s per pin. Keempat die berbagi sinyal perintah dan alamat, tetapi memiliki jalur data masing-masing, sesuai dengan organisasi paralel pada sistem LPDDR. 9 17

Di dalam paket tersebut terdapat 16 blok PIM yang ditempatkan di berbagai bank DRAM. Setiap blok menggabungkan dua kelompok perangkat keras:

• MAC tree untuk operasi multiply-accumulate yang banyak digunakan dalam GEMV dan operasi matriks-vektor lain.
• ALU floating-point dan integer untuk perhitungan elemen per elemen serta operasi pendukung lainnya.

Kombinasi ini membuat memori tidak hanya menangani aritmetika sederhana pada satu jenis data. Materi PIM Samsung sebelumnya juga menjelaskan unit floating-point SIMD dan penempatan unit PIM pada level bank, dengan tujuan mendekatkan komputasi khusus ke data yang diprosesnya. 9 11

614 GB/s bukan bandwidth eksternal LPDDR5X

Samsung menyebut bandwidth agregat internal PIM hingga 614 GB/s. Angka ini mudah disalahartikan sebagai bandwidth yang dapat diterima prosesor melalui koneksi LPDDR5X biasa. Padahal, 614 GB/s adalah bandwidth internal yang muncul dari kerja paralel di banyak bank dan blok pemrosesan dalam memori. 1

Dalam perbandingan Samsung, angka tersebut kira-kira delapan kali bandwidth LPDDR5X konvensional yang digunakan sebagai basis. PIM membuka bandwidth yang lebih besar di dalam memori untuk operasi yang didukung, tetapi tidak mengubah antarmuka eksternal LPDDR menjadi koneksi 614 GB/s.

Cara kerja Address Align Mode

Salah satu bagian penting dari rancangan ini adalah Address Align Mode. Operand yang saling berkaitan ditempatkan pada alamat yang sejajar di bank-bank yang berpartisipasi. Dengan begitu, satu perintah PIM dapat memicu operasi yang sama secara paralel di beberapa bank.

Mekanisme ini memanfaatkan karakteristik rank LPDDR: keempat die menerima sinyal perintah dan alamat yang sama serta bekerja secara sinkron, tetapi tetap menggunakan jalur data yang berbeda. Susunan tersebut memungkinkan eksekusi paralel tanpa memperlakukan seluruh paket sebagai satu kanal eksternal konvensional. 17

Samsung menjelaskan dua mode operasi utama:

• Operasi single-bank memberikan kendali yang lebih terperinci dan menyisakan lebih banyak peluang bagi lalu lintas DRAM biasa untuk berjalan bersamaan.
• Operasi multi-bank mengaktifkan lebih banyak blok PIM secara serentak, sehingga paralelisme dan bandwidth internal meningkat untuk kernel yang sesuai.

Ada konsekuensinya. Semakin banyak bank yang dilibatkan, semakin tinggi potensi throughput PIM, tetapi semakin sedikit bank yang tersedia pada saat yang sama untuk akses DRAM biasa. Karena itu, PIM tidak sepenuhnya bekerja sebagai akselerator yang transparan. Perangkat lunak, tata letak tensor, dan kernel target perlu dipetakan sesuai struktur bank memori.

Hasil inferensi Llama 3.1 8B

Dalam pengujian pada SoC AI edge yang menjalankan Llama 3.1 8B, Samsung melaporkan perbandingan berikut dengan LPDDR5X konvensional:

• Waktu inferensi 2,28 kali lebih singkat.
• Throughput token 3,01 kali lebih tinggi.
• Bandwidth internal PIM hingga 614 GB/s, dibandingkan sekitar 76,8 GB/s pada akses LPDDR5X konvensional dalam materi presentasi tersebut.

Hasil ini sebaiknya dibaca sebagai benchmark yang bergantung pada beban kerja, bukan pengganda kinerja universal. Kinerja nyata dapat berubah berdasarkan presisi model, kuantisasi, ukuran batch, kapasitas memori, penempatan tensor, dukungan perangkat lunak, serta seberapa besar porsi beban kerja terdiri atas operasi mirip GEMV.

Samsung juga menempatkan konsumsi daya yang lebih rendah sebagai manfaat arsitektural karena lebih sedikit data harus dipindahkan antara memori dan SoC. Namun, materi yang tersedia tidak memberikan angka pembanding independen dalam watt per inferensi atau joule per token. Keuntungan daya tersebut lebih tepat dipahami sebagai tujuan desain dan manfaat yang diharapkan pada beban kerja tertentu, bukan persentase penghematan yang sudah terverifikasi.

LPDDR5X-PIM dibandingkan HBM

HBM masih lebih sesuai ketika akselerator membutuhkan bandwidth eksternal maksimum, terutama untuk pelatihan model skala besar dan beban kerja pusat data kelas atas. Kinerjanya berasal dari DRAM bertumpuk, through-silicon via, kemasan canggih, serta kebutuhan area silikon dan pengelolaan panas yang besar. Dalam presentasi Hot Chips, Micron menyebut penalti area wafer HBM dibandingkan DDR5 semakin lebar; untuk kapasitas yang sama, rancangan HBM dalam perbandingan tersebut membutuhkan sekitar tiga kali luas wafer.

Samsung mengambil kompromi yang berbeda. LPDDR5X-PIM mempertahankan format DRAM berdaya rendah, lalu menambahkan komputasi terbatas di dekat bank memori. Teknologi ini tidak menawarkan bandwidth umum seperti HBM, tetapi dapat menarik untuk inferensi yang masalah utamanya adalah perpindahan data, bukan kurangnya kemampuan floating-point puncak.

Target penggunaannya pun lebih spesifik:

• Perangkat seluler dan komputer klien: menjalankan AI di perangkat dengan batasan baterai, daya, dan suhu.
• Sistem edge: melakukan inferensi lokal tanpa akselerator diskret berbasis HBM.
• Server: menangani inferensi dan pemrosesan data yang terhambat perpindahan data, ketika biaya serta kompleksitas kemasan HBM sulit dibenarkan.

Dengan demikian, LPDDR5X-PIM lebih tepat disebut pelengkap atau alternatif HBM yang berorientasi biaya untuk beban kerja tertentu—bukan pengganti HBM secara menyeluruh.

Hubungannya dengan FMS 2026 dan roadmap Samsung

Samsung sebelumnya telah mendemonstrasikan LPDDR5X-PIM di FMS 2026. Sesi Hot Chips 2026 menambahkan penjelasan arsitektur dan pembahasan kinerja yang lebih rinci. Program konferensi tersebut mencantumkan presentasi Samsung sebagai bagian dari sesi memori khusus tentang PIM berbasis LPDDR untuk inferensi AI. 9 13

Arah yang lebih luas adalah menjadikan PIM sebagai fitur memori berdaya rendah yang lebih mudah diterapkan, bukan sekadar eksperimen khusus pada tumpukan HBM. Samsung juga mengaitkan arah jangka panjang LPDDR6-PIM dengan upaya standardisasi. Namun, bukti yang tersedia belum menunjukkan adanya spesifikasi JEDEC final atau tanggal ratifikasi resmi.

DeepX, perusahaan rintisan semikonduktor AI asal Korea Selatan, menyatakan akan menggunakan Samsung LPDDR5X-PIM pada chip DX-M2 generasi keduanya dan menargetkan LPDDR6-PIM untuk rancangan DX-M3 berikutnya. 15

LPDDR5X-PIM dan XCENA MX1 bukan teknologi yang sama

LPDDR5X-PIM dipresentasikan dalam sesi memori Hot Chips yang sama dengan XCENA MX1, tetapi keduanya beroperasi pada tingkat sistem yang berbeda.

XCENA MX1 adalah perangkat memori komputasional CXL Type 3 untuk infrastruktur server skala rak. Perangkat ini menggabungkan kapasitas DDR5 hingga 2 TB, kapasitas berbasis SSD, dan lebih dari 1.000 inti RISC-V untuk pemrosesan dekat memori. 4 10

Sebaliknya, LPDDR5X-PIM menanamkan sejumlah kecil unit komputasi khusus langsung di dalam DRAM LPDDR. Keduanya sama-sama berusaha mengurangi perpindahan data dari memori ke prosesor, tetapi MX1 merupakan perangkat server yang terhubung melalui CXL, sedangkan solusi Samsung adalah paket memori berdaya rendah yang dirancang untuk berada dekat SoC atau sistem bergaya LPDDR.

Kesimpulan

Pengungkapan Samsung di Hot Chips 2026 menempatkan LPDDR5X-PIM sebagai solusi yang lebih terarah untuk mengatasi hambatan memori dalam inferensi AI. Enam belas blok pemrosesan, paralelisme pada level bank, MAC tree, serta ALU floating-point dan integer memungkinkan operasi tertentu dijalankan dekat dengan data. Pada saat yang sama, paket tersebut tetap mempertahankan format LPDDR5X berkapasitas 16 GB dengan kecepatan 9.600 Mb/s per pin. 9

Hasil Llama 3.1 8B yang dilaporkan Samsung terlihat menjanjikan, tetapi tetap merupakan benchmark spesifik dari vendor. Signifikansi strategisnya terletak pada upaya memperluas PIM ke memori berdaya rendah yang dapat digunakan pada perangkat seluler, edge, komputer klien, dan sebagian sistem server.

HBM tetap menjadi pilihan untuk beban kerja yang membutuhkan bandwidth umum sangat tinggi. LPDDR5X-PIM mengambil posisi berbeda: menghadirkan komputasi sederhana di dalam DRAM untuk memangkas perpindahan data, konsumsi energi, dan potensi biaya pada inferensi yang sesuai.