LPDDR5X-PIM Samsung Tawar Inferens AI Dalam Memori pada Kelajuan Dalaman 614 GB/s

Samsung menggunakan pentas Hot Chips 2026 untuk menerangkan bagaimana LPDDR5X-PIM menambah keupayaan pemprosesan terus ke dalam DRAM berkuasa rendah bagi tugas inferens AI. Reka bentuk ini menggabungkan 16 blok pemprosesan dalam memori, logik darab-dan-tambah secara selari, serta unit aritmetik titik apungan dan integer dalam satu pakej LPDDR5X berkapasiti 16 GB.

Dalam ujian Samsung menggunakan SoC AI tepi yang menjalankan Llama 3.1 8B, teknologi itu dilaporkan mengurangkan masa inferens sebanyak 2.28 kali ganda dan meningkatkan kadar penghasilan token sebanyak 3.01 kali ganda. Namun, angka tersebut ialah keputusan yang dilaporkan Samsung, bukannya penilaian bebas merentas pelbagai sistem. 1 9

Masalah yang cuba diselesaikan oleh LPDDR5X-PIM

Inferens model bahasa besar sering terhad bukan kerana kuasa pengiraan semata-mata, tetapi kerana berat model dan data perantaraan perlu berulang kali dipindahkan antara DRAM dengan pemproses. Setiap pemindahan menggunakan lebar jalur dan tenaga, selain menambah masa menunggu.

Pemprosesan dalam memori, atau processing-in-memory (PIM), cuba mengurangkan kesesakan itu dengan menjalankan operasi tertentu berdekatan susunan sel DRAM. Dengan cara ini, tidak semua operan perlu dihantar melalui antara muka memori luaran kepada CPU, GPU atau pemecut AI. Samsung menyifatkan LPDDR5X-PIM sebagai penyelesaian PIM berasaskan LPDDR yang pertama daripada syarikat itu untuk inferens AI. 2 9 13

Pendekatan ini paling sesuai untuk beban kerja yang banyak menggunakan operasi matriks-vektor berulang, seperti GEMV, kerana mengurangkan pergerakan data boleh memberi kesan sebesar menambah lebih banyak unit pengiraan konvensional.

Seni bina: 16 blok PIM dalam pakej empat die

Konfigurasi yang diumumkan Samsung ialah pakej LPDDR5X 16 GB yang dibina daripada empat die. Ia menggunakan pakej 561 bola gaya JEDEC dan beroperasi pada kadar 9,600 Mb/s bagi setiap pin. Keempat-empat die berkongsi isyarat arahan dan alamat, tetapi menggunakan talian data berasingan, selari dengan susunan LPDDR5. 9 17

Pakej ini mengandungi 16 blok PIM yang diedarkan merentasi bank DRAM. Setiap blok menggabungkan dua jenis perkakasan utama:

• Pepohon MAC menjalankan operasi darab-dan-tambah serta pengurangan yang banyak digunakan dalam GEMV dan operasi matriks berkaitan.
• ALU titik apungan dan integer mengendalikan pengiraan elemen demi elemen serta operasi sokongan lain.

Susunan heterogen ini membolehkan memori mengendalikan lebih daripada pengiraan asas pada satu jenis data sahaja. Bahan PIM Samsung terdahulu turut menerangkan unit titik apungan SIMD dan penempatan unit PIM pada peringkat bank, iaitu pendekatan meletakkan pengiraan khusus sedekat mungkin dengan data yang diperlukan. 9 11

Mengapa angka 614 GB/s mudah disalah tafsir

Samsung menyebut sehingga 614 GB/s lebar jalur agregat dalaman PIM. Ini bukan lebar jalur biasa dari pakej memori ke pemproses melalui antara muka LPDDR5X luaran. Sebaliknya, angka itu merujuk kepada kerja selari yang berlaku merentasi pelbagai bank dan blok pemprosesan dalam memori. 1

Dalam perbandingan Samsung, angka dalaman itu kira-kira lapan kali ganda lebar jalur LPDDR5X konvensional yang digunakan sebagai garis dasar. Maksudnya, PIM menyediakan lebar jalur yang tinggi di dalam memori untuk operasi yang disokong—bukan menjadikan antara muka LPDDR luaran sebagai sambungan 614 GB/s.

Address Align Mode dan operasi pada peringkat bank

Salah satu ciri penting reka bentuk ini ialah Address Align Mode. Operan yang sepadan disusun pada alamat yang sepadan merentasi bank-bank yang terlibat. Dengan susunan itu, satu arahan PIM yang dikongsi boleh mencetuskan operasi sama secara selari pada beberapa bank.

Keempat-empat die dalam satu rank LPDDR menerima isyarat arahan dan alamat yang sama secara serentak, sambil mengekalkan laluan data yang berbeza. Struktur ini membolehkan operasi selari tanpa menjadikan pakej tersebut sebagai satu saluran luaran konvensional yang sangat lebar. 17

Samsung menerangkan dua gaya operasi:

• Operasi satu bank memberikan kawalan yang lebih terperinci dan membolehkan lebih banyak trafik DRAM biasa berjalan seiring dengan tugas PIM.
• Operasi berbilang bank mengaktifkan lebih banyak blok PIM pada masa yang sama, sekali gus meningkatkan keparalelan dan lebar jalur dalaman untuk kernel yang sesuai.

Pertukarannya bergantung pada beban kerja. Lebih banyak bank boleh meningkatkan daya pemprosesan, tetapi pada masa yang sama mengurangkan bilangan bank yang tersedia untuk akses memori biasa. Oleh itu, PIM bukanlah pemecut yang boleh disembunyikan begitu sahaja di belakang perisian. Susun atur tensor, kernel sasaran dan pemetaan data perlu disesuaikan dengan struktur bank memori.

Keputusan inferens Llama 3.1 8B

Pada SoC AI tepi yang menjalankan Llama 3.1 8B, Samsung melaporkan perbandingan berikut dengan LPDDR5X konvensional:

• Masa inferens 2.28 kali lebih rendah
• Kadar token 3.01 kali lebih tinggi
• Sehingga 614 GB/s lebar jalur PIM dalaman, berbanding kira-kira 76.8 GB/s bagi garis dasar LPDDR5X konvensional yang dilaporkan dalam liputan pembentangan

Angka ini menggambarkan satu konfigurasi ujian khusus Samsung, bukan gandaan prestasi yang boleh dijangka untuk semua sistem. Keputusan sebenar bergantung pada ketepatan model, penempatan tensor, saiz kelompok, kapasiti memori, sokongan perisian dan bahagian beban kerja yang terdiri daripada operasi seakan GEMV.

Samsung turut mengetengahkan penggunaan kuasa yang lebih rendah sebagai manfaat seni bina kerana kurang data perlu bergerak antara memori dengan SoC. Walau bagaimanapun, bahan yang tersedia tidak memberikan angka penggunaan watt bagi setiap inferens atau joule bagi setiap token yang boleh dibandingkan dan disahkan secara bebas. Maka, kelebihan kuasa itu lebih wajar difahami sebagai matlamat reka bentuk dan manfaat yang dijangka untuk beban kerja tertentu, bukannya pengurangan peratusan yang telah diterbitkan.

LPDDR5X-PIM berbanding HBM

HBM masih lebih sesuai apabila pemecut memerlukan lebar jalur memori luaran maksimum, khususnya untuk latihan berskala besar dan beban kerja pusat data berprestasi tinggi. Prestasinya datang bersama DRAM bertindan, through-silicon vias, pembungkusan lanjutan serta keperluan kawasan silikon dan terma yang besar. Di Hot Chips, Micron berkata penalti keluasan wafer HBM berbanding DDR5 semakin melebar; bagi kapasiti sama dalam perbandingan mereka, reka bentuk HBM memerlukan kira-kira tiga kali keluasan wafer.

Samsung memilih pertukaran yang berbeza. LPDDR5X-PIM mengekalkan format DRAM berkuasa rendah dan menambah sejumlah kecil pengiraan berdekatan bank memori. Ia tidak menawarkan lebar jalur pemecut serba guna seperti HBM, tetapi mungkin menarik apabila masalah utama ialah pemindahan data untuk inferens, bukannya keperluan terhadap daya apungan maksimum.

Sasaran yang lebih tepat untuk teknologi ini termasuk:

• Peranti mudah alih dan komputer pelanggan: inferens AI pada peranti dengan batasan bateri, kuasa dan haba yang ketat.
• Sistem AI tepi: inferens setempat tanpa pemecut diskret berasaskan HBM.
• Pelayan: inferens dan pemprosesan data yang lebih banyak terhad oleh pergerakan data, apabila kos serta keperluan pembungkusan HBM sukar dijustifikasikan.

Justeru, LPDDR5X-PIM lebih tepat digambarkan sebagai pelengkap atau alternatif HBM yang lebih sensitif terhadap kos untuk beban kerja inferens terpilih—bukan pengganti HBM secara menyeluruh.

Kedudukannya dalam hala tuju Samsung

Samsung telah menunjukkan LPDDR5X-PIM di FMS 2026. Sesi Hot Chips pula memberikan penerangan seni bina dan perbincangan prestasi yang lebih terperinci; program persidangan menyenaraikan pembentangan Samsung sebagai ceramah khusus dalam sesi memori mengenai PIM berasaskan LPDDR untuk inferens AI. 9 13

Arah yang lebih luas ialah menjadikan PIM sebagai ciri memori berkuasa rendah yang lebih mudah digunakan, bukan teknologi yang terhad kepada eksperimen HBM khusus. Hala tuju LPDDR6-PIM Samsung turut dikaitkan dengan usaha penyeragaman, walaupun bukti yang tersedia belum mengesahkan spesifikasi JEDEC yang dimuktamadkan atau tarikh ratifikasi.

DeepX pula berkata syarikat itu merancang menggunakan Samsung LPDDR5X-PIM dalam cip DX-M2 generasi keduanya dan menyasarkan LPDDR6-PIM untuk reka bentuk DX-M3 yang seterusnya. 15

LPDDR5X-PIM dan XCENA MX1: berkaitan, tetapi berbeza

Pembentangan Samsung berlangsung dalam sesi memori Hot Chips yang sama dengan MX1 keluaran XCENA, tetapi kedua-duanya beroperasi pada tahap sistem yang berbeza.

XCENA MX1 ialah peranti memori pengkomputeran CXL Type 3 untuk infrastruktur berskala rak. Reka bentuknya menggabungkan kapasiti DDR5 sehingga 2 TB, kapasiti yang disokong SSD dan lebih daripada 1,000 teras RISC-V untuk pemprosesan berdekatan memori. 4 10

Sebaliknya, LPDDR5X-PIM mengintegrasikan set unit pengiraan khusus yang lebih kecil terus ke dalam DRAM LPDDR. Kedua-duanya cuba mengurangkan pergerakan data antara memori dengan hos, tetapi MX1 ialah peranti pelayan yang disambungkan melalui CXL, manakala reka bentuk Samsung ialah pakej memori berkuasa rendah yang dimaksudkan untuk berada dekat dengan SoC atau sistem berasaskan LPDDR.

Kesimpulan praktikal

Pendedahan Samsung di Hot Chips 2026 menggambarkan LPDDR5X-PIM sebagai jawapan khusus terhadap masalah kesesakan memori dalam inferens AI. Enam belas blok pemprosesan, keparalelan pada peringkat bank, pepohon MAC serta ALU titik apungan dan integer membolehkan operasi tertentu kekal dekat dengan data. Pada masa yang sama, pakej itu mengekalkan format serasi LPDDR5X dan kadar operasi 9,600 Mb/s bagi setiap pin. 9

Keputusan Llama 3.1 8B yang dilaporkan Samsung memang menarik, tetapi perlu dibaca sebagai penanda aras khusus daripada vendor. Kepentingan strategiknya terletak pada usaha membawa PIM ke memori berkuasa rendah yang boleh digunakan dalam peranti mudah alih, sistem tepi, komputer pelanggan dan pelayan terpilih. HBM pula kekal menjadi pilihan untuk beban kerja yang benar-benar memerlukan lebar jalur serba guna jauh lebih tinggi.