Samsung เผย LPDDR5X-PIM เร่งการอนุมาน AI ใน DRAM กำลังต่ำ

Samsung ใช้เวที Hot Chips 2026 อธิบายการทำงานของ LPDDR5X-PIM หน่วยความจำ DRAM กำลังต่ำที่ฝังวงจรประมวลผลไว้ภายใน เพื่อให้งานบางส่วนของการอนุมาน AI เกิดขึ้นใกล้กับข้อมูลมากขึ้น แทนที่จะต้องส่งข้อมูลทุกชุดไปกลับระหว่างหน่วยความจำกับโปรเซสเซอร์

การออกแบบนี้ประกอบด้วยบล็อกประมวลผลในหน่วยความจำ 16 ชุด ตรรกะคูณและสะสมแบบขนาน รวมถึงหน่วยคำนวณเลขทศนิยมลอยตัวและจำนวนเต็ม ภายในแพ็กเกจ LPDDR5X ความจุ 16 GB โดย Samsung รายงานว่า เมื่อใช้กับ SoC สำหรับ Edge AI ที่รัน Llama 3.1 8B เวลาอนุมานลดลง 2.28 เท่า และอัตราการสร้างโทเคนเพิ่มขึ้น 3.01 เท่า อย่างไรก็ตาม ตัวเลขดังกล่าวเป็นผลทดสอบที่บริษัทเป็นผู้รายงานเอง ไม่ใช่ผลประเมินอิสระในหลายแพลตฟอร์ม 1 9

LPDDR5X-PIM แก้ปัญหาอะไร

การอนุมานโมเดลภาษาขนาดใหญ่มักใช้เวลาไปกับการย้ายค่าน้ำหนักของโมเดลและข้อมูลระหว่าง DRAM กับหน่วยประมวลผลไม่น้อยกว่าการคำนวณจริง เทคโนโลยี Processing-in-Memory หรือ PIM จึงพยายามแก้คอขวดนี้ด้วยการย้ายงานบางประเภทไปทำข้างอาร์เรย์ DRAM โดยไม่ต้องส่งตัวถูกดำเนินการทุกตัวผ่านอินเทอร์เฟซหน่วยความจำภายนอก

Samsung ระบุว่า LPDDR5X-PIM เป็นโซลูชัน PIM บนพื้นฐาน LPDDR รุ่นแรกของบริษัทที่ออกแบบมาเพื่อการอนุมาน AI 2 9 13 แนวทางนี้เหมาะเป็นพิเศษกับงานที่ทำซ้ำการคำนวณเมทริกซ์-เวกเตอร์จำนวนมาก เพราะการลดการเคลื่อนย้ายข้อมูลอาจสำคัญพอ ๆ กับการเพิ่มกำลังประมวลผลแบบดั้งเดิม

โครงสร้างภายใน: 16 บล็อก PIM ในแพ็กเกจ 4 die

LPDDR5X-PIM ที่ Samsung นำเสนอเป็นแพ็กเกจความจุ 16 GB ใช้ die จำนวน 4 ชิ้นในแพ็กเกจมาตรฐาน JEDEC แบบ 561 บอล และทำงานที่อัตรา 9,600 Mb/s ต่อพิน ทั้ง 4 die ใช้สัญญาณคำสั่งและแอดเดรสร่วมกัน แต่มีเส้นทางข้อมูลแยกกัน ซึ่งสอดคล้องกับโครงสร้างการทำงานแบบขนานของ LPDDR5 9 17

ภายในแพ็กเกจมีบล็อก PIM จำนวน 16 ชุดกระจายอยู่ตามธนาคารหน่วยความจำ แต่ละบล็อกประกอบด้วยฮาร์ดแวร์หลัก 2 ประเภท ได้แก่

• MAC tree สำหรับการคูณและสะสมข้อมูลจำนวนมาก ซึ่งเป็นส่วนสำคัญของ GEMV และการคำนวณเมทริกซ์ที่เกี่ยวข้อง
• ALU แบบเลขทศนิยมลอยตัวและจำนวนเต็ม สำหรับการคำนวณแบบ elementwise และงานสนับสนุนอื่น ๆ

การจัดวางแบบผสมนี้ทำให้หน่วยความจำรองรับการคำนวณมากกว่าการทำงานเลขคณิตชนิดเดียว Samsung เคยอธิบายแนวทาง PIM ที่ใช้หน่วยประมวลผลเวกเตอร์แบบ SIMD และวางหน่วย PIM ในระดับธนาคารหน่วยความจำมาก่อน แนวคิดสำคัญคือการวางวงจรคำนวณเฉพาะทางไว้ใกล้กับข้อมูลที่ต้องใช้งาน 9 11

ทำไมตัวเลข 614 GB/s จึงอาจทำให้เข้าใจผิด

Samsung ระบุว่า LPDDR5X-PIM ให้ แบนด์วิดท์ PIM ภายในรวมสูงสุด 614 GB/s แต่ตัวเลขนี้ไม่ใช่แบนด์วิดท์ที่โปรเซสเซอร์ภายนอกจะรับส่งผ่านอินเทอร์เฟซ LPDDR5X ได้ตามปกติ

ตัวเลขดังกล่าวสะท้อนการทำงานแบบขนานภายในธนาคารหน่วยความจำและบล็อก PIM หลายชุดพร้อมกัน 1 ในการเปรียบเทียบของ Samsung แบนด์วิดท์ภายในนี้สูงกว่าแบนด์วิดท์ LPDDR5X แบบเดิมที่ใช้เป็นฐานประมาณ 8 เท่า จุดสำคัญคือ PIM เพิ่มแบนด์วิดท์สำหรับงานที่รองรับภายในหน่วยความจำ ไม่ได้เปลี่ยนอินเทอร์เฟซ LPDDR ภายนอกให้กลายเป็นลิงก์ความเร็ว 614 GB/s

Address Align Mode และการทำงานระดับธนาคาร

หัวใจอีกส่วนของการออกแบบคือ Address Align Mode โดยจัดวางตัวถูกดำเนินการที่สอดคล้องกันไว้ในแอดเดรสที่ตรงกันของธนาคารหน่วยความจำที่เข้าร่วม เมื่อได้รับคำสั่ง PIM ร่วมกัน แต่ละธนาคารจึงสามารถเริ่มการคำนวณแบบเดียวกันพร้อมกันได้

เนื่องจาก die ทั้ง 4 ชิ้นใน LPDDR rank รับสัญญาณคำสั่งและแอดเดรสร่วมกันแบบทำงานสอดคล้องกัน แต่ยังมีเส้นทางข้อมูลแยกจากกัน การจัดวางเช่นนี้จึงเปิดทางให้เกิดการประมวลผลแบบขนานโดยไม่ต้องมองแพ็กเกจทั้งหมดเป็นช่องสัญญาณภายนอกขนาดใหญ่ช่องเดียว 17

Samsung อธิบายรูปแบบการทำงานไว้ 2 แบบ

• การทำงานแบบ Single-bank ควบคุมได้ละเอียดกว่า และเปิดโอกาสให้ทราฟฟิก DRAM ปกติทำงานควบคู่กับ PIM ได้มากขึ้น
• การทำงานแบบ Multi-bank เปิดใช้บล็อก PIM หลายชุดพร้อมกัน เพื่อเพิ่มการประมวลผลแบบขนานและแบนด์วิดท์ภายในสำหรับเคอร์เนลที่เหมาะสม

ข้อแลกเปลี่ยนขึ้นอยู่กับลักษณะงาน การใช้ธนาคารมากขึ้นอาจเพิ่มปริมาณงานได้ แต่ก็ทำให้ธนาคารเหล่านั้นไม่พร้อมรองรับการเข้าถึง DRAM แบบปกติในช่วงเวลาเดียวกัน ดังนั้น PIM จะทำงานได้ดีที่สุดเมื่อซอฟต์แวร์ การจัดวางเทนเซอร์ และเคอร์เนลเป้าหมายได้รับการแมปให้สอดคล้องกับโครงสร้างธนาคารหน่วยความจำ ไม่ใช่ถูกมองว่าเป็นตัวเร่งความเร็วแบบเสียบแล้วใช้งานได้ทันทีโดยไม่ต้องปรับระบบ

ผลทดสอบ Llama 3.1 8B ของ Samsung

บน SoC สำหรับ Edge AI ที่รันการอนุมาน Llama 3.1 8B Samsung รายงานผลเมื่อเทียบกับ LPDDR5X ทั่วไปดังนี้

• เวลาอนุมานลดลง 2.28 เท่า
• อัตราการประมวลผลโทเคนเพิ่มขึ้น 3.01 เท่า
• แบนด์วิดท์ PIM ภายในสูงสุด 614 GB/s เทียบกับค่าฐาน LPDDR5X ทั่วไปประมาณ 76.8 GB/s ในการนำเสนอ

ตัวเลขเหล่านี้เป็นผลจากการทดสอบในสภาพแวดล้อมเฉพาะของ Samsung ไม่ใช่ตัวคูณประสิทธิภาพที่ใช้ได้กับทุกระบบ ผลจริงจะขึ้นอยู่กับความละเอียดของโมเดล การจัดวางเทนเซอร์ ขนาดแบตช์ ความจุหน่วยความจำ การสนับสนุนจากซอฟต์แวร์ และสัดส่วนของงานที่มีลักษณะคล้าย GEMV

Samsung ยังนำเสนอการลดการใช้พลังงานเป็นประโยชน์ด้านสถาปัตยกรรม เพราะข้อมูลต้องเดินทางระหว่างหน่วยความจำกับ SoC น้อยลง แต่ข้อมูลที่มีอยู่ยังไม่มีตัวเลขวัตต์ต่อการอนุมานหรือจูลต่อโทเคนที่ตรวจสอบโดยหน่วยงานอิสระและนำมาเปรียบเทียบได้โดยตรง ดังนั้นประโยชน์ด้านพลังงานควรถูกมองว่าเป็นเป้าหมายและข้อคาดหวังของการออกแบบสำหรับงานที่เหมาะสม มากกว่าจะเป็นเปอร์เซ็นต์การลดลงที่ประกาศยืนยันแล้ว

LPDDR5X-PIM เทียบกับ HBM

HBM ยังคงเหมาะกว่าเมื่อคันเร่ง AI ต้องการแบนด์วิดท์หน่วยความจำภายนอกสูงสุด โดยเฉพาะงานฝึกโมเดลขนาดใหญ่และระบบดาต้าเซ็นเตอร์ระดับสูง แต่ HBM ต้องใช้ DRAM แบบซ้อนหลายชั้น เทคโนโลยี TSV แพ็กเกจขั้นสูง รวมถึงพื้นที่ซิลิคอนและการจัดการความร้อนจำนวนมาก

ในงาน Hot Chips ไมครอนระบุว่าความเสียเปรียบด้านพื้นที่เวเฟอร์ของ HBM เมื่อเทียบกับ DDR5 กำลังเพิ่มขึ้น โดยการออกแบบ HBM ที่มีความจุเท่ากันในตัวอย่างของบริษัทใช้พื้นที่เวเฟอร์ประมาณ 3 เท่า

Samsung เลือกแนวทางที่แตกต่าง LPDDR5X-PIM ยังคงใช้รูปแบบหน่วยความจำ DRAM กำลังต่ำ แต่เพิ่มความสามารถคำนวณแบบจำกัดไว้ใกล้กับธนาคารหน่วยความจำ เทคโนโลยีนี้จึงไม่สามารถให้แบนด์วิดท์สำหรับคันเร่งทั่วไปเทียบเท่า HBM ได้ แต่อาจน่าสนใจเมื่อปัญหาหลักคือการย้ายข้อมูลระหว่างหน่วยความจำกับโปรเซสเซอร์ ไม่ใช่การขาดกำลังประมวลผลเลขทศนิยมสูงสุด

กลุ่มงานที่ Samsung มองว่าเหมาะกับ LPDDR5X-PIM ได้แก่

• อุปกรณ์มือถือและไคลเอนต์: รัน AI บนอุปกรณ์ภายใต้ข้อจำกัดด้านแบตเตอรี่และความร้อน
• ระบบ Edge: ประมวลผล AI ภายในเครื่องโดยไม่ต้องใช้คันเร่งที่ติดตั้ง HBM แยกต่างหาก
• เซิร์ฟเวอร์: งานอนุมานและประมวลผลข้อมูลที่ติดข้อจำกัดด้านการเคลื่อนย้ายข้อมูล และไม่จำเป็นต้องใช้กำลังคำนวณสูงสุด

คำอธิบายที่แม่นยำที่สุดคือ LPDDR5X-PIM เป็นส่วนเสริมหรือทางเลือกที่คำนึงถึงต้นทุนสำหรับ HBM ในงานอนุมานบางประเภท ไม่ใช่สิ่งที่จะมาแทน HBM ได้ทุกกรณี

จาก FMS สู่ Hot Chips และแผน LPDDR6-PIM

Samsung เคยสาธิต LPDDR5X-PIM ที่งาน FMS 2026 มาก่อน ส่วนการนำเสนอใน Hot Chips เพิ่มรายละเอียดด้านสถาปัตยกรรมและผลทดสอบประสิทธิภาพ โดยกำหนดการประชุมระบุหัวข้อของ Samsung เป็นการบรรยายเฉพาะในเซสชันหน่วยความจำเกี่ยวกับ PIM บนพื้นฐาน LPDDR สำหรับการอนุมาน AI 9 13

ทิศทางระยะยาวของ Samsung คือการทำให้ PIM กลายเป็นฟีเจอร์ของหน่วยความจำกำลังต่ำที่นำไปใช้งานได้จริงในวงกว้าง ไม่จำกัดอยู่กับการทดลองบน HBM เฉพาะทาง บริษัทมีแนวคิดเกี่ยวกับ LPDDR6-PIM และการผลักดันสู่มาตรฐาน แต่หลักฐานที่มีอยู่ยังไม่ยืนยันว่าข้อกำหนด JEDEC ได้รับการสรุปหรือรับรองแล้ว หรือจะมีการให้สัตยาบันเมื่อใด

DeepX ระบุว่ามีแผนใช้ Samsung LPDDR5X-PIM ในชิป DX-M2 รุ่นที่สอง และตั้งเป้าใช้ LPDDR6-PIM กับ DX-M3 รุ่นถัดไป 15

LPDDR5X-PIM กับ XCENA MX1: แนวคิดคล้ายกัน แต่คนละระดับ

การนำเสนอของ Samsung อยู่ในเซสชันหน่วยความจำเดียวกับ XCENA MX1 แต่เทคโนโลยีทั้งสองทำงานคนละระดับของระบบ

XCENA MX1 เป็นอุปกรณ์หน่วยความจำแบบคำนวณที่เชื่อมต่อผ่าน CXL Type 3 ซึ่งออกแบบมาสำหรับโครงสร้างพื้นฐานระดับแร็ก โดยรวมความจุ DDR5 สูงสุด 2 TB ความจุที่อาศัย SSD และคอร์ RISC-V มากกว่า 1,000 คอร์ไว้สำหรับการประมวลผลใกล้หน่วยความจำ 4 10

ในทางกลับกัน LPDDR5X-PIM ฝังหน่วยคำนวณเฉพาะทางจำนวนเล็กกว่าลงใน DRAM แบบ LPDDR โดยตรง ทั้งสองแนวทางพยายามลดการเคลื่อนย้ายข้อมูลไปยังหน่วยความจำหลักเหมือนกัน แต่ MX1 เป็นอุปกรณ์เซิร์ฟเวอร์ที่เชื่อมต่อผ่าน CXL ขณะที่ Samsung ออกแบบ LPDDR5X-PIM ให้เป็นแพ็กเกจหน่วยความจำกำลังต่ำที่อยู่ใกล้ SoC หรือระบบประเภทเดียวกับ LPDDR

สรุป: PIM กำลังขยับจากการทดลองสู่หน่วยความจำกำลังต่ำ

การเปิดเผยข้อมูลที่ Hot Chips 2026 ทำให้เห็นว่า Samsung กำลังวาง LPDDR5X-PIM เป็นคำตอบแบบเจาะจงสำหรับคอขวดด้านหน่วยความจำในงานอนุมาน AI ด้วยบล็อกประมวลผล 16 ชุด การทำงานแบบขนานระดับธนาคาร MAC tree และ ALU ที่รองรับทั้งเลขทศนิยมลอยตัวกับจำนวนเต็ม ขณะเดียวกันยังคงรูปแบบแพ็กเกจที่สอดคล้องกับ LPDDR5X และอัตราการทำงาน 9,600 Mb/s ต่อพิน 9

ผลทดสอบ Llama 3.1 8B น่าสนใจ แต่ควรอ่านในฐานะผลทดสอบเฉพาะงานจากผู้ผลิต สิ่งที่สำคัญกว่าตัวเลขคือทิศทางเชิงกลยุทธ์ Samsung กำลังนำแนวคิด PIM จากหน่วยความจำเฉพาะทางเข้าสู่ DRAM กำลังต่ำที่มีโอกาสใช้งานในมือถือ อุปกรณ์ไคลเอนต์ ระบบ Edge และเซิร์ฟเวอร์บางประเภท ขณะที่ HBM ยังคงรับบทบาทในงานที่ต้องการแบนด์วิดท์ทั่วไปสูงมากอย่างแท้จริง