Samsung วางหมาก 3 ระยะ ปั้น zHBM ให้หน่วยความจำอยู่เหนือชิป AI

Samsung กำลังปรับบทบาทของ HBM จากเดิมที่เป็นหน่วยความจำความเร็วสูงข้างชิปประมวลผล ให้กลายเป็นระบบลอจิกที่ฉลาดขึ้นเรื่อย ๆ ก่อนมุ่งสู่ zHBM ซึ่งวางโปรเซสเซอร์ AI ไว้ใต้สแตก DRAM ในแพ็กเกจ 3D อย่างแท้จริง

อย่างไรก็ตาม ตัวเลขประสิทธิภาพของ zHBM ที่ Samsung นำเสนอเป็น เป้าหมายของสถาปัตยกรรมในอนาคต ไม่ใช่ผลทดสอบจากผลิตภัณฑ์ที่วางจำหน่ายแล้ว 1713

แผน 3 ระยะของ Samsung ในภาพเดียว

ระยะ	การเปลี่ยนแปลงหลัก	ประโยชน์ที่ตั้งใจไว้
ระยะที่ 1: custom HBM (cHBM)	ย้ายคอนโทรลเลอร์หน่วยความจำและอินเทอร์เฟซ die-to-die ที่มีขนาดกะทัดรัดขึ้นไปไว้ใน logic base die ของ HBM	คืนพื้นที่ซิลิคอนให้ชิป AI และลดต้นทุนด้านพลังงานจากการรับส่งข้อมูล
ระยะที่ 2: advanced HBM (aHBM)	เพิ่มเซ็นเซอร์ ระบบวัดสถานะแบบเรียลไทม์ ตัวควบคุมขยายหน่วยความจำ และหน่วยประมวลผลบางประเภทใน base die	จัดการหน่วยความจำได้ดีขึ้น เพิ่มความจุ และประมวลผลข้อมูลใกล้หน่วยความจำ
ระยะที่ 3: zHBM	ซ้อนโครงสร้าง DRAM/HBM ไว้เหนือ AI accelerator โดยตรง	ลดระยะทางระหว่างโปรเซสเซอร์กับหน่วยความจำ และเพิ่มการเชื่อมต่อแนวตั้ง

จุดสำคัญของแผนนี้ไม่ได้มีแค่การเพิ่มความเร็ว HBM แต่คือการเปลี่ยนบทบาทของ base die จากชั้นควบคุมและเชื่อมต่อเป็นหลัก ให้กลายเป็นซับซิสเต็มลอจิกที่มีความสามารถมากขึ้น และท้ายที่สุดเป็นส่วนหนึ่งของโครงสร้างประมวลผลกับหน่วยความจำที่รวมกันในแนวตั้ง 182027

ระยะที่ 1: cHBM ย้ายงานควบคุมออกจากชิป AI

จุดตั้งต้นของ HBM4 จาก Samsung ใช้ DRAM แบบ 1c ร่วมกับ logic base die ที่ผลิตด้วยกระบวนการ 4 นาโนเมตร บริษัทระบุว่า HBM4 ทำความเร็วได้สูงสุด 13 Gbps และมีแบนด์วิดท์สูงสุด 3,300 GB/s ต่อสแตก แต่ตัวเลขดังกล่าวเป็นข้อมูลของผลิตภัณฑ์ HBM4 ไม่ใช่สเปกของ zHBM ในอนาคต 3537

ในระยะแรก Samsung เสนอให้เปลี่ยน PHY ของ HBM แบบเดิมที่มีขนาดใหญ่บน AI accelerator เป็นอินเทอร์เฟซ die-to-die ที่กะทัดรัดกว่า พร้อมย้ายฟังก์ชันของ memory controller จากชิปประมวลผลไปยัง HBM base die 1720

แนวทางนี้อาจให้ประโยชน์ 2 ด้าน

• เพิ่มพื้นที่บน accelerator: พื้นที่ซิลิคอนที่เคยใช้กับคอนโทรลเลอร์หน่วยความจำและวงจรอินเทอร์เฟซ อาจนำไปใช้กับหน่วยคำนวณ แคช หรือวงจรเฉพาะงานได้
• ลดระยะทางไฟฟ้า: เมื่อฟังก์ชันบางส่วนย้ายไปอยู่ใน base die ระยะและโอเวอร์เฮดของการสื่อสารระหว่าง accelerator กับ HBM อาจลดลง ทำให้การเชื่อมต่อใช้พลังงานมีประสิทธิภาพขึ้น 13

รายงานบางส่วนอ้างว่าอาจคืนพื้นที่ให้ accelerator ได้ราว 5%–10% และเพิ่มประสิทธิภาพ 10%–20% แต่ตัวเลขนี้มาจากข้อมูลบนโรดแมปที่มีการรายงานต่อกันมา จึงไม่ควรตีความว่าเป็นผลลัพธ์ที่จะเกิดขึ้นกับ AI processor ทุกประเภท 1729

ระยะที่ 2: aHBM เปลี่ยน base die ให้เป็นซับซิสเต็มเชิงรุก

หลังจากรับงานควบคุมมาไว้ใน base die แล้ว ระยะที่สองจะใช้พื้นที่ลอจิกที่เหลือเพิ่มฟังก์ชันมากขึ้น แนวคิด aHBM ของ Samsung รวมเซ็นเซอร์และระบบ telemetry แบบเรียลไทม์ เพื่อติดตามอุณหภูมิ แรงดันไฟฟ้า และสภาพการทำงาน รวมถึงฟังก์ชันด้านความน่าเชื่อถือและการทดสอบตัวเอง ข้อมูลเหล่านี้อาจช่วยให้ระบบตอบสนองต่อสภาพการทำงานได้แม่นยำขึ้น และตรวจสอบสถานะของสแตกหน่วยความจำได้ละเอียดกว่าเดิม 182728

base die ยังอาจทำหน้าที่เป็นอินเทอร์เฟซสำหรับ ขยายหน่วยความจำ โดยเชื่อมต่อ HBM เพิ่มเติมหรือหน่วยความจำประเภทอื่น เช่น LPDDR ทำให้นักออกแบบระบบมีทางเลือกในการเพิ่มความจุใช้งาน โดยไม่ต้องพึ่งพาเฉพาะ HBM สแตกที่อยู่ใกล้โปรเซสเซอร์ 182829

Samsung ยังเสนอให้ติดตั้ง processing elements บางประเภทไว้ใน base die ด้วย หน่วยเหล่านี้ไม่ได้มีเป้าหมายเพื่อแทนที่ GPU หรือ accelerator อเนกประสงค์ แต่จะรับงานบางอย่างที่ต้องเข้าถึงหน่วยความจำบ่อยและเหมาะกับการประมวลผลใกล้ข้อมูล เพื่อลดการเคลื่อนย้ายข้อมูลข้ามแพ็กเกจและอาจเพิ่มอัตราการใช้ประโยชน์ของระบบ 61927

นี่คือช่วงเปลี่ยนผ่านของโรดแมป: HBM ยังคงวางอยู่ข้างโปรเซสเซอร์ในแพ็กเกจแบบ 2.5D แต่ base die เริ่มทำหน้าที่คล้ายซับซิสเต็ม I/O และประมวลผลอัจฉริยะมากขึ้น

ระยะที่ 3: zHBM ซ้อนหน่วยความจำไว้เหนือชิปประมวลผล

zHBM คือก้าวที่เปลี่ยนแปลงมากที่สุด ในแพ็กเกจ HBM ทั่วไป โปรเซสเซอร์กับสแตก HBM จะวางเคียงข้างกันบน interposer แต่แนวคิด zHBM ของ Samsung จะวางโปรเซสเซอร์ไว้ใต้สแตก DRAM โดยตรง กลายเป็นโครงสร้าง compute-memory แบบ 3D 3732

การจัดวางในแนวตั้งมีเป้าหมายเพื่อลดระยะทางที่ข้อมูลต้องเดินทาง และแทนที่อินเทอร์เฟซขนาดใหญ่บริเวณขอบด้วยการเชื่อมต่อแนวตั้งที่หนาแน่นและกระจายตัวมากขึ้น ในทางทฤษฎี แนวทางนี้อาจช่วยให้เกิดผลลัพธ์ดังต่อไปนี้

• แบนด์วิดท์สูงขึ้นจากการเชื่อมต่อที่กว้างกว่าเดิม
• ใช้พลังงาน I/O ลดลง เพราะสัญญาณเดินทางในระยะสั้นกว่า
• ส่งข้อมูลให้การฝึกและการอนุมาน AI ได้มีประสิทธิภาพขึ้น
• ลดพื้นที่แพ็กเกจในแนวราบ เพราะไม่จำเป็นต้องวาง HBM ล้อมรอบโปรเซสเซอร์ 13732

ดังนั้น zHBM จึงไม่ใช่เพียง “HBM ที่เร็วขึ้น” แต่เป็นการเปลี่ยนความสัมพันธ์ทางกายภาพระหว่างหน่วยความจำกับการประมวลผล ผลลัพธ์ที่ได้จะขึ้นอยู่กับโทโพโลยีของแพ็กเกจ การออกแบบอินเทอร์เฟซ ระบบจ่ายไฟ และลักษณะงานที่ใช้งานจริง ไม่ใช่ความเร็ว DRAM เพียงอย่างเดียว

เปรียบเทียบเป้าหมาย zHBM กับ HBM5

ตัวเลขที่ Samsung เผยแพร่และที่สื่อรายงานใช้ฐานเปรียบเทียบกับตัวชี้วัดแตกต่างกัน จึงควรอ่านเป็นข้ออ้างแยกกัน ไม่ใช่ผลทดสอบเดียวที่นำมาเรียงต่อกันได้โดยตรง

• HBM5 เทียบกับ HBM4E: Samsung ตั้งเป้าให้ประสิทธิภาพเพิ่มขึ้น 2 เท่า ประสิทธิภาพต่อวัตต์ดีขึ้น 20% และความต้านทานความร้อนลดลง 20% โดยมีรายงานว่าการผลิตจำนวนมากอาจอยู่ราวปี 2028 ทั้งนี้ HBM5 ยังเป็นเจเนอเรชันบนโรดแมป ไม่ใช่มาตรฐานผลิตภัณฑ์ที่ใช้งานแพร่หลายแล้ว 4101214
• zHBM เทียบกับ HBM4E: การเปรียบเทียบที่เกี่ยวข้องกับงาน Hot Chips ระบุเป้าหมายลดการใช้พลังงานของ DRAM ราว 70% และเพิ่มแบนด์วิดท์ DRAM มากกว่า 2.3 เท่า 111
• เป้าหมายระยะไกลของ zHBM: Samsung ยังนำเสนอเป้าหมายประสิทธิภาพสูงสุด 8 เท่า ประสิทธิภาพต่อวัตต์ 3 เท่า และลดความต้านทานความร้อน 75%–90% เมื่อเทียบกับ HBM4E 21314

ตัวเลข “แบนด์วิดท์ 2.3 เท่า” กับ “ประสิทธิภาพ 8 เท่า” จึงไม่ได้ขัดแย้งกันโดยอัตโนมัติ เพราะแบนด์วิดท์ พลังงานของ DRAM ประสิทธิภาพของแอปพลิเคชัน และประสิทธิภาพต่อวัตต์เป็นคนละตัวชี้วัด และอาจอ้างอิงคนละการกำหนดค่าระบบ Samsung ยังไม่ได้เปิดเผยวิธีการวัดอย่างละเอียดเพียงพอที่จะตรวจสอบและเชื่อมโยงตัวเลขทั้งหมดได้อย่างอิสระ จึงควรมองตัวเลขเหล่านี้เป็นเป้าหมายของสถาปัตยกรรม ไม่ใช่ผลเบนช์มาร์กชุดเดียว 11014

zHBM สอดคล้องกับกลยุทธ์ CUBE อย่างไร

Samsung อธิบาย CUBE ผ่าน 4 เป้าหมาย ได้แก่ Capacity, Utilization, Bandwidth และ Efficiency หรือความจุ การใช้ประโยชน์ แบนด์วิดท์ และประสิทธิภาพ บริษัทมองว่าระบบ AI ไม่ได้ต้องการเพียงอินเทอร์เฟซหน่วยความจำที่เร็วขึ้น แต่ต้องจัดวางและใช้งานหน่วยความจำอย่างชาญฉลาดใน 3 มิติด้วย 257

โรดแมป HBM ทั้ง 3 ระยะสอดคล้องกับเป้าหมายดังกล่าวดังนี้

• Capacity — ความจุ: การขยายหน่วยความจำผ่าน base die อาจเชื่อมต่อหน่วยความจำเพิ่มเติม ขณะที่การซ้อนในแนวตั้งช่วยเพิ่มความหนาแน่นโดยไม่ต้องขยายพื้นที่แพ็กเกจด้านข้าง 418
• Utilization — การใช้ประโยชน์: telemetry ลอจิกควบคุม และการประมวลผลใกล้หน่วยความจำ อาจทำให้ความจุและแบนด์วิดท์ที่มีอยู่ถูกใช้งานได้คุ้มขึ้นสำหรับงานบางประเภท 1827
• Bandwidth — แบนด์วิดท์: การเชื่อมต่อแนวตั้งโดยตรงช่วยลดระยะระหว่างหน่วยประมวลผลกับหน่วยความจำ และเปิดทางให้ใช้ I/O ที่หนาแน่นขึ้น 37
• Efficiency — ประสิทธิภาพ: การลดการเคลื่อนย้ายข้อมูลและโอเวอร์เฮดของอินเทอร์เฟซอาจลดการใช้พลังงาน ขณะที่การตรวจวัดความร้อนที่ดีขึ้นอาจช่วยให้ระบบทำงานใกล้ขีดจำกัดได้มากขึ้น 1511

ในมุมนี้ zHBM คือภาพที่ชัดเจนที่สุดของแนวคิด หน่วยความจำบนแกน Z ของ Samsung: เพิ่มความหนาแน่นและลดระยะสื่อสารด้วยการสร้าง “ขึ้นด้านบน” แทนการขยายแพ็กเกจ 2.5D ออกด้านข้างต่อไป 713

โจทย์วิศวกรรมที่ Samsung ยังต้องแก้

การจัดการความร้อน

การวางโปรเซสเซอร์ที่ใช้พลังงานสูงไว้ใต้สแตก DRAM ทำให้ระบายความร้อนได้ยากขึ้น เพราะชิปประมวลผลอยู่ไกลจากเส้นทางระบายความร้อนกว่าเดิม ขณะเดียวกัน DRAM ก็มีช่วงอุณหภูมิที่เหมาะสมค่อนข้างจำกัด เป้าหมายลดความต้านทานความร้อนของ Samsung จึงเป็นโจทย์ออกแบบ ไม่ใช่ผลดีที่เกิดขึ้นโดยอัตโนมัติจากการซ้อนชิป 3D บริษัทและพันธมิตรด้านการผลิตต้องพิสูจน์ให้ได้ว่าประสิทธิภาพ ความน่าเชื่อถือของหน่วยความจำ และข้อกำหนดด้านการระบายความร้อนสามารถอยู่ร่วมกันในแพ็กเกจที่ผลิตจริงได้ 1419

การบอนดิ้ง การจัดแนว และผลผลิต

โครงสร้าง 3D โดยตรงต้องอาศัยการบอนดิ้งและการจัดแนวที่แม่นยำมากบนพื้นที่เชื่อมต่อขนาดใหญ่ กระบวนการทำให้เวเฟอร์บางลง การรวม TSV การควบคุมการโก่งตัวของเวเฟอร์ การจัดการตำหนิ และการบอนดิ้งให้ได้ผลผลิตสูง จะมีความสำคัญมากขึ้นเมื่อโปรเซสเซอร์กับหน่วยความจำถูกเชื่อมเข้าด้วยกันจริง ๆ

หากเกิดตำหนิที่ชิ้นส่วนใดชิ้นส่วนหนึ่ง ก็อาจกระทบมูลค่าของแพ็กเกจทั้งชุด ทำให้การทดสอบชิปที่ผ่านการคัดเลือกแล้ว กลไกซ่อมแซม และการเข้าถึงจุดทดสอบหลังบอนดิ้งมีความสำคัญยิ่งขึ้น การที่ Samsung วางแผนเพิ่มฟังก์ชันด้านความน่าเชื่อถือและ self-test ใน base die ก็สะท้อนว่าแพ็กเกจจิงกับการทดสอบแยกออกจากสถาปัตยกรรมได้ยาก 2728

ระบบจ่ายไฟและคุณภาพสัญญาณ

อินเทอร์เฟซแนวตั้งที่กว้างมากยังต้องการระบบจ่ายไฟที่เสถียร การควบคุมเวลาและสัญญาณนาฬิกา รวมถึงการควบคุมสัญญาณรบกวน แบนด์วิดท์ตามทฤษฎีที่สูงขึ้นไม่ได้รับประกันว่าประสิทธิภาพของแอปพลิเคชันจะสูงขึ้น หากคุณภาพไฟ ความร้อน หรือคุณภาพสัญญาณทำให้ระบบต้องลดความเร็วระหว่างการทำงานต่อเนื่อง

ความสูงของสแตกและข้อจำกัดเชิงกล

โครงสร้างแนวตั้งที่เพิ่มขึ้นอาจทำให้แพ็กเกจหนาขึ้น เกิดความเค้นเชิงกลมากขึ้น และทำให้เส้นทางระบายความร้อนซับซ้อนขึ้น การออกแบบสุดท้ายต้องหาจุดสมดุลระหว่างความจุและแบนด์วิดท์ กับความสูงของสแตก การโก่งตัว ความสามารถในการผลิต รวมถึงข้อจำกัดของซับสเตรตและเมนบอร์ด

การออกแบบโปรเซสเซอร์กับหน่วยความจำร่วมกัน

HBM มาตรฐานสามารถผนวกรวมเป็นส่วนประกอบหน่วยความจำที่ค่อนข้างแยกเป็นโมดูลได้ แต่ aHBM และโดยเฉพาะ zHBM ต้องประสานงานอย่างใกล้ชิดระหว่าง accelerator, base-die logic, แพ็กเกจ เฟิร์มแวร์ รันไทม์ และซอฟต์แวร์ ทั้งเรื่องอินเทอร์เฟซ การแบ่งหน้าที่ควบคุม การทำงานสอดคล้องกัน การจัดการข้อผิดพลาด และคำสั่งประมวลผลใกล้หน่วยความจำ

ข้อแลกเปลี่ยนคือระบบอาจถูกปรับแต่งให้เหมาะกับงานมากขึ้น แต่ก็อาจมีความยืดหยุ่นและความสามารถในการสลับใช้งานร่วมกับชิ้นส่วนมาตรฐานน้อยกว่าแพลตฟอร์มที่ใช้ HBM แบบเดิม

เวลาเปิดตัวและการยอมรับจากอุตสาหกรรม

zHBM ยังเป็นแนวคิดสำหรับอนาคต และมีรายงานว่าการนำไปใช้งานเชิงพาณิชย์อาจเกิดขึ้นหลังปี 2029 กำหนดการและตัวเลขประสิทธิภาพจะขึ้นอยู่กับความพร้อมของเทคโนโลยีแพ็กเกจจิง การยอมรับจากลูกค้า มาตรฐาน ผลผลิต และต้นทุน 8914

สรุป: จากหน่วยความจำข้างชิป สู่หน่วยความจำที่เป็นส่วนหนึ่งของการประมวลผล

โรดแมปของ Samsung เข้าใจได้ง่ายที่สุดในฐานะการค่อย ๆ ย้าย “ความฉลาด” เข้าไปใกล้สแตกหน่วยความจำมากขึ้น

1. cHBM เน้นคืนพื้นที่ให้ accelerator และย้ายงานควบคุมกับอินเทอร์เฟซบางส่วนออกจากชิปประมวลผล
2. aHBM เปลี่ยน base die ให้เป็นซับสิสเต็มหน่วยความจำที่ตรวจสอบตัวเองได้ ขยายได้ และรองรับการประมวลผลเฉพาะงาน
3. zHBM รวมการประมวลผลกับหน่วยความจำเข้าด้วยกันทางกายภาพ โดยวางโปรเซสเซอร์ไว้ใต้สแตก DRAM

ผลตอบแทนที่คาดหวังมีทั้งการลดพลังงาน I/O การเพิ่มพื้นที่ใช้งานของ accelerator แบนด์วิดท์ที่หนาแน่นขึ้น และประสิทธิภาพต่อวัตต์ที่ดีขึ้น แต่ก้าวสุดท้ายก็ย้ายโจทย์ที่ยากจากการออกแบบอินเทอร์เฟซหน่วยความจำ ไปสู่การจัดการความร้อน การบอนดิ้ง ผลผลิต การทดสอบ และการออกแบบทั้งระบบร่วมกัน

ในเวลานี้ zHBM จึงเป็นทิศทางที่ทะเยอทะยานและมีเป้าหมายชัดเจน แต่ยังไม่ใช่หลักฐานว่าผลิตภัณฑ์ AI แบบ 3D ที่ผลิตในปริมาณมากจะทำได้ตามตัวเลขที่ประกาศไว้