Pelan HBM 3 Fasa Samsung Menuju Memori 3D zHBM

Strategi HBM Samsung sedang bergerak dalam tiga langkah besar: pertama, memindahkan fungsi kawalan memori dan antara muka ke dalam die asas logik HBM; kemudian menambah pemantauan, peluasan memori serta pemprosesan dekat memori; dan akhirnya meletakkan pemproses AI terus di bawah susunan DRAM dalam pakej 3D sebenar. Destinasi jangka panjangnya ialah zHBM, tetapi angka prestasi utama yang diumumkan Samsung ialah sasaran untuk seni bina masa depan—bukan penanda aras pengeluaran yang telah dibuktikan. 1713

Ringkasan pelan tiga fasa

Fasa	Perubahan seni bina utama	Manfaat yang disasarkan
Fasa 1: custom HBM (cHBM)	Pengawal memori dan antara muka die-ke-die yang lebih padat dipindahkan ke die asas logik HBM	Membebaskan ruang silikon pemecut dan mengurangkan kos pemindahan data pada antara muka
Fasa 2: advanced HBM (aHBM)	Telemetri, pengawal peluasan memori dan elemen pemprosesan terpilih ditambah pada die asas	Meningkatkan pengurusan memori, kapasiti dan penggunaan memori berhampiran data
Fasa 3: zHBM	Struktur DRAM/HBM disusun terus di atas pemecut AI	Memendekkan laluan antara pemproses dan memori serta meningkatkan sambungan menegak

Perkembangan ini penting kerana ia mengubah peranan die asas. Daripada hanya menjadi lapisan sambungan dan kawalan, die tersebut menjadi subsistem logik yang semakin berkeupayaan—sebelum akhirnya menjadi sebahagian daripada struktur pengkomputeran dan memori yang digabungkan secara menegak. 182027

Fasa 1: cHBM memindahkan kawalan daripada pemecut

Titik permulaan Samsung ialah HBM4 yang menggabungkan DRAM 1c dengan die asas logik 4nm. Samsung menyatakan reka bentuk HBM4 boleh mencapai kelajuan sehingga 13 Gbps dan lebar jalur sehingga 3,300 GB/s bagi setiap susunan, walaupun angka ini merujuk kepada tuntutan produk HBM4 dan bukannya spesifikasi konsep zHBM pada peringkat seterusnya. 3537

Fasa pertama pelan itu menggunakan keupayaan logik tersebut dengan menggantikan PHY HBM konvensional yang lebih besar pada pemecut AI dengan antara muka die-ke-die yang lebih padat. Fungsi pengawal memori turut dipindahkan daripada pemecut ke die asas HBM. 1720

Dua kelebihan berpotensi boleh terhasil:

• Lebih banyak ruang pada pemecut: Silikon yang sebelum ini digunakan untuk kawalan memori dan fungsi antara muka boleh diperuntukkan kepada unit pengiraan, cache atau logik khusus aplikasi.
• Laluan elektrik lebih pendek: Pemindahan fungsi ke die asas boleh mengurangkan jarak dan beban komunikasi antara pemecut dengan HBM, sekali gus meningkatkan kecekapan tenaga antara muka. 13

Sesetengah laporan menyebut kemungkinan pemulihan 5% hingga 10% ruang pada pemecut dan peningkatan prestasi 10% hingga 20%. Namun, angka itu datang daripada bahan pelan hala tuju yang dilaporkan dan tidak sepatutnya dianggap sebagai hasil sejagat bagi setiap pemproses AI. 1729

Fasa 2: aHBM menjadikan die asas subsistem aktif

Dalam fasa kedua, ruang silikon yang dibebaskan pada die asas digunakan untuk fungsi tambahan. Konsep aHBM Samsung merangkumi penderia dan telemetri masa nyata bagi keadaan seperti suhu serta voltan, selain fungsi kebolehpercayaan dan ujian kendiri. Maklumat ini berpotensi membolehkan sistem bertindak balas dengan lebih tepat terhadap keadaan operasi dan memantau susunan memori dengan lebih baik. 182728

Die asas itu juga boleh berfungsi sebagai antara muka peluasan memori, dengan menyambungkan HBM tambahan atau memori lain seperti LPDDR. Ini memberikan pereka sistem pilihan lain untuk menambah kapasiti memori yang boleh digunakan tanpa hanya bergantung pada susunan HBM tempatan. 182829

Samsung turut mencadangkan penempatan elemen pemprosesan pada die asas. Elemen ini bukan pengganti GPU atau pemecut serba guna. Peranannya lebih terhad—mengendalikan operasi tertentu yang intensif memori berhampiran data, sekali gus mengurangkan sebahagian trafik merentasi pakej dan berpotensi meningkatkan penggunaan sumber. 61927

Inilah fasa peralihan pelan tersebut: HBM masih berada di sebelah pemproses dalam pakej 2.5D, tetapi die asas mula berfungsi seperti subsistem I/O dan pemprosesan yang lebih pintar.

Fasa 3: zHBM menyusun memori terus di atas pengkomputeran

zHBM ialah langkah paling radikal. Dalam pakej HBM konvensional, pemecut dan susunan HBM diletakkan bersebelahan di atas interposer. Sebaliknya, konsep zHBM Samsung menempatkan pemproses terus di bawah susunan DRAM, lalu membentuk struktur pengkomputeran dan memori 3D sebenar. 3732

Susunan menegak ini bertujuan memendekkan laluan perjalanan data dan menggantikan antara muka besar yang tertumpu di tepi dengan sambungan menegak yang lebih padat serta tersebar. Secara teori, pendekatan itu boleh menghasilkan:

• lebar jalur lebih tinggi melalui sambungan yang jauh lebih luas;
• penggunaan kuasa I/O lebih rendah kerana isyarat bergerak dalam jarak yang lebih pendek;
• penghantaran data yang lebih cekap untuk latihan dan inferens AI; dan
• jejak pakej sisi-ke-sisi yang lebih kecil kerana HBM tidak lagi perlu diletakkan mengelilingi pemproses. 13732

Sebab itu zHBM bukan sekadar “HBM yang lebih pantas”. Ia mengubah hubungan fizikal antara memori dengan pengkomputeran. Manfaat akhirnya bukan hanya bergantung pada kelajuan DRAM, tetapi juga topologi pakej, reka bentuk antara muka, penghantaran kuasa dan sejauh mana sesuatu beban kerja dipengaruhi oleh pemindahan data.

Bagaimana sasaran ini dibandingkan dengan HBM5?

Angka yang diterbitkan dan dilaporkan Samsung menggunakan garis dasar serta metrik yang berbeza. Oleh itu, ia perlu dibaca sebagai tuntutan berasingan dan bukan satu penanda aras yang boleh dibandingkan secara langsung:

• HBM5 berbanding HBM4E: Samsung menyasarkan prestasi dua kali ganda, peningkatan prestasi per watt sebanyak 20% dan pengurangan rintangan terma sebanyak 20%. Laporan meletakkan pengeluaran besar-besaran sekitar 2028, tetapi HBM5 masih merupakan generasi dalam pelan hala tuju dan belum menjadi standard pengeluaran yang kukuh secara meluas. 4101214
• zHBM berbanding HBM4E: Perbandingan berorientasikan Hot Chips melaporkan kira-kira 70% pengurangan kuasa DRAM dan lebih 2.3 kali ganda lebar jalur DRAM. 111
• Sasaran zHBM jangka lebih panjang: Samsung turut membentangkan matlamat sehingga 8 kali ganda prestasi, 3 kali ganda prestasi per watt dan pengurangan rintangan terma sebanyak 75% hingga 90% berbanding HBM4E. 21314

Perbezaan antara “lebar jalur 2.3 kali ganda” dengan “prestasi 8 kali ganda” tidak semestinya bercanggah. Lebar jalur, kuasa DRAM, prestasi aplikasi dan prestasi per watt mengukur perkara yang berbeza serta mungkin menggunakan konfigurasi berlainan. Bahan yang dibekalkan tidak mengandungi metodologi mencukupi untuk mengesahkan dan menyelaraskan semua angka itu secara bebas. Justeru, angka tersebut wajar dianggap sebagai sasaran seni bina, bukan satu keputusan penanda aras tunggal. 11014

Mengapa pelan ini selari dengan strategi CUBE Samsung?

Samsung menerangkan CUBE sebagai pendekatan yang berasaskan empat matlamat: Capacity atau kapasiti, Utilization atau penggunaan, Bandwidth atau lebar jalur, dan Efficiency atau kecekapan. Hujah syarikat itu ialah sistem AI memerlukan lebih daripada antara muka memori yang semakin pantas; memori juga perlu ditempatkan dan digunakan dengan lebih bijak dalam ruang tiga dimensi. 257

Tiga fasa HBM tersebut sepadan dengan matlamat berkenaan:

• Kapasiti: Peluasan memori melalui die asas boleh menyambungkan lapisan memori tambahan, manakala susunan menegak meningkatkan ketumpatan tanpa membesarkan pakej secara sisi. 418
• Penggunaan: Telemetri, logik kawalan dan pemprosesan terpilih berhampiran memori boleh menjadikan kapasiti serta lebar jalur sedia ada lebih berguna untuk beban kerja tertentu. 1827
• Lebar jalur: Sambungan menegak secara terus mengurangkan jarak fizikal antara pengkomputeran dengan memori dan menyediakan ruang untuk I/O yang lebih padat. 37
• Kecekapan: Pengurangan pemindahan data dan beban antara muka boleh menjimatkan kuasa, manakala pemantauan haba yang lebih baik mungkin membantu sistem beroperasi lebih hampir kepada hadnya. 1511

Oleh itu, zHBM ialah gambaran paling jelas tentang pendekatan memori paksi-Z Samsung: membina ke atas untuk meningkatkan ketumpatan dan memendekkan jarak komunikasi, bukannya terus membesarkan pakej 2.5D secara bersebelahan. 713

Cabaran kejuruteraan yang masih perlu diselesaikan

Pengurusan haba

Meletakkan pemproses berkuasa tinggi di bawah susunan DRAM menjadikan penyingkiran haba lebih sukar. Die pengkomputeran berada lebih jauh daripada laluan penyejukan, sedangkan DRAM perlu kekal dalam julat operasi terma yang agak terhad. Maka, pengurangan rintangan terma yang dilaporkan Samsung ialah sasaran reka bentuk, bukannya manfaat automatik daripada susunan 3D. Samsung dan rakan pengeluarannya perlu membuktikan bahawa prestasi, kebolehpercayaan memori dan keperluan penyejukan boleh dicapai serentak dalam pakej pengeluaran. 1419

Pemasangan, penjajaran dan hasil pengeluaran

Struktur 3D secara terus memerlukan pemasangan dan penjajaran yang amat tepat pada antara muka yang besar. Penipisan wafer, integrasi TSV, kawalan warpage, pengurusan kecacatan dan pemasangan berhasil tinggi menjadi semakin penting apabila pemproses dan memori disatukan secara fizikal. Kecacatan pada mana-mana bahagian pakej boleh menjejaskan nilai keseluruhan pemasangan. Ini meningkatkan kepentingan ujian die baik yang diketahui, mekanisme pembaikan dan akses ujian sebelum serta selepas pemasangan. Pelan Samsung yang memasukkan fungsi kebolehpercayaan dan ujian kendiri pada die asas menunjukkan betapa rapatnya hubungan antara pembungkusan dengan ujian dalam seni bina ini. 2728

Penghantaran kuasa dan integriti isyarat

Antara muka menegak yang sangat luas masih memerlukan penghantaran kuasa, pemasaan, jam dan kawalan hingar yang stabil. Lebar jalur teori yang lebih tinggi tidak semestinya menghasilkan prestasi aplikasi lebih tinggi jika integriti kuasa, pendikitan terma atau kualiti isyarat mengehadkan operasi berterusan.

Ketinggian susunan dan kekangan mekanikal

Penambahan struktur menegak boleh meningkatkan ketebalan pakej, tekanan mekanikal dan kerumitan laluan penyejukan. Reka bentuk akhir perlu mengimbangi kapasiti serta lebar jalur dengan ketinggian susunan, warpage, kebolehkilangan dan had substrat serta papan sistem.

Reka bentuk bersama pemproses dan memori

HBM standard boleh diintegrasikan sebagai komponen memori yang agak modular. Sebaliknya, aHBM dan khususnya zHBM memerlukan penyelarasan lebih rapat antara pemecut, logik die asas, pakej, perisian tegar, persekitaran masa jalan dan timbunan perisian. Antara muka, pemilikan kawalan, koheren, pengendalian kerosakan dan operasi dekat memori perlu direka secara bersama. Ini boleh meningkatkan pengkhususan, tetapi mungkin mengurangkan kebolehgantian sistem berbanding reka bentuk berasaskan HBM konvensional.

Masa komersial dan penerimaan ekosistem

zHBM masih merupakan konsep masa depan, manakala laporan meletakkan pengkomersialannya selepas 2029. Jadual dan tuntutan prestasinya bergantung pada kematangan teknologi pembungkusan, penerimaan pelanggan, piawaian, hasil pengeluaran dan kos. 8914

Kesimpulan praktikal

Pelan Samsung paling mudah difahami sebagai pemindahan kecerdasan secara beransur-ansur ke arah susunan memori:

1. cHBM memfokuskan pembebasan ruang pada pemecut serta pemindahan tugas antara muka dan kawalan.
2. aHBM menjadikan die asas sebagai subsistem memori yang dipantau, boleh diperluas dan boleh diprogram secara terpilih.
3. zHBM menggabungkan pengkomputeran dengan memori secara fizikal dengan meletakkan pemproses di bawah susunan DRAM.

Ganjarannya berpotensi besar: kuasa I/O yang lebih rendah, lebih banyak silikon pemecut yang boleh digunakan, lebar jalur lebih padat dan prestasi per watt yang lebih baik. Namun, fasa terakhir juga mengalihkan masalah paling sukar daripada reka bentuk antara muka memori kepada kejuruteraan haba, pemasangan, hasil pengeluaran, ujian dan reka bentuk bersama seluruh sistem.

Buat masa ini, zHBM ialah hala tuju yang bercita-cita tinggi dan disokong oleh beberapa sasaran prestasi—bukan bukti bahawa pakej AI 3D pengeluaran sudah mampu mencapainya.