Peta Jalan HBM Samsung dalam Tiga Tahap: Dari Base Die 4 nm hingga Memori 3D zHBM

Samsung sedang menyusun evolusi HBM dalam tiga tahap. Langkah awalnya adalah memindahkan fungsi kontrol memori dan antarmuka ke logic base die HBM. Berikutnya, base die tersebut akan dilengkapi sensor, kemampuan ekspansi memori, dan elemen pemrosesan tertentu. Tahap akhirnya adalah zHBM, yaitu arsitektur yang menempatkan prosesor AI tepat di bawah tumpukan DRAM dalam paket 3D sungguhan. 1713

Namun, penting untuk membedakan antara visi teknologi dan produk yang telah terbukti. Angka performa Samsung untuk zHBM masih merupakan target roadmap, bukan benchmark produksi yang sudah tersedia secara luas.

Tiga tahap roadmap Samsung

Tahap	Perubahan arsitektur utama	Manfaat yang dituju
Tahap 1: custom HBM (cHBM)	Pengendali memori dan antarmuka die-to-die yang lebih ringkas dipindahkan ke logic base die HBM	Membebaskan area silikon akselerator dan mengurangi biaya energi perpindahan data
Tahap 2: advanced HBM (aHBM)	Base die ditambah telemetri, pengendali ekspansi memori, dan elemen pemrosesan tertentu	Meningkatkan pengelolaan memori, kapasitas, serta pemanfaatan data di dekat sumbernya
Tahap 3: zHBM	Struktur HBM/DRAM ditumpuk langsung di atas akselerator AI	Memperpendek jalur prosesor-memory dan memperbanyak koneksi vertikal

Perubahan terpenting dalam roadmap ini adalah meningkatnya peran base die. Komponen yang sebelumnya terutama bertugas sebagai lapisan koneksi dan kontrol akan berkembang menjadi subsistem logika yang lebih aktif, sebelum akhirnya menjadi bagian dari struktur komputasi dan memori yang terintegrasi secara vertikal. 182027

Tahap 1: cHBM membebaskan area dari akselerator

Sebagai titik awal, HBM4 Samsung menggabungkan DRAM 1c dengan logic base die 4 nm. Samsung menyebut HBM4 mampu mencapai kecepatan hingga 13 Gbps dan bandwidth hingga 3.300 GB/s per stack. Angka tersebut merupakan klaim produk HBM4, bukan spesifikasi zHBM di masa mendatang. 3537

Pada tahap cHBM, Samsung berencana mengganti PHY HBM konvensional yang berukuran lebih besar pada akselerator AI dengan antarmuka die-to-die yang lebih ringkas. Sebagian fungsi pengendali memori juga dipindahkan dari akselerator ke base die HBM. 1720

Ada dua manfaat potensial dari pendekatan ini:

• Area akselerator lebih luas: Ruang silikon yang sebelumnya dipakai untuk pengendali memori dan fungsi antarmuka dapat dialihkan untuk unit komputasi, cache, atau logika khusus aplikasi.
• Jalur listrik lebih pendek: Pemindahan fungsi ke base die dapat mengurangi jarak dan overhead komunikasi antara akselerator dan HBM, sehingga berpotensi meningkatkan efisiensi energi antarmuka. 13

Sejumlah laporan menyebut kemungkinan pemulihan area akselerator sekitar 5–10% dan peningkatan performa 10–20%. Namun, angka tersebut berasal dari materi roadmap yang dilaporkan dan tidak dapat dianggap sebagai hasil universal untuk setiap prosesor AI. 1729

Tahap 2: aHBM menjadikan base die sebagai subsistem aktif

Pada tahap kedua, ruang silikon yang tersedia di base die akan diisi fungsi tambahan. Konsep aHBM Samsung mencakup sensor dan telemetri real-time untuk memantau kondisi seperti suhu dan voltase, serta fungsi keandalan dan pengujian mandiri. Informasi tersebut dapat membantu sistem menyesuaikan pengelolaan memori dengan kondisi operasi secara lebih presisi. 182728

Base die juga dapat berfungsi sebagai antarmuka ekspansi memori. Melalui rancangan ini, sistem berpotensi menghubungkan HBM tambahan atau jenis memori lain, seperti LPDDR. Bagi perancang sistem, hal tersebut membuka pilihan untuk meningkatkan kapasitas memori yang dapat digunakan tanpa hanya mengandalkan stack HBM lokal. 182829

Samsung juga mengusulkan penempatan elemen pemrosesan di base die. Elemen ini tidak dimaksudkan untuk menggantikan GPU atau akselerator serbaguna. Perannya lebih terbatas, yakni menangani operasi tertentu yang intensif memori dan memerlukan akses data dekat, sehingga sebagian lalu lintas data di dalam paket dapat dikurangi. 61927

Inilah tahap transisi dalam roadmap Samsung. HBM masih berada di samping prosesor dalam paket 2.5D, tetapi base die mulai berperan seperti subsistem I/O dan pemrosesan yang lebih cerdas.

Tahap 3: zHBM menumpuk memori langsung di atas komputasi

zHBM merupakan langkah paling radikal. Dalam paket HBM konvensional, prosesor dan stack HBM ditempatkan berdampingan di atas interposer. Konsep zHBM Samsung mengubah susunan tersebut dengan menempatkan prosesor langsung di bawah tumpukan DRAM, sehingga membentuk struktur komputasi-memory 3D yang sebenarnya. 3732

Susunan vertikal ini dirancang untuk memperpendek jarak tempuh data dan menggantikan antarmuka besar yang berada di tepi chip dengan koneksi vertikal yang lebih padat dan tersebar. Secara teori, pendekatan tersebut dapat memberikan:

• bandwidth lebih tinggi melalui koneksi yang jauh lebih lebar;
• konsumsi daya I/O lebih rendah karena sinyal menempuh jarak lebih pendek;
• pengiriman data yang lebih efisien untuk pelatihan dan inferensi AI; serta
• jejak paket yang lebih kecil secara lateral karena HBM tidak perlu lagi ditempatkan mengelilingi prosesor. 13732

Karena itu, zHBM bukan sekadar HBM yang lebih cepat. Teknologi ini mengubah hubungan fisik antara memori dan komputasi. Manfaat akhirnya tidak hanya bergantung pada kecepatan DRAM, tetapi juga pada topologi paket, desain antarmuka, distribusi daya, pengelolaan panas, dan karakteristik beban kerja.

Bagaimana targetnya dibandingkan dengan HBM5?

Samsung menggunakan sejumlah baseline dan metrik yang berbeda. Karena itu, setiap angka sebaiknya dibaca sebagai klaim terpisah, bukan sebagai satu benchmark yang bisa dibandingkan secara langsung.

• HBM5 dibandingkan HBM4E: Samsung menargetkan performa 2 kali lipat, performa per watt 20% lebih tinggi, dan resistansi termal 20% lebih rendah. Sejumlah laporan menempatkan produksi massal sekitar 2028, tetapi HBM5 masih merupakan generasi roadmap, bukan standar produksi yang telah mapan secara luas. 4101214
• zHBM dibandingkan HBM4E: Perbandingan yang berorientasi pada presentasi Hot Chips melaporkan konsumsi daya DRAM sekitar 70% lebih rendah dan bandwidth DRAM lebih dari 2,3 kali lipat. 111
• Target jangka panjang zHBM: Samsung juga memaparkan sasaran performa hingga 8 kali lipat, performa per watt 3 kali lipat, serta pengurangan resistansi termal sebesar 75–90% dibandingkan HBM4E. 21314

Perbedaan antara klaim “bandwidth 2,3 kali lipat” dan “performa 8 kali lipat” tidak otomatis berarti kontradiksi. Bandwidth, konsumsi daya DRAM, performa aplikasi, dan performa per watt adalah metrik yang berbeda serta dapat menggunakan konfigurasi dan baseline yang berbeda. Materi yang tersedia belum memuat metodologi yang cukup untuk memverifikasi dan menyelaraskan seluruh angka tersebut secara independen. Jadi, angka-angka itu lebih tepat dipahami sebagai target arsitektur, bukan hasil satu pengujian. 11014

Peran zHBM dalam strategi CUBE Samsung

Samsung menjelaskan CUBE sebagai strategi yang berfokus pada empat sasaran: Capacity, Utilization, Bandwidth, dan Efficiency—atau kapasitas, pemanfaatan, bandwidth, serta efisiensi daya dan termal. Menurut gagasan ini, sistem AI membutuhkan lebih dari sekadar antarmuka memori yang semakin cepat. Memori juga harus ditempatkan dan digunakan secara lebih cerdas dalam tiga dimensi. 257

Tiga tahap roadmap HBM tersebut selaras dengan empat sasaran CUBE:

• Capacity atau kapasitas: Ekspansi memori melalui base die dapat menghubungkan beberapa tingkat memori, sementara penumpukan vertikal meningkatkan kepadatan tanpa memperbesar jejak paket secara lateral. 418
• Utilization atau pemanfaatan: Telemetri, logika kontrol, dan pemrosesan tertentu di dekat memori dapat membuat kapasitas serta bandwidth yang sudah ada lebih berguna untuk beban kerja tertentu. 1827
• Bandwidth: Koneksi vertikal langsung memperpendek jarak fisik antara komputasi dan memori serta membuka ruang bagi I/O yang lebih padat. 37
• Efficiency atau efisiensi: Pengurangan perpindahan data dan overhead antarmuka berpotensi menekan konsumsi daya. Pemantauan termal yang lebih baik juga dapat membantu sistem beroperasi lebih dekat dengan batas kemampuannya. 1511

Dengan demikian, zHBM menjadi contoh paling jelas dari pendekatan memori pada sumbu Z Samsung: meningkatkan kepadatan dan mengurangi jarak komunikasi dengan membangun struktur ke arah vertikal, alih-alih terus memperlebar paket 2.5D yang menempatkan prosesor dan HBM berdampingan. 713

Tantangan teknik yang masih harus diselesaikan

Manajemen panas

Menempatkan prosesor berdaya tinggi di bawah tumpukan DRAM membuat pembuangan panas lebih sulit. Chip komputasi berada lebih jauh dari jalur pendinginan, sedangkan DRAM harus beroperasi dalam rentang suhu yang relatif terbatas. Karena itu, klaim pengurangan resistansi termal masih merupakan target desain, bukan manfaat otomatis dari penumpukan 3D. Samsung dan mitra manufakturnya harus membuktikan bahwa performa, keandalan memori, dan kebutuhan pendinginan dapat berjalan bersamaan dalam paket produksi. 1419

Bonding, alignment, dan yield

Struktur 3D langsung membutuhkan proses bonding dan alignment dengan tingkat presisi yang sangat tinggi pada antarmuka berukuran besar. Penipisan wafer, integrasi TSV, pengendalian warpage, pengelolaan cacat, serta bonding dengan yield tinggi akan menjadi semakin penting ketika prosesor dan memori disatukan secara fisik.

Cacat pada salah satu sisi paket dapat memengaruhi nilai keseluruhan rakitan. Karena itu, pengujian known-good die, mekanisme perbaikan, serta akses pengujian sebelum dan sesudah bonding menjadi sangat penting. Roadmap Samsung yang menambahkan fungsi keandalan dan self-test pada base die juga menunjukkan betapa erat hubungan antara desain arsitektur, pengemasan, dan pengujian. 2728

Distribusi daya dan integritas sinyal

Antarmuka vertikal yang sangat lebar tetap memerlukan distribusi daya, timing, clocking, dan pengendalian noise yang stabil. Bandwidth teoritis yang tinggi tidak otomatis menghasilkan performa aplikasi lebih tinggi jika integritas daya, throttling akibat panas, atau kualitas sinyal membatasi operasi berkelanjutan.

Tinggi stack dan batas mekanis

Penambahan struktur vertikal dapat meningkatkan ketebalan paket, tekanan mekanis, dan kompleksitas jalur pendinginan. Desain akhir harus menyeimbangkan kapasitas serta bandwidth dengan tinggi stack, warpage, kemudahan manufaktur, dan batasan substrat maupun papan sistem.

Desain bersama prosesor dan memori

HBM standar masih dapat diintegrasikan sebagai komponen memori yang relatif modular. Sebaliknya, aHBM—terutama zHBM—membutuhkan koordinasi lebih erat antara akselerator, logika base die, paket, firmware, runtime, dan perangkat lunak.

Pembagian kendali, koherensi, penanganan kesalahan, antarmuka, dan operasi dekat memori harus dirancang secara terpadu. Pendekatan ini dapat meningkatkan spesialisasi, tetapi juga berpotensi membuat sistem kurang mudah dipertukarkan dibandingkan desain berbasis HBM konvensional.

Waktu komersialisasi dan adopsi ekosistem

zHBM masih merupakan konsep masa depan. Sejumlah laporan menempatkan komersialisasinya setelah 2029. Jadwal tersebut, bersama klaim performanya, masih bergantung pada kematangan teknologi pengemasan, adopsi pelanggan, standar, yield, dan biaya produksi. 8914

Kesimpulan

Roadmap Samsung paling mudah dipahami sebagai pemindahan kecerdasan secara bertahap ke arah stack memori:

1. cHBM berfokus pada pembebasan area akselerator serta pemindahan fungsi antarmuka dan kontrol.
2. aHBM mengubah base die menjadi subsistem memori yang dapat dipantau, diperluas, dan diprogram secara terbatas.
3. zHBM menyatukan komputasi dan memori secara fisik dengan menempatkan prosesor di bawah tumpukan DRAM.

Potensi keuntungannya cukup besar: daya I/O yang lebih rendah, area akselerator yang lebih efektif, bandwidth lebih padat, dan performa per watt yang lebih baik. Namun, tahap terakhir juga memindahkan tantangan utama dari desain antarmuka memori ke rekayasa termal, bonding, yield, pengujian, dan desain sistem secara menyeluruh.

Untuk saat ini, zHBM adalah arah teknologi yang ambisius dengan sejumlah target menjanjikan—belum menjadi bukti bahwa paket AI 3D produksi massal mampu mewujudkan seluruh angka tersebut.