AnswersPublished26 sources
Samsung zHBM: Memori AI 3D yang Ditindan Terus Atas Pemecut
zHBM menindan HBM terus di atas pemecut AI, berbeza daripada susun atur semasa yang meletakkan HBM di sisi pemproses. Samsung menyasarkan lebih 10 kali ganda kelajuan respons AI, sekitar 8 kali prestasi HBM5, lebih 10 kali ketumpatan memori dan 3 kali kecekapan tenaga.
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- zHBM menindan HBM terus di atas pemecut AI, berbeza daripada susun atur semasa yang meletakkan HBM di sisi pemproses.
- Samsung menyasarkan lebih 10 kali ganda kelajuan respons AI, sekitar 8 kali prestasi HBM5, lebih 10 kali ketumpatan memori dan 3 kali kecekapan tenaga.
- Pandangan daripada jurutera OpenAI dan Intel menunjukkan CXL lebih sesuai sebagai lapisan kapasiti tambahan, bukannya pengganti HBM untuk menjalankan model AI secara aktif.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Samsung Electronics reveal at the September 16, 2026, AI Infrastructure Summit about its next-generation zHBM 3D memory architectur. Article summary: Samsung presented zHBM as a longer-term “zero-distance” HBM architecture: rather than placing HBM beside an AI accelerator on a silicon interposer, as in current 2.5D packages, it would bond HBM directly above the accele. Topic tags: general, general web, user generated, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Samsung memperkenalkan zHBM sebagai konsep memori AI yang cuba mengurangkan sejauh mungkin jarak fizikal antara pengkomputeran dan memori terpantasnya. Daripada meletakkan high-bandwidth memory (HBM) di sebelah GPU atau pemecut AI lain, reka bentuk ini menindan HBM terus di atas pemecut dalam pakej 3D bersepadu.
Pada AI Infrastructure Summit di Santa Clara, California, pada 16 September, Samsung membentangkan pendekatan itu sebagai satu cara untuk menjadikan sistem AI berasaskan ejen lebih pantas memberi respons. 1
9
Apa bezanya dengan pakej HBM hari ini?
Dalam pakej HBM konvensional, cip memori lazimnya diletakkan di sisi GPU atau pemecut lain pada satah yang sama dan disambungkan menerusi pembungkusan canggih. Ini sering dirujuk sebagai pendekatan 2.5D. zHBM pula mengalihkan HBM ke atas pemecut, menjadikan susun atur logik dan memori benar-benar bertingkat dalam 3D. 12
13
Logiknya mudah: laluan data yang lebih pendek berpotensi meningkatkan lebar jalur dan kecekapan tenaga, di samping membolehkan lebih banyak kapasiti memori dimuatkan dalam ruang fizikal yang sama. Samsung berkata reka bentuk itu bergantung pada teknologi pengikatan wafer generasi baharu, termasuk hybrid copper bonding, untuk membolehkan penyepaduan menegak tersebut. 7
48
Bagaimanapun, zHBM belum merupakan produk yang sedia dibeli. Samsung memperkenalkannya sebagai model konsep dan belum mengumumkan jadual pengkomersialan. 13
14
Sasaran prestasi Samsung
Bagi antara muka generasi baharu yang menggunakan zHBM, Samsung mengunjurkan:
- kira-kira 8 kali ganda prestasi HBM5;
- lebih 10 kali ganda ketumpatan memori berbanding HBM5 konvensional;
- sekitar 3 kali ganda kecekapan tenaga; dan
- lebih 50% pengurangan rintangan terma.
13
48
Di acara yang sama, Samsung turut menyatakan zHBM berpotensi meningkatkan kelajuan respons sistem AI lebih daripada 10 kali ganda, dengan matlamat mencapai 1,000 token sesaat. Token ialah unit teks kecil yang diproses atau dijana oleh model AI. 1
9
Angka ini perlu dibaca sebagai sasaran dan unjuran Samsung bagi seni bina masa hadapan, bukannya penanda aras bebas daripada pemecut komersial. Menindan memori tepat di atas logik membawa cabaran besar dari segi hasil pembuatan, pengurusan haba, kebolehpercayaan dan pengesahan bersama rakan pembuat pemecut.
Mengapa ia dikaitkan dengan AI berasaskan ejen?
Samsung mengaitkan zHBM dengan AI ejen, iaitu sistem yang berulang kali perlu mendapatkan konteks, menjalankan inferens, menggunakan alat dan menjana jawapan. Dalam beban kerja sebegini, penambahan kuasa pengkomputeran semata-mata tidak mencukupi jika pemecut masih perlu menunggu data dipindahkan daripada memori.
zHBM direka untuk mengurangkan kekangan pemindahan data dan memori itu. Premisnya ialah HBM yang lebih dekat dengan pemecut boleh membantu AI memberi respons dengan lebih pantas sambil menggunakan tenaga dengan lebih cekap untuk memindahkan data. 1
7 Namun, sama ada peningkatan respons hujung ke hujung seperti yang diiklankan dapat dicapai bergantung pada gabungan pemecut, perisian, model dan reka bentuk pembungkusan — bukan kedudukan memori sahaja.
zNAND-O: Lapisan kapasiti yang melengkapi zHBM
Samsung turut memperkenalkan zNAND-O, seni bina NAND berprestasi tinggi untuk persekitaran AI berintensif data dan AI tepi (edge AI). Ia diletakkan sebagai lapisan data antara DRAM dan storan NAND biasa: lebih padat daripada DRAM, dengan sasaran prestasi I/O, kependaman dan kecekapan tenaga yang lebih baik berbanding NAND konvensional. 49
51
Kedua-duanya memainkan peranan berlainan dalam hierarki memori:
- zHBM disasarkan sebagai lapisan memori terpantas yang berada paling hampir dengan pemecut.
- zNAND-O pula disasarkan sebagai lapisan lebih padat untuk data dan model yang terlalu mahal jika disimpan sepenuhnya dalam DRAM.
49
53
Samsung memetik ujian model GPT dengan 120 bilion parameter, yang menurutnya membolehkan zNAND-O mencapai kadar token sesaat sama seperti pelayan DRAM konvensional pada satu perenam kos operasi. Itu ialah hasil ujian yang dilaporkan Samsung, bukan jaminan kos bagi semua penggunaan model besar. 54
55
Samsung juga mengaitkan zNAND-O dengan cabaran jangka panjang menjalankan model besar pada peranti, dengan menyatakan AI pada peranti berskala trilion parameter mungkin menjadi relevan menjelang 2030. 53
Mengapa CXL tidak dijangka menggantikan HBM
Perbincangan di AI Infrastructure Summit menonjolkan satu perbezaan penting: kapasiti memori tambahan memang berguna, tetapi tidak semua jenis memori boleh saling menggantikan.
Penyelidik pemecut OpenAI, Daniel Morris, berkata beliau belum menemui kes penggunaan CXL untuk benar-benar menjalankan model AI, walaupun ia mungkin berguna untuk data besar yang jarang diakses. Vidia Thiagarajan dari Intel pula menyifatkan pengumpulan memori CXL sebagai pelengkap kepada storan sekunder, bukannya pengganti HBM, kerana jurang lebar jalur antara memori melalui CXL dan HBM. 18
22
Ini tidak bermakna CXL tiada peranan. Sebaliknya, sistem AI berkemungkinan menggunakan hierarki berlapis: HBM berhampiran pemecut untuk pengiraan aktif yang sensitif kepada lebar jalur, manakala CXL serta lapisan memori atau storan lain menyediakan kapasiti tambahan.
Implikasi kepada Samsung dan SK hynix
Dalam masa terdekat, persaingan HBM masih bergantung pada keupayaan pembekal untuk menghasilkan, mengesahkan dan menghantar memori bagi platform pemecut tertentu. zHBM memberi Samsung suatu hala tuju seni bina yang berbeza untuk jangka panjang, tetapi ia tidak menghapuskan keperluan membuktikan hasil pembuatan, tingkah laku haba, kebolehpercayaan dan integrasi pelanggan.
Bagi pasaran HBM secara lebih luas, keraguan bahawa CXL boleh menggantikan HBM tempatan bagi pelaksanaan model AI aktif mengukuhkan kepentingan memori berlebar jalur tinggi yang dekat dengan pemecut. Persoalan persaingan bukan hanya siapa yang mempunyai konsep memori 3D paling agresif, tetapi siapa yang mampu menukarkan reka bentuk memori dan pembungkusan canggih itu kepada produk bervolum yang disahkan terlebih dahulu. 18
33
36
Kesimpulannya
Mesej Samsung ialah prestasi AI kini semakin dibataskan oleh pergerakan data, kapasiti memori, penggunaan tenaga dan haba — bukan prestasi pengkomputeran semata-mata. zHBM mencadangkan reka bentuk memori-terus-di-atas-pemecut dalam 3D untuk menangani kekangan itu, sementara zNAND-O boleh menambah lapisan kapasiti yang lebih padat untuk beban kerja AI lebih besar.
Potensi peningkatan yang disebut Samsung adalah besar, tetapi semuanya masih sasaran bagi teknologi peringkat konsep. Buat masa ini, perkara utama untuk pembeli infrastruktur AI ialah arah industrinya: sistem AI berkemungkinan bergantung pada lapisan memori yang semakin khusus dan disepadukan secara menegak, dengan HBM terus menjadi komponen utama dalam laluan pengkomputeran berprestasi tertinggi. 13
14
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Samsung zHBM: Memori AI 3D yang Ditindan Terus Atas Pemecut"?
zHBM menindan HBM terus di atas pemecut AI, berbeza daripada susun atur semasa yang meletakkan HBM di sisi pemproses.
What are the key points to validate first?
zHBM menindan HBM terus di atas pemecut AI, berbeza daripada susun atur semasa yang meletakkan HBM di sisi pemproses. Samsung menyasarkan lebih 10 kali ganda kelajuan respons AI, sekitar 8 kali prestasi HBM5, lebih 10 kali ketumpatan memori dan 3 kali kecekapan tenaga.
What should I do next in practice?
Pandangan daripada jurutera OpenAI dan Intel menunjukkan CXL lebih sesuai sebagai lapisan kapasiti tambahan, bukannya pengganti HBM untuk menjalankan model AI secara aktif.
Sources
asiae.co.kr"Opening the Era of 1,000 Tokens per Second"…Samsung Electronics Drives AI Semiconductor Innovation with zHBM
en.sedaily.comSamsung Touts 10-Fold AI Speed Gain With Stacked zHBM Memory
koreaherald.comSamsung stacks HBM atop AI chips in 3D memory push