Samsung’ın HBM yol haritası: Bellek, yapay zekâ işlemcisinin üzerine çıkıyor

Samsung’ın HBM stratejisi üç adımda ilerliyor: Önce bellek denetimi ve arayüz işlevlerini HBM’in mantık taban yongasına taşımak, ardından bu yongaya izleme, bellek genişletme ve belleğe yakın işlem yetenekleri eklemek, son aşamada ise AI işlemcisini DRAM yığınının doğrudan altına yerleştirmek. Bu yol haritasının uzun vadeli hedefi zHBM. Ancak Samsung’ın açıkladığı yüksek performans rakamları, üretimde kanıtlanmış ölçümler değil, gelecekteki mimariye ilişkin hedefler olarak okunmalı. 1713

Üç aşamalı planın özeti

Aşama	Temel mimari değişiklik	Beklenen kazanım
1. aşama: Özel HBM (cHBM)	Bellek denetleyicisi ve daha kompakt yonga-yonga arayüzü HBM’in mantık taban yongasına taşınıyor	Hızlandırıcıda alan açılması ve arayüz kaynaklı veri taşıma maliyetinin azalması
2. aşama: Gelişmiş HBM (aHBM)	Taban yongaya telemetri, bellek genişletme denetleyicileri ve seçili işlem birimleri ekleniyor	Bellek yönetimi, kapasite ve verinin yakınında kullanım verimliliğinin iyileştirilmesi
3. aşama: zHBM	DRAM/HBM yapısı doğrudan AI hızlandırıcısının üzerine istifleniyor	İşlemci-bellek yolunun kısalması ve dikey bağlantı yoğunluğunun artması

Bu ilerleme, taban yonganın rolünü temelden değiştiriyor. Taban yonga yalnızca bağlantı ve kontrol katmanı olmaktan çıkıp giderek daha yetenekli bir mantık alt sistemine dönüşüyor; nihayetinde de dikey olarak bütünleşmiş bilgi işlem-bellek yapısının bir parçası hâline geliyor. 182027

1. aşama: cHBM, kontrol işlevlerini hızlandırıcıdan alıyor

Samsung’ın HBM4 başlangıç noktası, 1c DRAM ile 4 nm mantık taban yongasını bir araya getiriyor. Şirket, HBM4 tasarımında pin başına 13 Gbps’e ve yığın başına 3.300 GB/s bant genişliğine kadar çıkılabildiğini belirtiyor. Bunlar HBM4’e ilişkin ürün hedefleri; sonraki zHBM konseptinin doğrulanmış özellikleri değil. 3537

İlk aşamada, AI işlemcisindeki geleneksel ve daha büyük HBM PHY’sinin yerine daha kompakt bir yonga-yonga arayüzü kullanılması planlanıyor. Bellek denetleyicisinin görevleri de işlemciden alınarak HBM taban yongasına aktarılıyor. 1720

Bunun iki olası sonucu var:

• İşlemci alanı kazanımı: Daha önce bellek denetimi ve arayüz için kullanılan silikon alanı; hesaplama birimleri, önbellek veya uygulamaya özel mantık için kullanılabilir.
• Daha kısa elektriksel yol: İşlevlerin taban yongaya taşınması, işlemci ile HBM arasındaki iletişim mesafesini ve arayüz yükünü azaltarak enerji verimliliğini artırabilir. 13

Bazı raporlarda hızlandırıcı alanının yüzde 5 ila 10 oranında geri kazanılabileceği ve performansın yüzde 10 ila 20 artabileceği belirtiliyor. Ancak bu rakamlar, raporlanan yol haritası materyallerinden geliyor; her AI işlemcisi için geçerli, evrensel sonuçlar olarak değerlendirilmemeli. 1729

2. aşama: aHBM, taban yongayı etkin bir alt sisteme dönüştürüyor

İkinci aşamada, taban yongada açılan alana yeni işlevler ekleniyor. Samsung’ın aHBM konsepti; sıcaklık ve gerilim gibi koşulları izlemek için sensörler ve gerçek zamanlı telemetri işlevlerinin yanı sıra güvenilirlik ve kendi kendine test özelliklerini de içeriyor. Bu veriler, sistemin çalışma koşullarına daha hassas tepki vermesine ve bellek yığınının daha iyi izlenmesine yardımcı olabilir. 182728

Taban yonga aynı zamanda bir bellek genişletme arayüzü gibi çalışabilir. Ek HBM’in veya LPDDR gibi başka bellek türlerinin bağlanması, sistem tasarımcılarına kullanılabilir kapasiteyi yalnızca yerel HBM yığınıyla sınırlı kalmadan artırma seçeneği sunar. 182829

Samsung, taban yongaya işlem birimleri yerleştirmeyi de öneriyor. Bu birimler genel amaçlı GPU’nun veya AI hızlandırıcısının yerini almayacak. Daha sınırlı görevleri; özellikle belleğe yoğun erişim gerektiren bazı işlemleri verinin hemen yakınında gerçekleştirmeleri bekleniyor. Böylece paket içindeki veri trafiği azaltılabilir ve bellek kaynaklarının kullanım oranı artırılabilir. 61927

Bu nedenle aHBM, yol haritasının geçiş aşaması niteliğinde. HBM hâlâ işlemcinin yanında, 2.5B paket düzeninde bulunuyor; ancak taban yonga artık daha akıllı bir G/Ç ve işlem alt sistemi gibi davranmaya başlıyor.

3. aşama: zHBM, belleği doğrudan hesaplamanın üzerine taşıyor

zHBM, planın en radikal adımı. Geleneksel HBM paketlerinde AI işlemcisi ve HBM yığınları bir ara katman üzerinde yan yana durur. Samsung’ın zHBM konseptinde ise işlemci, DRAM yığınının hemen altına yerleştiriliyor ve gerçek bir 3B hesaplama-bellek yapısı oluşturuluyor. 3732

Dikey düzenin amacı, verinin kat etmesi gereken yolu kısaltmak ve büyük, kenar yönelimli arayüzün yerine daha yoğun, dağıtılmış dikey bağlantılar kullanmak. Teoride bu yaklaşım şunları sağlayabilir:

• çok daha geniş bağlantı sayesinde daha yüksek bant genişliği,
• sinyallerin daha kısa mesafe kat etmesiyle daha düşük G/Ç gücü,
• AI eğitimi ve çıkarımı sırasında verinin daha verimli aktarılması,
• HBM’in işlemcinin çevresine yerleştirilmesi gerekmediği için daha küçük yatay paket alanı. 13732

Bu nedenle zHBM yalnızca “daha hızlı HBM” değil. Bellek ile hesaplamanın fiziksel ilişkisini değiştiriyor. Ortaya çıkacak kazanım yalnızca DRAM hızına değil; paket topolojisine, arayüz tasarımına, güç dağıtımına ve iş yükünün veri taşımaya ne kadar duyarlı olduğuna da bağlı olacak.

HBM5 hedefleriyle karşılaştırma

Samsung’ın yayımladığı ve basına yansıyan hedefler farklı karşılaştırma tabanları ve ölçütler kullanıyor. Bu nedenle rakamlar tek bir doğrudan karşılaştırılabilir test sonucu gibi okunmamalı:

• HBM5 ve HBM4E karşılaştırması: Samsung, HBM5 için performansta 2 kat, watt başına performansta yüzde 20 artış ve ısıl dirençte yüzde 20 düşüş hedefliyor. Seri üretimin 2028 civarında başlaması bekleniyor; ancak HBM5 henüz yaygın biçimde yerleşmiş bir üretim standardı değil, bir yol haritası nesli. 4101214
• zHBM ve HBM4E karşılaştırması: Hot Chips sunumuna dayalı bir karşılaştırmada DRAM gücünde yaklaşık yüzde 70 azalma ve DRAM bant genişliğinde 2,3 kattan fazla artış bildirildi. 111
• Daha uzun vadeli zHBM hedefleri: Samsung ayrıca HBM4E’ye kıyasla 8 kata kadar performans, watt başına performansta 3 kat artış ve ısıl dirençte yüzde 75 ila 90 azalma hedeflerini açıkladı. 21314

“2,3 kat bant genişliği” ile “8 kat performans” ifadelerinin farklı olması, tek başına bir çelişki anlamına gelmiyor. Bant genişliği, DRAM gücü, uygulama performansı ve watt başına performans farklı ölçütlerdir; ayrıca farklı yapılandırmalar kullanılmış olabilir. Sunulan materyal, her rakamın yöntemini bağımsız biçimde yeniden hesaplamak için yeterli ayrıntıyı içermiyor. Bu nedenle söz konusu değerler, tek bir kıyaslama sonucundan çok mimari hedefler olarak ele alınmalı. 11014

CUBE stratejisiyle bağlantısı

Samsung, CUBE yaklaşımını dört hedef etrafında tanımlıyor: Capacity (kapasite), Utilization (kullanım verimliliği), Bandwidth (bant genişliği) ve Efficiency (verimlilik). Şirketin temel argümanı şu: AI sistemleri için yalnızca daha hızlı bellek arayüzleri yeterli değil; belleğin üç boyutlu alanda daha akıllı konumlandırılması ve kullanılması gerekiyor. 257

Üç HBM aşaması bu hedeflerle doğrudan örtüşüyor:

• Kapasite: Taban yonga üzerinden ek bellek katmanlarına bağlanmak ve dikey istifleme yapmak, paketi yatay olarak büyütmeden kapasiteyi artırabilir. 418
• Kullanım verimliliği: Telemetri, kontrol mantığı ve seçili belleğe yakın işlem işlevleri, belirli iş yüklerinde mevcut kapasite ve bant genişliğinden daha fazla yararlanılmasını sağlayabilir. 1827
• Bant genişliği: İşlemci ile bellek arasındaki yatay ve uzun yolların yerine daha kısa, dikey ve yoğun bağlantılar getirilebilir. 37
• Verimlilik: Veri taşıma ve arayüz yükünün azaltılması güç tüketimini düşürebilir; daha gelişmiş ısıl izleme de sistemlerin sınırlarına daha yakın çalışmasına yardımcı olabilir. 1511

Bu açıdan zHBM, Samsung’ın Z eksenli bellek yaklaşımının en net örneği. Amaç, 2.5B paketi yana doğru büyütmek yerine yukarı doğru inşa ederek yoğunluğu artırmak ve iletişim mesafesini azaltmak. 713

Önündeki mühendislik engelleri

Isı yönetimi

Yüksek güç tüketen işlemciyi DRAM yığınının altına yerleştirmek, ısının uzaklaştırılmasını zorlaştırıyor. Hesaplama yongası soğutma yolundan daha uzakta kalırken DRAM’in de görece dar bir sıcaklık çalışma aralığında tutulması gerekiyor. Bu nedenle Samsung’ın açıkladığı ısıl direnç azalması, 3B istiflemenin otomatik sonucu değil, kanıtlanması gereken bir tasarım hedefi. Üretim paketinde performans, bellek güvenilirliği ve soğutma gereksinimlerinin birlikte karşılanması gerekecek. 1419

Birleştirme, hizalama ve üretim verimi

Doğrudan 3B yapı, geniş arayüzlerde son derece hassas birleştirme ve hizalama gerektiriyor. Wafer inceltme, TSV entegrasyonu, bükülme kontrolü, kusur yönetimi ve yüksek verimli birleştirme süreçleri daha kritik hâle geliyor. Paketin herhangi bir tarafındaki kusur, tüm montajın değerini etkileyebileceğinden, iyi yonga testi, onarım mekanizmaları ve birleştirme sonrası test erişimi önem kazanıyor. Samsung’ın taban yongaya daha gelişmiş güvenilirlik ve kendi kendine test işlevleri eklemeyi planlaması, paketleme ile test süreçlerinin mimariyle ne kadar yakından bağlantılı olduğunu gösteriyor. 2728

Güç dağıtımı ve sinyal bütünlüğü

Çok geniş bir dikey arayüzün kararlı güç dağıtımı, zamanlama, saat sinyali ve gürültü kontrolüyle desteklenmesi gerekiyor. Teorik olarak daha yüksek bant genişliği, güç bütünlüğü, ısıl kısıtlar veya sinyal kalitesi sürdürülebilir çalışma hızını sınırlıyorsa uygulama performansını aynı ölçüde artırmayabilir.

Yığın yüksekliği ve mekanik kısıtlar

Dikey yapının büyümesi paket kalınlığını, mekanik gerilimi ve soğutma yolunun karmaşıklığını artırabilir. Nihai tasarımın kapasite ve bant genişliği ile yığın yüksekliği, bükülme, üretilebilirlik, altlık ve sistem kartı sınırları arasında denge kurması gerekecek.

İşlemci-bellek ortak tasarımı

Standart HBM, görece modüler bir bellek bileşeni olarak sisteme entegre edilebilir. aHBM ve özellikle zHBM ise hızlandırıcı, taban yonga mantığı, paket, ürün yazılımı, çalışma zamanı ve yazılım yığınının daha sıkı biçimde birlikte tasarlanmasını gerektiriyor. Arayüzler, kontrol paylaşımı, önbellek tutarlılığı, hata yönetimi ve belleğe yakın işlemler birlikte planlanmalı. Bu uzmanlaşma performansı artırabilir; ancak sistemi geleneksel HBM tabanlı tasarımlara kıyasla daha az değiştirilebilir hâle de getirebilir.

Ticarileşme takvimi ve ekosistem

zHBM hâlâ geleceğe dönük bir konsept. Raporlar, ticarileşmenin 2029 sonrasına kalabileceğine işaret ediyor. Takvim ve performans hedefleri; paketleme teknolojisinin olgunluğuna, müşteri talebine, standartlara, üretim verimine ve maliyete bağlı olacak. 8914

Sonuç: HBM’in taban yongası giderek “akıllanıyor”

Samsung’ın yol haritası, zekânın bellek yığınına kademeli olarak taşınması şeklinde özetlenebilir:

1. cHBM, işlemci alanı kazanımına ve arayüz ile kontrol işlerinin HBM’e devredilmesine odaklanıyor.
2. aHBM, taban yongayı izleme yapabilen, genişletilebilen ve seçili işlemleri çalıştırabilen bir bellek alt sistemine dönüştürüyor.
3. zHBM, işlemciyi DRAM yığınının altına yerleştirerek hesaplama ile belleği fiziksel olarak birleştiriyor.

Potansiyel kazanç büyük: Daha az G/Ç gücü, hızlandırıcıda daha fazla kullanılabilir silikon alanı, daha yoğun bant genişliği ve daha iyi watt başına performans. Fakat son aşama, en zorlu problemleri bellek arayüzünden ısıl mühendisliğe, birleştirme süreçlerine, üretim verimine, teste ve sistem düzeyinde ortak tasarıma taşıyor. Bugün için zHBM, hedeflerle desteklenen iddialı bir yönelim; üretimde bu hedefleri gerçekten karşılayan bir 3B AI paketinin kanıtı değil.