Samsung’un LPDDR5X-PIM teknolojisi yapay zekâ hesaplamasını belleğin içine taşıyor

Samsung, Hot Chips 2026’da yapay zekâ çıkarımına odaklanan LPDDR5X-PIM çözümünün mimarisini ve performans sonuçlarını ayrıntılı biçimde açıkladı. Processing-in-Memory (PIM), yani bellek içi işlem yaklaşımı, bazı hesaplamaları işlemciye göndermek yerine doğrudan DRAM’in yanında gerçekleştirmeyi hedefliyor.

Samsung’un edge-AI SoC üzerinde Llama 3.1 8B ile yaptığı testte şirket, geleneksel LPDDR5X’e kıyasla çıkarım süresinde 2,28 kat azalma ve token üretim hızında 3,01 kat artış bildirdi. Bu rakamların Samsung’a ait belirli bir test düzeninden geldiği ve geniş kapsamlı, bağımsız bir kıyaslama sunmadığı unutulmamalı. 1 9

LPDDR5X-PIM hangi sorunu çözmeye çalışıyor?

Büyük dil modellerinde çıkarım sırasında işlemci, model ağırlıkları ve ara verileri DRAM ile tekrar tekrar taşımak zorunda kalır. Özellikle her seferinde yeni token üretme aşamasında kullanılan matris-vektör işlemleri, işlem gücünden çok bellek bant genişliği ve veri hareketi tarafından sınırlandırılabilir.

PIM yaklaşımı, seçili işlemleri DRAM dizilerinin yakınına taşıyarak bu veri trafiğini azaltır. Böylece her operandın harici bellek arayüzü üzerinden işlemciye gidip gelmesi gerekmez. Samsung, LPDDR5X-PIM’i LPDDR tabanlı ilk PIM çözümü ve özellikle yapay zekâ çıkarımı için tasarlanmış bir mimari olarak konumlandırıyor. 2 9 13

Dört yongalı pakette 16 PIM işlem bloğu

Açıklanan yapı, dört DRAM yongasından oluşan 16 GB’lık bir LPDDR5X paketini temel alıyor. Paket, JEDEC tarzı 561 bilyeli bir form faktörü kullanıyor ve pin başına 9.600 Mb/sn hızında çalışıyor. Dört yonga ortak komut ve adres sinyallerini paylaşırken ayrı veri hatlarını kullanıyor; bu düzen, LPDDR sistemlerindeki paralel çalışma biçimiyle uyumlu. 9 17

Paket içindeki DRAM bankalarına dağıtılmış 16 PIM bloğunun her biri iki ana hesaplama birimini birleştiriyor:

• MAC ağaçları: GEMV ve benzeri matris işlemlerinde yoğun biçimde kullanılan çarpma-toplama işlemlerini gerçekleştiriyor.
• Kayan nokta ve tamsayı ALU’ları: Eleman bazlı işlemler ile destekleyici hesaplamaları yürütüyor.

Bu heterojen yapı, belleğin yalnızca tek bir veri türü üzerinde basit işlemler yapmasıyla sınırlı kalmamasını sağlıyor. Samsung’un daha önceki PIM çalışmaları da bankaların yanına yerleştirilen PIM birimlerini ve SIMD kayan nokta birimlerini kullanma yaklaşımını ortaya koymuştu. 9 11

614 GB/sn ne anlama geliyor?

Samsung, LPDDR5X-PIM için 614 GB/sn’ye kadar dahili toplam PIM bant genişliği açıkladı. Bu değer, işlemcinin geleneksel LPDDR5X arayüzü üzerinden kullanabildiği paket dışı bant genişliği anlamına gelmiyor. Rakam; bellek bankaları ve PIM bloklarının içeride paralel çalışmasıyla elde edilen toplam işleme kapasitesini ifade ediyor. 1

Samsung’un karşılaştırmasında bu dahili PIM bant genişliği, geleneksel LPDDR5X taban çizgisinin yaklaşık sekiz katı seviyesinde. Ancak bu, harici LPDDR bağlantısının 614 GB/sn’lik bir bağlantıya dönüştüğü anlamına gelmiyor. Avantaj, desteklenen işlemler için verilerin bellek içinde paralel biçimde işlenmesinden kaynaklanıyor.

Address Align Mode ve banka düzeyinde paralellik

Mimarinin önemli unsurlarından biri Address Align Mode, yani adres hizalama modu. Katılan bankalarda karşılık gelen operandlar aynı adres düzenine yerleştiriliyor. Böylece ortak bir PIM komutu, bu bankalarda aynı işlemin paralel olarak başlatılmasını sağlayabiliyor.

LPDDR rank’ındaki dört yonga komut ve adres sinyallerini kilit adımlı biçimde alırken ayrı veri yollarını koruduğu için bu düzen, paketin tek ve geleneksel olarak geniş bir harici kanal gibi davranmasını gerektirmeden paralel çalışmaya imkân veriyor. 17

Samsung iki temel çalışma biçimi tanımlıyor:

• Tek banka işlemi: Daha hassas kontrol sağlıyor ve normal DRAM trafiğinin PIM çalışmasıyla birlikte ilerlemesine daha fazla olanak tanıyor.
• Çoklu banka işlemi: Aynı anda daha fazla PIM bloğunu etkinleştirerek uygun çekirdeklerde iç paralelliği ve bant genişliğini artırıyor.

Buradaki denge iş yüküne bağlı. Daha fazla bankayı aynı anda kullanmak performansı yükseltebilir; ancak o sırada geleneksel bellek erişimleri için kullanılabilecek banka sayısını azaltır. Bu nedenle PIM, yazılımın ve tensör yerleşiminin bellek bankalarının yapısına göre planlandığı iş yüklerinde daha iyi sonuç verebilir. Herhangi bir hızlandırıcı gibi, tamamen görünmez bir tak-çalıştır çözüm olarak değerlendirilmemeli.

Llama 3.1 8B testinde bildirilen sonuçlar

Samsung, Llama 3.1 8B çalıştıran bir edge-AI SoC üzerinde geleneksel LPDDR5X ile şu karşılaştırmayı sundu:

• Çıkarım süresinde 2,28 kat azalma
• Token üretim hızında 3,01 kat artış
• 614 GB/sn’ye kadar dahili PIM bant genişliği
• Geleneksel karşılaştırma için sunum kapsamındaki yaklaşık 76,8 GB/sn seviyesine kıyasla daha yüksek dahili bant genişliği

Bu sonuçlar evrensel bir performans katsayısı olarak okunmamalı. Kazanç; modelin hassasiyetine, tensörlerin belleğe nasıl yerleştirildiğine, parti boyutuna, bellek kapasitesine, yazılım desteğine ve iş yükünün ne kadarının GEMV benzeri işlemlerden oluştuğuna göre değişebilir.

Samsung, verilerin SoC ile bellek arasında daha az taşınmasını mimarinin düşük güç tüketimi açısından önemli bir avantaj olarak sunuyor. Bununla birlikte mevcut kaynaklarda watt başına çıkarım veya token başına joule değerini bağımsız biçimde doğrulayan karşılaştırılabilir bir ölçüm bulunmuyor. Bu nedenle güç avantajı, uygun iş yükleri için beklenen bir tasarım kazanımı olarak görülmeli; yayımlanmış kesin bir yüzde olarak değerlendirilmemeli.

LPDDR5X-PIM, HBM’ye rakip mi?

HBM, özellikle büyük ölçekli eğitim ve yüksek performanslı veri merkezi hızlandırıcıları için daha yüksek genel amaçlı harici bellek bant genişliği sunmaya devam ediyor. Ancak HBM; yığınlanmış DRAM, silikon geçişleri, gelişmiş paketleme ve daha yüksek alan ile termal gereksinimler getiriyor. Micron, Hot Chips’te aynı kapasite için HBM’nin DDR5’e kıyasla yaklaşık üç kat daha fazla wafer alanı gerektirdiğini ve bu farkın nesiller boyunca büyüdüğünü belirtti.

Samsung’un LPDDR5X-PIM yaklaşımı farklı bir denge kuruyor. Düşük güç tüketimli LPDDR bellek form faktörünü korurken seçili hesaplamaları bankaların yakınına taşıyor. Bu çözüm HBM’nin genel amaçlı hızlandırıcı bant genişliğini sunmuyor; ancak asıl sorunun en yüksek kayan nokta performansını sağlamak değil, çıkarım sırasında veriyi taşımak olduğu durumlarda daha uygun olabilir.

Bu nedenle hedeflenen kullanım alanları şöyle ayrışıyor:

• Mobil ve istemci cihazları: Pil, ısı ve alan kısıtları altında cihaz içi yapay zekâ.
• Edge sistemleri: Ayrı bir HBM tabanlı hızlandırıcıya ihtiyaç duymadan yerel çıkarım.
• Sunucular: HBM’nin maliyet ve paketleme yükünü haklı çıkarmayacak, bellek hareketleriyle sınırlı çıkarım ve veri işleme görevleri.

En doğru tanım, LPDDR5X-PIM’in HBM’nin evrensel bir alternatifi değil; belirli çıkarım iş yüklerinde HBM’yi tamamlayan veya maliyet duyarlı bir seçenek olduğudur.

FMS 2026, XCENA MX1 ve LPDDR6-PIM ile bağlantısı

Samsung, LPDDR5X-PIM’i daha önce FMS 2026’da göstermişti. Hot Chips 2026 sunumu ise mimari ayrıntılar ile Llama 3.1 8B performans sonuçlarını daha kapsamlı biçimde ele aldı. Konferans programında Samsung’un sunumu, LPDDR tabanlı PIM’in yapay zekâ çıkarımında kullanımına odaklanan ayrı bir bellek oturumu olarak yer aldı. 9 13

Aynı bellek oturumunda tanıtılan XCENA MX1 ise LPDDR5X-PIM ile aynı ürün değil. MX1, raf ölçeğindeki altyapılar için tasarlanan bir CXL Type 3 hesaplamalı bellek cihazı. Tasarım; 2 TB’a kadar DDR5 kapasitesini, SSD destekli kapasiteyi ve 1.000’den fazla RISC-V çekirdeğini bir araya getiriyor. 4 10

İki yaklaşımın ortak noktası, ana işlemci ile bellek arasındaki veri hareketini azaltmaya çalışmaları. Ancak MX1, CXL üzerinden sunucuya bağlanan yakın-bellek altyapısı iken LPDDR5X-PIM, hesaplama birimlerini doğrudan düşük güç tüketimli LPDDR DRAM paketine entegre ediyor.

Samsung’un daha uzun vadeli yönü ise LPDDR6-PIM’in standartlaştırılması. DeepX, ikinci nesil DX-M2 çipinde Samsung LPDDR5X-PIM kullanmayı, daha sonraki DX-M3 tasarımında ise LPDDR6-PIM’e yönelmeyi planladığını açıkladı. 15

Bununla birlikte mevcut kanıtlar, LPDDR6-PIM için bir standardizasyon hedefi bulunduğunu gösterse de tamamlanmış bir JEDEC standardını veya onay tarihini doğrulamıyor. Geniş çaplı kullanım için ortak komutlar, paket ve arayüz uyumluluğu, yazılım araçları ile öngörülebilir banka ve adres davranışı kritik önem taşıyacak.

Sonuç: Samsung PIM’i düşük güç tüketimli belleğe taşıyor

Samsung’un Hot Chips 2026 açıklaması, LPDDR5X-PIM’i yapay zekâ çıkarımındaki bellek darboğazına yönelik hedefli bir çözüm olarak konumlandırıyor. 16 PIM bloğu, banka düzeyindeki paralellik, MAC ağaçları ve kayan nokta ile tamsayı ALU’ları; uygun işlemleri verinin bulunduğu yere yaklaştırıyor. Aynı zamanda tasarım, 16 GB kapasiteyi, dört yongalı paketi ve pin başına 9.600 Mb/sn LPDDR5X çalışma noktasını koruyor. 9

Llama 3.1 8B sonuçları dikkat çekici olsa da bunlar Samsung’un belirli bir test düzeninde elde ettiği, iş yüküne özgü sonuçlar. Teknolojinin daha geniş önemi, PIM yaklaşımını yalnızca özel HBM çözümlerinin konusu olmaktan çıkarıp mobil, edge, istemci ve belirli sunucu sistemlerinde kullanılabilecek düşük güç tüketimli belleklere taşımaya çalışması. HBM, genel amaçlı bant genişliğine gerçekten ihtiyaç duyan iş yüklerine ayrılırken LPDDR5X-PIM, veri taşınımının performansı sınırladığı çıkarım senaryolarına odaklanıyor.