SamsungのLPDDR5X-PIM、メモリ内AI推論で614GB/sを実現

SamsungはHot Chips 2026で、低消費電力DRAMのLPDDR5X内部に演算機能を組み込む「LPDDR5X-PIM」の詳細を明らかにしました。PIM（Processing-in-Memory）は、データをプロセッサへ何度も移動させる代わりに、DRAMの近くで一部の演算を実行する仕組みです。

同社によると、16GBのLPDDR5Xパッケージに16個のPIMブロックを搭載し、内部の並列処理によって最大614GB/sのPIM帯域幅を実現。Llama 3.1 8Bを動かすエッジAI SoCでは、従来のLPDDR5Xと比較して推論時間を2.28倍短縮し、トークン処理量を3.01倍に高めました。ただし、これらはSamsungが報告した特定構成での結果であり、幅広い第三者評価を意味するものではありません。1 9

LPDDR5X-PIMが解決を目指す課題

大規模言語モデルの推論では、演算そのものだけでなく、モデルの重みや中間データをDRAMとプロセッサの間で移動させる処理がボトルネックになりがちです。特に、生成時に繰り返される行列ベクトル演算（GEMV）では、計算能力を増やすだけでなく、データ移動を減らすことが性能や電力効率を左右します。

LPDDR5X-PIMは、こうした処理の一部をDRAMアレイの近くで実行します。Samsungにとって、LPDDRをベースにしたAI推論向けPIMソリューションは今回が初めてです。2 9 13

16個のPIMブロックを4ダイのパッケージに搭載

Samsungが説明した構成は、4枚のダイで構成する16GBのLPDDR5Xパッケージです。JEDEC準拠の561ボールパッケージを採用し、ピンあたり9,600Mb/sで動作します。4枚のダイはコマンドとアドレス信号を共有しながら、データ線はそれぞれ独立しています。これはLPDDR5系で用いられる並列構成に沿ったものです。9 17

パッケージ内部のDRAMバンクには、合計16個のPIMブロックが配置されています。各ブロックは主に次の2種類の演算回路で構成されます。

• MACツリー：GEMVなどで必要となる、乗算と加算を大量に繰り返す処理を担当
• 浮動小数点・整数ALU：要素単位の演算など、MAC以外の補助的な処理を担当

この異種混載型の構成により、単一のデータ型による単純な演算だけでなく、浮動小数点と整数を含む複数の処理をメモリ側で扱えます。Samsungが以前から示してきたPIM関連資料でも、SIMD浮動小数点ユニットや、DRAMバンク単位でPIMユニットを配置する考え方が説明されています。9 11

「614GB/s」は外部メモリ帯域ではない

Samsungが示した最大614GB/sという数値は、PIM内部の合計帯域幅です。SoCのプロセッサが通常のLPDDR5Xインターフェースを通じて利用できる、パッケージ外部の帯域幅が614GB/sになるわけではありません。1

この数値は、複数のDRAMバンクとPIMブロックが内部で並列に処理することによって得られるものです。Samsungの比較では、従来のLPDDR5Xによるベースラインの約8倍に相当します。つまり、PIM対応の演算についてメモリ内部で高い並列帯域を引き出す技術であり、通常のLPDDRインターフェースを614GB/sの外部リンクへ変えるものではありません。

Address Align Modeとバンク単位の並列実行

LPDDR5X-PIMの鍵となる仕組みの1つが「Address Align Mode」です。対応するオペランドを複数のバンクにまたがって同じアドレス位置に配置することで、共通のPIMコマンドから各バンクで同じ演算を並列に開始できます。

LPDDRのランク内にある4枚のダイは、コマンドやアドレス信号を共有して同じタイミングで動作します。一方でデータ経路は分かれているため、パッケージ全体を1本の極端に広い外部チャネルとして扱うのではなく、内部のバンク構成を生かして並列処理を行います。17

Samsungは、次の2つの動作方式を説明しています。

• シングルバンク動作：より細かな制御が可能で、通常のDRAMアクセスとPIM処理を併存させやすい
• マルチバンク動作：より多くのPIMブロックを同時に動かし、対応するカーネルで内部並列性と帯域幅を高める

ただし、参加するバンクを増やせば常に有利になるわけではありません。マルチバンク動作は適切な処理でスループットを高める一方、その時点で通常のDRAMアクセスに使えるバンクは少なくなります。実際の効果を引き出すには、ソフトウェア、テンソルの配置、対象カーネルをメモリのバンク構造に合わせて設計する必要があります。

Llama 3.1 8BでSamsungが報告した結果

Samsungは、Llama 3.1 8Bを実行するエッジAI SoCで、通常のLPDDR5Xとの比較結果を示しました。

• 推論時間：2.28倍短縮
• トークン処理量：3.01倍に向上
• 内部PIM帯域幅：最大614GB/s
• 従来のLPDDR5Xによるベースライン：約76.8GB/s

これらは、どのモデルやシステムでも同じ倍率が得られることを示す普遍的な性能指標ではありません。モデルの精度形式、テンソルの配置、バッチサイズ、メモリ容量、ソフトウェア対応、そして処理全体に占めるGEMV系カーネルの割合によって、効果は変わります。

Samsungは、メモリとSoCの間を移動するデータ量を減らせることから、消費電力の低減もアーキテクチャ上の利点として挙げています。ただし、今回確認できる資料には、ワット毎の推論性能や1トークン当たりのジュール数を第三者が比較検証できる形で示した数値はありません。したがって、電力面は適切なワークロードで期待される設計上のメリットとして捉えるのが妥当です。

HBMとの違い：置き換えではなく用途の分担

HBMは、最大限の外部メモリ帯域幅を必要とするアクセラレーターに適しています。大規模なAI学習やハイエンドのデータセンター処理では、依然としてHBMが有力です。一方、HBMはDRAMの積層、TSV、先進パッケージング、熱設計やシリコン面積といったコストを伴います。Hot Chips 2026ではMicronも、同容量で比較した場合、HBMのウエハー面積がDDR5の約3倍に達するという見方を示しました。

SamsungのLPDDR5X-PIMは、別の妥協点を狙います。低消費電力DRAMのパッケージ形態を維持しつつ、選択した演算だけをメモリの近くで処理する設計です。HBMのような汎用アクセラレーター向けの帯域幅は提供できませんが、最大演算性能よりもデータ移動が問題になる推論処理では、より現実的な選択肢になり得ます。

想定される用途は次の通りです。

• モバイル・クライアント機器：バッテリー容量や熱設計に制約がある環境でのオンデバイスAI
• エッジシステム：専用のHBM搭載アクセラレーターを使わずにローカル推論を実行
• サーバー：HBMのコストやパッケージング負担を正当化しにくい、メモリ移動律速の推論・データ処理

そのため、LPDDR5X-PIMを最も正確に表現するなら、HBMの全面的な代替ではなく、特定の推論ワークロード向けの補完技術、あるいはコストを重視した代替候補です。

Hot Chipsでの発表とSamsungのロードマップ

Samsungは、FMS 2026ですでにLPDDR5X-PIMを披露していました。Hot Chips 2026では、アーキテクチャの構成や性能評価について、より詳しい説明を加えています。カンファレンスのプログラムでも、LPDDRベースのAI推論向けPIMを扱うSamsungの専用講演が、メモリセッションに組み込まれていました。9 13

同社が目指しているのは、PIMをHBMなどの特殊な実験にとどめず、低消費電力メモリへ展開可能な機能にすることです。より長期的なLPDDR6-PIMについては標準化を見据えた方向性が示されていますが、最終的なJEDEC仕様や承認時期が確定したことを示す証拠は、現時点で確認できません。DeepXは、次世代のDX-M2チップでSamsungのLPDDR5X-PIMを採用する計画を示し、その後のDX-M3ではLPDDR6-PIMを目標に掲げています。15

XCENA MX1とは同じ「メモリ中心」でも別の技術

Hot Chipsの同じメモリセッションでは、XCENAのMX1も取り上げられました。ただし、LPDDR5X-PIMとMX1はシステム上の位置づけが異なります。

XCENA MX1は、ラック規模のインフラを対象としたCXL Type 3のコンピュテーショナルメモリデバイスです。最大2TBのDDR5容量、SSDを利用した拡張容量、1,000基を超えるRISC-Vコアによるニアメモリ処理を組み合わせています。4 10

これに対してLPDDR5X-PIMは、LPDDR DRAMそのものに比較的小規模な専用演算ユニットを組み込む方式です。どちらもホストとメモリ間のデータ移動を減らす点は共通していますが、MX1がCXLで接続するサーバー向けデバイスであるのに対し、Samsungの技術はSoCの近くに配置される低消費電力メモリパッケージです。

まとめ：AI推論のボトルネックをメモリ側から崩す

SamsungのHot Chips 2026での説明は、LPDDR5X-PIMをAI推論におけるメモリボトルネックへの、用途を絞った解決策として位置づけています。16個のPIMブロック、バンク単位の並列処理、MACツリー、浮動小数点・整数ALUによって、対応する演算をデータの近くで処理します。パッケージはLPDDR5X系の形態を保ち、ピンあたり9,600Mb/sで動作します。9

Llama 3.1 8Bで示された結果は有望ですが、Samsungによる特定条件でのベンダーベンチマークとして読む必要があります。技術的な意義は、PIMを高価なHBM中心の領域から、モバイル、エッジ、クライアント、そして一部のサーバーで利用し得る低消費電力メモリへ広げようとしている点にあります。汎用帯域幅を最優先する処理はHBMに任せつつ、データ移動が支配的な推論では、メモリ内部の演算を活用するという役割分担です。