삼성 LPDDR5X-PIM, 메모리 안에서 AI 추론…내부 대역폭 614GB/s

삼성전자가 Hot Chips 2026에서 저전력 D램에 연산 기능을 결합한 LPDDR5X-PIM의 구체적인 구조와 성능을 소개했다. 이 기술은 AI 모델의 가중치와 중간 데이터를 프로세서와 메모리 사이에서 반복적으로 옮기는 대신, 일부 연산을 D램 내부에서 직접 처리하는 방식이다.

삼성에 따르면 엣지 AI SoC에서 Llama 3.1 8B를 실행했을 때 기존 LPDDR5X 대비 추론 시간이 2.28배 줄었고, 토큰 처리량은 3.01배 높아졌다. 다만 이는 삼성의 특정 테스트 환경에서 나온 자체 발표 결과로, 다양한 독립 벤치마크를 통해 검증된 보편적인 성능 향상 수치는 아니다. 1 9

LPDDR5X-PIM이 겨냥한 문제

대규모 언어 모델의 추론은 연산 능력만으로 결정되지 않는다. 특히 한 번에 한 토큰씩 생성하는 과정에서는 모델 가중치를 메모리에서 읽어 프로세서로 보내고, 계산 결과를 다시 처리하는 데이터 이동이 병목이 되기 쉽다.

PIM(Processing-in-Memory)은 이 문제를 줄이기 위해 D램 뱅크 가까이에 연산 회로를 배치한다. 모든 피연산자를 외부 메모리 인터페이스를 통해 프로세서로 보내는 대신, 행렬-벡터 연산처럼 반복적이고 데이터 이동량이 큰 작업을 메모리 내부에서 수행하는 것이다. 삼성은 LPDDR5X-PIM을 LPDDR 기반으로 구현한 첫 AI 추론용 PIM 솔루션이라고 설명했다. 2 9 13

16개 PIM 블록을 넣은 16GB 패키지

삼성이 공개한 구성은 4개의 다이로 만든 16GB LPDDR5X 패키지다. JEDEC 방식의 561볼 패키지를 사용하며, 핀당 데이터 전송 속도는 9,600Mb/s다. 네 다이는 명령·주소 신호를 공유하면서 데이터 라인은 별도로 사용하는 LPDDR 계열의 병렬 구조를 따른다. 9 17

패키지 안에는 D램 뱅크 전반에 걸쳐 16개의 PIM 블록이 배치된다. 각 블록은 다음과 같은 두 종류의 연산 하드웨어로 구성된다.

• MAC 트리: GEMV(행렬-벡터 곱)와 같은 연산에서 반복되는 곱셈·누산을 병렬로 처리한다.
• 부동소수점·정수 ALU: 원소별 계산과 기타 보조 연산을 담당한다.

즉, 단순히 한 종류의 산술 연산만 메모리에서 수행하는 것이 아니라, AI 추론에 필요한 여러 데이터 형식과 연산 유형을 나눠 처리하는 구조다. 삼성의 기존 PIM 관련 자료에서도 뱅크 단위로 배치된 PIM 유닛과 SIMD 부동소수점 유닛을 제시한 바 있다. 9 11

614GB/s를 외부 메모리 속도로 보면 안 되는 이유

삼성이 제시한 최대 614GB/s는 일반적인 LPDDR5X 메모리 인터페이스를 통해 프로세서가 직접 이용하는 외부 대역폭이 아니다. 여러 뱅크와 PIM 블록이 메모리 내부에서 병렬로 작업할 때의 내부 집계 PIM 대역폭이다. 1

삼성의 비교에서는 이 내부 수치가 기존 LPDDR5X 기준 대역폭보다 약 8배 높게 제시됐다. 하지만 이는 외부 LPDDR 연결이 614GB/s로 빨라졌다는 뜻이 아니다. 지원되는 연산에 한해 메모리 내부에서 더 많은 데이터를 동시에 처리할 수 있다는 의미다.

Address Align Mode와 뱅크 단위 병렬 처리

LPDDR5X-PIM의 핵심 기능 중 하나는 Address Align Mode다. 함께 연산할 피연산자를 여러 뱅크의 대응되는 주소에 맞춰 배치하면, 하나의 PIM 명령으로 각 뱅크에서 같은 연산을 병렬 실행할 수 있다.

이는 LPDDR 패키지의 신호 구조와도 관련이 있다. LPDDR 랭크를 구성하는 네 다이는 같은 명령·주소 신호를 받아 동기식으로 동작하지만, 데이터 라인은 별도로 유지한다. 따라서 패키지를 하나의 일반적인 초광폭 외부 채널처럼 사용하는 것이 아니라, 내부 뱅크와 다이의 병렬성을 활용하는 방식이다. 17

삼성은 두 가지 실행 방식을 설명했다.

• 싱글 뱅크 동작: 더 세밀하게 연산을 제어할 수 있고, 다른 뱅크에서 일반적인 D램 접근을 병행할 여지가 크다.
• 멀티 뱅크 동작: 더 많은 PIM 블록을 동시에 활성화해 적합한 커널에서 내부 병렬성과 처리량을 높인다.

다만 멀티 뱅크가 항상 유리한 것은 아니다. 더 많은 뱅크를 PIM 연산에 사용하면 처리량은 높아질 수 있지만, 그 순간 일반적인 메모리 접근에 사용할 수 있는 뱅크 수는 줄어든다. 따라서 성능은 모델의 텐서 배치, 소프트웨어 지원, 연산 커널이 메모리 뱅크 구조에 얼마나 잘 맞는지에 따라 달라진다.

Llama 3.1 8B에서 삼성의 성능 결과

삼성은 엣지 AI SoC에서 Llama 3.1 8B 추론을 수행하고 기존 LPDDR5X와 비교한 결과를 다음과 같이 제시했다.

• 추론 시간 2.28배 단축
• 토큰 처리량 3.01배 향상
• 최대 614GB/s의 내부 PIM 대역폭
• 기존 LPDDR5X 기준 약 76.8GB/s와의 비교

이 수치는 특정 삼성 테스트 구성에 대한 결과다. 모델의 정밀도와 양자화 방식, 배치 크기, 메모리 용량, 텐서 배치, 소프트웨어 최적화 수준, GEMV 계열 연산이 전체 추론에서 차지하는 비중에 따라 실제 효과는 달라질 수 있다.

삼성은 메모리와 SoC 사이의 데이터 이동을 줄이는 것이 전력 절감에도 도움이 된다고 설명했다. 그러나 제공된 자료만으로는 와트당 추론량이나 토큰당 에너지처럼 독립적으로 비교 가능한 측정값이나 구체적인 절감률을 확인하기 어렵다. 따라서 전력 이점은 적합한 워크로드에서 기대되는 아키텍처상의 장점으로 보는 것이 정확하다.

HBM과 경쟁하기보다 역할을 나누는 구조

HBM은 여전히 대규모 AI 가속기가 최고 수준의 외부 메모리 대역폭을 필요로 할 때 더 적합하다. 특히 대규모 학습과 데이터센터용 고성능 가속기에서는 HBM의 적층 D램, TSV, 첨단 패키징이 높은 대역폭을 제공한다. 대신 제조 면적과 패키징, 발열 및 전력 설계 부담이 커진다.

Hot Chips에서 마이크론은 동일 용량을 기준으로 HBM의 웨이퍼 면적 부담이 DDR5보다 커지고 있으며, 자사 비교에서 HBM 설계에 필요한 면적이 약 3배에 이른다고 설명했다.

LPDDR5X-PIM은 다른 선택을 한다. 저전력 D램의 패키지와 형식을 유지하면서 메모리 뱅크 가까이에 제한적인 연산 기능을 추가한다. HBM처럼 범용 가속기에 높은 외부 대역폭을 제공하지는 않지만, 최고 부동소수점 성능보다 데이터 이동량이 문제인 추론 작업에서는 비용과 전력 측면의 대안이 될 수 있다는 것이 삼성의 관점이다.

예상 적용 분야는 다음과 같다.

• 모바일·클라이언트 기기: 배터리와 발열 제약이 큰 온디바이스 AI
• 엣지 시스템: HBM 기반의 별도 가속기 없이 수행하는 로컬 추론
• 서버: 최고 FLOPS보다 메모리 이동이 병목인 추론 및 데이터 처리 작업

결국 LPDDR5X-PIM은 HBM을 전면 대체하는 기술이라기보다, 일부 추론 워크로드를 위한 보완재 또는 비용에 민감한 대안에 가깝다.

FMS 공개에서 Hot Chips 상세 발표로

삼성은 2026년 FMS에서 LPDDR5X-PIM을 먼저 공개했다. Hot Chips 2026 발표에서는 여기에 16개 PIM 블록의 구조와 뱅크 단위 실행 방식, Llama 3.1 8B 기반의 성능 비교를 더 구체적으로 설명했다. 학회 프로그램에서도 삼성 발표는 LPDDR 기반 PIM과 AI 추론을 주제로 한 메모리 세션으로 소개됐다. 9 13

삼성의 더 큰 방향은 PIM을 특수한 HBM 실험에 머무르게 하지 않고, 저전력 메모리 제품군에 적용할 수 있는 기능으로 확장하는 데 있다. 장기적으로는 LPDDR6-PIM을 국제 표준화와 연결하려는 방향도 제시되고 있지만, 현재 공개된 자료만으로 최종 JEDEC 규격이나 확정된 승인 시점을 확인할 수는 없다.

국내 AI 반도체 스타트업 딥엑스는 2세대 DX-M2 칩에 삼성 LPDDR5X-PIM을 사용할 계획이라고 밝혔으며, 이후 3세대 DX-M3에는 LPDDR6-PIM을 목표로 제시했다. 15

XCENA MX1과는 어떻게 다른가

삼성의 발표는 같은 Hot Chips 메모리 세션에서 소개된 XCENA의 MX1과 나란히 다뤄졌지만, 두 기술은 시스템에서 작동하는 위치가 다르다.

XCENA MX1은 랙 규모 인프라를 겨냥한 CXL Type 3 컴퓨테이셔널 메모리 장치다. 최대 2TB의 DDR5 용량과 SSD 기반 확장 용량, 1,000개 이상의 RISC-V 코어를 결합해 호스트와 가까운 메모리 영역에서 연산을 수행한다. 4 10

반면 LPDDR5X-PIM은 LPDDR D램 패키지 내부에 소수의 특화 연산 유닛을 직접 통합한다. 두 기술 모두 프로세서와 메모리 사이의 데이터 이동을 줄이려는 목적은 같지만, MX1은 CXL로 연결하는 서버용 장치이고 LPDDR5X-PIM은 SoC 가까이에 배치되는 저전력 메모리 솔루션이다.

핵심은 ‘614GB/s’보다 데이터 이동 감소

삼성의 Hot Chips 2026 발표가 보여준 LPDDR5X-PIM의 의미는 메모리 자체를 범용 AI 가속기로 바꾼다는 데 있지 않다. 16개 PIM 블록, 병렬 MAC 트리, 부동소수점·정수 ALU, Address Align Mode를 활용해 특정 추론 연산을 데이터가 있는 곳 가까이에서 처리한다는 데 있다. 9

Llama 3.1 8B 결과는 주목할 만하지만, 삼성 자체의 특정 워크로드 벤치마크라는 점은 감안해야 한다. 이 기술의 전략적 의미는 PIM을 고가의 HBM 중심 영역에서 저전력 LPDDR 메모리로 확장해 모바일, 엣지, 클라이언트와 일부 서버에 적용할 가능성을 열었다는 데 있다. HBM은 여전히 최고 수준의 범용 대역폭이 필요한 작업을 맡고, LPDDR5X-PIM은 데이터 이동과 전력, 비용이 더 중요한 추론 작업을 겨냥하는 구도다.