삼성의 3단계 HBM 로드맵…메모리와 연산을 수직으로 묶는다

삼성전자의 HBM 전략은 메모리 스택의 ‘베이스 다이’를 단순한 연결·제어층에서 점점 더 강력한 로직 서브시스템으로 바꾸는 방향으로 진화하고 있다. 최종 단계에서는 AI 프로세서와 HBM을 나란히 배치하는 기존 2.5D 구조를 넘어, 프로세서 위에 DRAM 스택을 직접 올리는 진정한 3D 패키지를 지향한다. 다만 삼성의 성능 수치는 현재 양산 제품에서 입증된 벤치마크가 아니라 미래 아키텍처를 위한 목표치로 봐야 한다. 1713

한눈에 보는 3단계 로드맵

단계	핵심 변화	기대 효과
1단계: 맞춤형 HBM(cHBM)	메모리 컨트롤러와 더 작아진 칩 간 인터페이스를 HBM 로직 베이스 다이에 통합	AI 가속기 실리콘 면적 확보, 데이터 이동 및 인터페이스 전력 부담 완화
2단계: 고도화 HBM(aHBM)	베이스 다이에 실시간 모니터링, 메모리 확장 컨트롤러, 일부 연산 요소 추가	메모리 관리·용량·활용도 향상, 데이터 가까이에서 일부 연산 수행
3단계: zHBM	DRAM/HBM 구조를 AI 가속기 바로 위에 수직 적층	프로세서와 메모리 사이 경로 단축, 수직 연결을 통한 고밀도 I/O 구현

이 로드맵의 핵심은 베이스 다이의 역할 변화다. 기존에는 주로 메모리 스택과 외부 프로세서를 연결하고 제어하는 역할에 머물렀다면, 앞으로는 센서·확장 인터페이스·연산 기능을 갖춘 능동형 로직층으로 발전한다. 최종적으로는 연산과 메모리가 하나의 수직 구조 안에서 결합된다. 182027

1단계 cHBM: 메모리 제어 기능을 가속기에서 분리

삼성전자의 HBM4는 1c DRAM과 4나노미터 로직 베이스 다이를 결합한 구조에서 출발한다. 삼성은 HBM4가 최대 13Gbps의 데이터 전송 속도와 스택당 최대 3,300GB/s의 대역폭을 구현할 수 있다고 설명한다. 다만 이는 HBM4 제품에 대한 주장이지, 이후 단계인 zHBM의 사양은 아니다. 3537

cHBM의 첫 번째 변화는 AI 가속기 내부에 있던 메모리 제어 기능을 HBM 베이스 다이로 옮기는 것이다. 동시에 가속기의 기존 대형 HBM PHY를 더 작고 효율적인 칩 간 다이투다이(D2D) 인터페이스로 대체하는 구상이 제시됐다. 1720

이렇게 되면 두 가지 효과를 기대할 수 있다.

• 가속기 면적 확보: 메모리 컨트롤러와 인터페이스에 사용하던 실리콘을 연산 유닛, 캐시 또는 특정 애플리케이션용 로직에 활용할 수 있다.
• 전기적 경로 단축: 가속기와 HBM 사이의 통신 기능을 베이스 다이 쪽으로 옮기면 신호가 이동하는 거리와 인터페이스 오버헤드를 줄여 에너지 효율을 높일 가능성이 있다. 13

일부 로드맵 관련 자료는 가속기 면적의 510%를 되찾고 성능을 1020% 높일 수 있다고 언급한다. 그러나 이 수치는 보고된 로드맵 자료에 기반한 전망이며, 모든 AI 프로세서에서 동일하게 재현되는 보편적 결과로 받아들여서는 안 된다. 1729

2단계 aHBM: 베이스 다이를 ‘지능형’ 메모리 서브시스템으로

두 번째 단계에서는 베이스 다이에 남은 공간을 활용해 기능을 더한다. 삼성의 aHBM 구상에는 온도와 전압 같은 작동 상태를 실시간으로 감지하는 센서와 텔레메트리 기능, 신뢰성 관리 및 자체 검사 기능이 포함된다. 시스템은 이 정보를 바탕으로 메모리 상태와 전력 조건에 보다 세밀하게 대응할 수 있다. 182728

베이스 다이는 메모리 확장 인터페이스 역할도 맡을 수 있다. 추가 HBM이나 LPDDR과 같은 다른 메모리를 연결해, 로컬 HBM 스택에만 의존하지 않고 시스템에서 사용할 수 있는 메모리 용량을 늘리는 방식이다. 182829

여기에 일부 연산 요소를 베이스 다이에 통합하는 방안도 제시됐다. 이 연산 요소가 범용 GPU나 AI 가속기를 대체하는 것은 아니다. 대신 메모리 접근이 많은 특정 작업을 데이터와 가까운 위치에서 처리해 패키지 내부를 오가는 데이터량을 줄이고 메모리 활용도를 높이는 것이 목적이다. 61927

따라서 aHBM은 과도기적 단계에 가깝다. HBM과 프로세서가 여전히 인터포저 위에 나란히 놓이는 2.5D 패키지를 유지하지만, 베이스 다이는 점차 지능형 I/O 및 근접 연산 서브시스템처럼 작동하게 된다.

3단계 zHBM: 프로세서 바로 위에 DRAM을 쌓는다

zHBM은 세 단계 가운데 가장 급진적인 변화다. 기존 HBM 패키지에서는 AI 프로세서와 HBM 스택이 인터포저 위에 나란히 배치된다. 반면 삼성의 zHBM은 AI 프로세서를 DRAM 스택 아래에 놓고, 메모리를 프로세서 바로 위에 수직으로 쌓는 진정한 3D 구조를 제안한다. 3732

이 수직 배치는 데이터가 이동해야 하는 경로를 크게 줄이고, 가장자리에 집중된 대형 인터페이스를 칩 전체에 분산된 고밀도 수직 연결로 바꾸는 것을 목표로 한다. 이론적으로는 다음과 같은 이점이 가능하다.

• 더 넓은 연결을 통한 대역폭 확대
• 신호 이동 거리 단축에 따른 I/O 전력 절감
• AI 학습과 추론에서 데이터 공급 효율 향상
• HBM을 프로세서 주변에 배치하지 않아도 되는 만큼 패키지의 가로 면적 축소 13732

이 때문에 zHBM은 단순히 ‘더 빠른 HBM’으로만 볼 수 없다. 메모리와 연산 장치의 물리적 관계 자체를 바꾸는 기술이기 때문이다. 실제 효과는 DRAM 속도뿐 아니라 패키지 구조, 인터페이스 설계, 전력 공급, 냉각 방식, 그리고 데이터 이동에 민감한 작업인지 여부에 따라 달라진다.

HBM5와 비교하면 어느 정도인가

삼성이 공개하거나 외부에 보고된 수치는 기준과 측정 항목이 서로 다르다. 따라서 하나의 통합 벤치마크처럼 직접 비교해서는 안 된다.

• HBM5 대 HBM4E: 삼성은 HBM5의 성능을 2배로 높이고, 와트당 성능을 20% 개선하며, 열 저항을 20% 낮추는 것을 목표로 하고 있다. 양산 시점은 2028년 전후로 거론되지만, HBM5는 아직 폭넓게 확립된 양산 표준이라기보다 로드맵 세대에 해당한다. 4101214
• zHBM 대 HBM4E: Hot Chips 발표를 바탕으로 한 비교에서는 DRAM 전력을 약 70% 줄이고 DRAM 대역폭을 2.3배 이상 높이는 수치가 보고됐다. 111
• 장기적인 zHBM 목표: 삼성은 HBM4E 대비 최대 8배의 성능, 3배의 와트당 성능, 75~90% 낮은 열 저항도 목표로 제시했다. 21314

그렇다면 ‘대역폭 2.3배’와 ‘성능 8배’는 서로 모순일까. 반드시 그렇지는 않다. 대역폭, DRAM 전력, 애플리케이션 성능, 와트당 성능은 서로 다른 지표이며, 각각 다른 구성과 기준을 사용했을 가능성이 있다. 제공된 자료만으로는 삼성의 모든 수치를 동일한 조건에서 독립적으로 검증하거나 조정하기 어렵다. 따라서 이 수치들은 하나의 확정된 벤치마크라기보다 아키텍처 목표로 해석하는 편이 정확하다. 11014

삼성 CUBE 전략에서 zHBM의 의미

삼성은 CUBE를 **Capacity(용량), Utilization(활용 최적화), Bandwidth(대역폭), Efficiency(전력·열 효율)**의 앞 글자를 딴 전략으로 설명한다. AI 시스템에는 단순히 더 빠른 메모리 인터페이스만 필요한 것이 아니라, 메모리를 더 조밀하게 배치하고 데이터를 더 효율적으로 활용하는 구조가 필요하다는 주장이다. 257

삼성의 3단계 HBM 로드맵은 CUBE의 네 가지 축과 맞물린다.

• 용량: 베이스 다이를 통한 메모리 확장으로 추가 메모리 계층을 연결하고, 수직 적층으로 패키지의 가로 면적을 크게 늘리지 않으면서 집적도를 높인다. 418
• 활용 최적화: 텔레메트리와 제어 로직, 선택적 근접 연산을 통해 특정 작업에서 기존 메모리 용량과 대역폭을 더 효율적으로 사용한다. 1827
• 대역폭: 연산 칩과 HBM 사이의 긴 수평 경로를 줄이고, 더 조밀한 수직 I/O를 구현한다. 37
• 효율: 데이터 이동과 인터페이스 오버헤드를 줄여 전력 소모를 낮추고, 열 상태를 정밀하게 관리해 시스템이 성능 한계에 더 가까이 접근하도록 한다. 1511

이런 관점에서 zHBM은 삼성의 Z축 메모리 전략을 가장 선명하게 보여주는 기술이다. 패키지를 옆으로 넓히는 기존 2.5D 방식 대신 위로 쌓아 유효 집적도를 높이고 연산과 메모리 사이의 통신 거리를 줄이려는 접근이다. 713

상용화를 위해 풀어야 할 과제

발열 관리

고전력 프로세서를 DRAM 스택 아래에 배치하면 열을 빼내기가 어려워진다. 연산 다이가 냉각 경로에서 더 멀어지는 동시에, DRAM도 비교적 제한적인 온도 범위 안에서 동작해야 하기 때문이다. 따라서 삼성의 열 저항 개선 수치는 3D 적층만으로 자동 달성되는 이점이 아니라 설계 목표다. 실제 제품에서는 성능, 메모리 신뢰성, 냉각 요구사항을 동시에 만족해야 한다. 1419

본딩·정렬·수율

직접 3D 구조에서는 넓은 접합면 전체를 매우 정밀하게 본딩하고 정렬해야 한다. 웨이퍼 박형화, TSV 통합, 휨 제어, 결함 관리, 고수율 본딩의 중요성이 기존 패키징보다 커진다. 프로세서나 메모리 어느 한쪽의 결함도 완성 패키지의 가치에 영향을 줄 수 있어, 양품 다이 선별 검사와 수리 회로, 본딩 전후 검사 접근성이 중요해진다. 베이스 다이에 신뢰성 관리와 자체 검사 기능을 추가하려는 이유도 패키징과 테스트가 아키텍처와 밀접하게 연결돼 있기 때문이다. 2728

전력 공급과 신호 무결성

수직 연결부의 폭이 아무리 넓어도 안정적인 전력 공급, 클록, 타이밍, 노이즈 제어가 뒷받침돼야 한다. 이론상 대역폭이 높더라도 전원 무결성, 신호 품질 또는 열 스로틀링 때문에 지속 성능이 제한될 수 있다.

스택 높이와 기계적 제약

수직 구조가 복잡해질수록 패키지 두께와 기계적 응력, 냉각 경로의 복잡성이 커질 수 있다. 최종 설계는 용량과 대역폭뿐 아니라 휨, 제조성, 기판과 시스템 보드의 한계까지 함께 고려해야 한다.

프로세서와 메모리의 공동 설계

표준 HBM은 비교적 모듈식 메모리 부품으로 통합할 수 있다. 그러나 aHBM, 특히 zHBM은 AI 가속기, 베이스 다이 로직, 패키지, 펌웨어, 런타임, 소프트웨어 스택이 더 긴밀하게 협력해야 한다. 인터페이스, 제어권, 일관성 유지, 오류 처리, 근접 연산을 함께 설계해야 하므로 특화된 성능을 얻는 대신 기존 HBM 기반 시스템보다 부품 간 호환성과 교체 가능성이 낮아질 수 있다.

상용화 시점과 생태계

zHBM은 아직 미래형 개념이며, 관련 보도에서는 상용화 시점을 2029년 이후로 예상한다. 실제 일정과 성능은 패키징 기술의 성숙도, 고객 채택, 표준화, 수율, 비용에 좌우된다. 8914

결론: ‘더 빠른 메모리’보다 ‘메모리에 가까운 연산’

삼성의 로드맵은 HBM 스택 쪽으로 지능을 단계적으로 이동시키는 과정으로 요약할 수 있다.

1. cHBM: 메모리 인터페이스와 제어 기능을 이전해 AI 가속기 면적을 확보한다.
2. aHBM: 베이스 다이를 모니터링·확장·선택적 연산이 가능한 메모리 서브시스템으로 만든다.
3. zHBM: 프로세서 아래에 DRAM을 직접 적층해 연산과 메모리를 물리적으로 결합한다.

성공한다면 데이터 이동에 필요한 I/O 전력을 줄이고, 가속기에 더 많은 연산 실리콘을 배정하며, 더 높은 대역폭과 와트당 성능을 구현할 수 있다. 하지만 마지막 단계로 갈수록 핵심 난제는 메모리 인터페이스 자체에서 발열, 본딩, 제조 수율, 검사, 시스템 공동 설계로 이동한다.

따라서 현재 zHBM은 매력적인 목표 수치를 제시한 야심찬 3D 메모리 방향이지, 이미 양산 패키지에서 성능이 입증된 기술은 아니다.