Samsung показала LPDDR5X-PIM: до 614 ГБ/с для ИИ-вычислений прямо в памяти

Samsung использовала конференцию Hot Chips 2026, чтобы подробно рассказать о LPDDR5X-PIM — версии энергоэффективной памяти LPDDR5X со встроенными вычислительными блоками. Идея Processing-in-Memory (PIM, «обработка в памяти») заключается в том, чтобы выполнять часть операций непосредственно рядом с массивами DRAM, не отправляя каждый операнд между памятью и процессором.

В конфигурации, представленной Samsung, 16-гигабайтный корпус объединяет четыре кристалла LPDDR5X и работает со скоростью 9 600 Мбит/с на контакт. Компания заявила о внутренней агрегированной пропускной способности PIM до 614 ГБ/с, а также о заметном ускорении инференса Llama 3.1 8B на периферийной ИИ-системе. 1 9

Какую проблему решает LPDDR5X-PIM

При запуске больших языковых моделей процессор или ИИ-ускоритель часто тратит значительную часть времени не на сами вычисления, а на перемещение весов модели и промежуточных данных между DRAM и вычислительным блоком. Особенно это заметно в операциях GEMV — умножении матрицы на вектор, которое широко используется на этапе генерации токенов.

PIM переносит подходящие операции ближе к данным. Это не превращает память в полноценный универсальный процессор, но позволяет сократить обмен по внешнему интерфейсу и уменьшить давление на систему памяти. Именно поэтому технология прежде всего ориентирована на инференс, где задержки доступа и пропускная способность памяти нередко важнее пиковой вычислительной мощности. 2 9 13

Архитектура: 16 вычислительных блоков внутри четырёхкристального корпуса

Представленная Samsung конфигурация включает:

• 16 ГБ LPDDR5X;
• четыре кристалла, работающих в составе одного пакета;
• корпус стандарта JEDEC на 561 шариковый вывод;
• скорость передачи данных 9 600 Мбит/с на контакт;
• 16 PIM-блоков, распределённых по банкам DRAM. 9 17

Каждый PIM-блок сочетает два класса вычислительной логики:

• MAC-деревья выполняют параллельные операции multiply-accumulate — умножение с накоплением, необходимое для GEMV и других матричных вычислений;
• ALU для операций с плавающей точкой и целыми числами обрабатывают поэлементные и вспомогательные операции.

Такое сочетание делает архитектуру более гибкой, чем схема, рассчитанная только на один вид арифметики. В более ранних материалах Samsung также описывались SIMD-блоки для вычислений с плавающей точкой и размещение PIM-логики на уровне банков памяти. 9 11

Почему 614 ГБ/с — не скорость обычного интерфейса LPDDR5X

Заявленные 614 ГБ/с — это внутренняя совокупная пропускная способность PIM, а не скорость передачи данных между пакетом памяти и главным процессором. Иными словами, речь не идёт о том, что обычный внешний канал LPDDR5X внезапно превращается в интерфейс на 614 ГБ/с.

Показатель складывается из параллельной работы нескольких банков и PIM-блоков внутри памяти. В сравнении Samsung он примерно в восемь раз выше пропускной способности обычной LPDDR5X, использованной в качестве базовой конфигурации. Для поддерживаемых операций это даёт памяти возможность обрабатывать данные локально, не перемещая их через внешний интерфейс. 1

Address Align Mode и работа банков памяти

Ключевым элементом архитектуры является режим Address Align Mode. Соответствующие операнды размещаются по согласованным адресам в нескольких банках, благодаря чему одна команда PIM может запустить одинаковую операцию параллельно.

Четыре кристалла LPDDR-ранга получают общие сигналы команд и адреса, но используют отдельные линии данных. Такая организация соответствует параллельной структуре LPDDR и позволяет синхронно задействовать несколько кристаллов без превращения пакета в один обычный широкий внешний канал. 17

Samsung описала два режима выполнения:

• Однобанковый режим даёт более точный контроль и оставляет больше возможностей для одновременного обслуживания стандартных обращений к DRAM.
• Многобанковый режим задействует больше PIM-блоков сразу, повышая внутренний параллелизм и пропускную способность подходящих вычислительных ядер.

Компромисс зависит от конкретной нагрузки. Чем больше банков участвует в операции, тем выше потенциальная производительность, но тем меньше банков остаётся в этот момент для обычного доступа. Поэтому LPDDR5X-PIM требует согласования программного обеспечения, раскладки тензоров и используемых ядер с банковой структурой памяти. Это не полностью прозрачный ускоритель, который можно просто добавить в систему без изменений.

Результаты Samsung на Llama 3.1 8B

В тестовой системе на базе edge-AI SoC, запускавшей Llama 3.1 8B, Samsung сообщила о следующих результатах по сравнению с обычной LPDDR5X:

• время инференса уменьшилось в 2,28 раза;
• пропускная способность по токенам выросла в 3,01 раза;
• внутренняя PIM-пропускная способность достигла 614 ГБ/с, тогда как для обычной конфигурации в материалах презентации фигурировало около 76,8 ГБ/с.

Эти цифры нужно воспринимать как результаты конкретной конфигурации Samsung, а не как гарантированный коэффициент ускорения для любой модели. На итог повлияют точность представления модели, размер пакета, размещение тензоров, объём памяти, программная поддержка и доля операций GEMV в общей нагрузке.

Samsung также называет снижение энергопотребления одним из преимуществ архитектуры: при меньшем количестве пересылок между памятью и SoC система должна тратить меньше энергии на перемещение данных. Однако доступные материалы не содержат сопоставимого независимо подтверждённого показателя в ваттах на инференс или джоулях на токен. Поэтому преимущество по энергопотреблению пока корректнее считать архитектурной целью и ожидаемым эффектом для подходящих задач, а не опубликованным процентом экономии.

LPDDR5X-PIM и HBM: конкуренты или дополнение

HBM остаётся более подходящим вариантом, когда ускорителю нужна максимальная внешняя пропускная способность — особенно при обучении крупных моделей и работе высокопроизводительных серверных ускорителей. Но HBM требует многослойной упаковки DRAM, TSV-соединений, сложного корпусирования и значительных ресурсов для охлаждения.

На Hot Chips компания Micron заявила, что разница по площади кремния между HBM и DDR5 продолжает увеличиваться: в её сравнении HBM для той же ёмкости занимала примерно втрое большую площадь пластины.

Samsung предлагает другой компромисс. LPDDR5X-PIM сохраняет компактный низкопотребляющий формат LPDDR и добавляет ограниченный набор вычислений непосредственно рядом с банками DRAM. Такая память не обеспечивает универсальной пропускной способности HBM, зато может оказаться привлекательной там, где основная проблема — перемещение данных при инференсе, а не недостаток пиковой производительности вычислений.

Потенциальные области применения выглядят следующим образом:

• мобильные и клиентские устройства — локальный запуск ИИ при жёстких ограничениях по батарее и тепловыделению;
• периферийные системы — локальный инференс без отдельного ускорителя с HBM;
• серверы — инференс и обработка данных, ограниченные пропускной способностью памяти, а не количеством операций с плавающей точкой.

Точнее всего называть LPDDR5X-PIM дополнением или более чувствительной к стоимости альтернативой HBM для отдельных инференсных нагрузок, а не универсальной заменой HBM.

Как презентация вписывается в планы Samsung

Samsung впервые показала LPDDR5X-PIM на выставке FMS 2026. На Hot Chips компания представила более подробное описание архитектуры и результаты тестирования; в программе конференции доклад Samsung был посвящён первой LPDDR-решению с PIM для ИИ-инференса. 9 13

Более широкая цель компании — вывести обработку в памяти за пределы специализированных экспериментов с HBM и сделать её применимой к энергоэффективной памяти для мобильных и периферийных систем. Дальнейшее направление Samsung связывает с LPDDR6-PIM и возможной стандартизацией, однако имеющиеся данные не подтверждают наличие утверждённой спецификации JEDEC или даты её ратификации.

Южнокорейская компания DeepX заявляла, что планирует использовать Samsung LPDDR5X-PIM во втором поколении своего ИИ-чипа DX-M2, а для последующей разработки DX-M3 рассматривает LPDDR6-PIM. 15

LPDDR5X-PIM и XCENA MX1 — разные уровни одной идеи

LPDDR5X-PIM и XCENA MX1 оказались в одной секции памяти Hot Chips 2026, но это разные по масштабу и назначению технологии.

XCENA MX1 — устройство вычислительной памяти формата CXL Type 3 для инфраструктуры серверных стоек. Оно объединяет до 2 ТБ DDR5, ёмкость на базе SSD и более 1 000 ядер RISC-V для обработки данных рядом с памятью. 4 10

LPDDR5X-PIM интегрирует гораздо более компактный набор специализированных вычислительных блоков непосредственно в LPDDR DRAM. Обе технологии сокращают перемещение данных между хост-процессором и памятью, но MX1 подключается к серверной системе через CXL, тогда как решение Samsung рассчитано на низкопотребляющий корпус памяти рядом с SoC или другим устройством, использующим LPDDR.

Итог

Hot Chips 2026 показала LPDDR5X-PIM как точечный ответ Samsung на узкое место ИИ-инференса — постоянную передачу данных между памятью и процессором. Шестнадцать PIM-блоков, параллельные MAC-деревья, ALU для операций с плавающей точкой и целыми числами, а также выполнение на уровне банков позволяют переносить часть вычислений ближе к данным. При этом память сохраняет корпус LPDDR5X на четыре кристалла и скорость 9 600 Мбит/с на контакт. 9

Результаты на Llama 3.1 8B выглядят многообещающе, но остаются специфичным тестом производителя. Главное значение технологии — стратегическое: Samsung пытается перенести PIM из нишевых решений для HBM в более компактную энергоэффективную память, пригодную для мобильных, клиентских, периферийных и некоторых серверных систем. HBM при этом сохраняет роль решения для нагрузок, которым действительно нужна максимальная универсальная пропускная способность.