Samsung переніс ШІ-обчислення в пам’ять: LPDDR5X-PIM забезпечує до 614 ГБ/с

На конференції Hot Chips 2026 Samsung детально представила LPDDR5X-PIM — версію малопотужної пам’яті LPDDR5X із вбудованими блоками оброблення даних. Її мета — зменшити обсяг інформації, який потрібно постійно передавати між DRAM і процесором під час запуску ШІ-моделей.

У тесті на edge-AI SoC із моделлю Llama 3.1 8B Samsung заявила про скорочення часу виведення у 2,28 раза та зростання пропускної здатності до 3,01 раза. Водночас ці показники отримано в конкретній конфігурації компанії, тому їх не варто сприймати як універсальний коефіцієнт прискорення. 1 9

Яку проблему вирішує PIM

Під час виведення великих мовних моделей процесор часто витрачає значну частину часу не на самі обчислення, а на переміщення ваг моделі та проміжних даних між пам’яттю й обчислювальним блоком. Технологія Processing-in-Memory (PIM) переносить частину операцій ближче до масивів DRAM, щоб не передавати кожен операнд через зовнішній інтерфейс пам’яті.

Samsung називає LPDDR5X-PIM своїм першим рішенням PIM на базі LPDDR для ШІ-виведення. Такий підхід особливо доречний для навантажень із великою кількістю повторюваних матрично-векторних операцій, де скорочення переміщення даних може бути не менш важливим, ніж збільшення традиційної обчислювальної потужності. 2 9 13

Архітектура: 16 PIM-блоків у чотирикристальному корпусі

Заявлена конфігурація — це 16 ГБ LPDDR5X у корпусі з чотирма кристалами, виконаному у форматі JEDEC із 561 кулькою. Пам’ять працює зі швидкістю 9600 Мбіт/с на контакт. Чотири кристали спільно отримують команди й адреси, але використовують окремі лінії даних — відповідно до паралельної організації LPDDR-систем. 9 17

Усередині корпусу розміщено 16 PIM-блоків, розподілених між банками DRAM. Кожен блок поєднує два типи обчислювальних компонентів:

• Дерева MAC виконують операції множення з накопиченням, характерні для GEMV та інших матричних обчислень.
• ALU для операцій із плаваючою комою та цілих чисел обробляють поелементні й допоміжні операції.

Така неоднорідна структура дає змогу працювати не лише з одним типом арифметики. Попередні матеріали Samsung також описували SIMD-блок для обчислень із плаваючою комою та розміщення PIM-компонентів на рівні банків, тобто безпосередньо біля даних, які вони обробляють. 9 11

Що насправді означають 614 ГБ/с

Samsung заявила до 614 ГБ/с сукупної внутрішньої пропускної здатності PIM. Це не швидкість передавання даних між пам’яттю та хост-процесором через звичайний зовнішній інтерфейс LPDDR5X. Показник описує паралельну роботу багатьох банків і PIM-блоків усередині пам’яті. 1

У порівнянні Samsung внутрішня пропускна здатність PIM приблизно у вісім разів перевищувала пропускну здатність звичайної LPDDR5X, використаної як базова конфігурація. Важливо не плутати ці два поняття: PIM відкриває додаткову пропускну здатність усередині пам’яті для підтримуваних операцій, але не перетворює зовнішній канал LPDDR на інтерфейс зі швидкістю 614 ГБ/с.

Address Align Mode і виконання на рівні банків

Ключовою частиною архітектури є режим Address Align Mode. Відповідні операнди розміщують за узгодженими адресами в різних банках. Завдяки цьому одна команда PIM може запускати однакову операцію паралельно в кількох банках.

Такий підхід використовує особливість LPDDR-організації: чотири кристали рангу отримують спільні сигнали команд і адрес, але мають окремі тракти даних. Це дає змогу виконувати операції паралельно, не перетворюючи весь корпус на один звичайний широкий зовнішній канал. 17

Samsung описала два режими роботи:

• Однобанковий режим забезпечує точніше керування та залишає більше можливостей для одночасного виконання звичайних операцій DRAM.
• Багатобанковий режим активує більше PIM-блоків одночасно, підвищуючи внутрішній паралелізм і пропускну здатність для придатних обчислювальних ядер.

Компроміс залежить від конкретного навантаження. Залучення більшої кількості банків може підвищити швидкість, але водночас зменшує кількість банків, доступних для звичайних звернень до пам’яті. Тому PIM потребує узгодження програмного забезпечення, розкладки тензорів і цільових ядер зі структурою банків, а не просто підключення як непомітного прискорювача.

Результати Samsung для Llama 3.1 8B

На edge-AI SoC із моделлю Llama 3.1 8B компанія порівняла LPDDR5X-PIM зі звичайною LPDDR5X і повідомила про такі результати:

• у 2,28 раза менший час виведення;
• у 3,01 раза вища пропускна здатність за токенами;
• до 614 ГБ/с внутрішньої пропускної здатності PIM проти приблизно 76,8 ГБ/с у звичайній базовій конфігурації, наведеної в матеріалах презентації.

Це результати конкретного тесту Samsung, а не незалежне широке оцінювання. Фактичний ефект залежатиме від точності моделі, розміру пакета, місткості пам’яті, підтримки програмним забезпеченням, розміщення тензорів і частки операцій GEMV у загальному часі виведення.

Samsung також називає зниження енергоспоживання архітектурною перевагою, оскільки менше даних переміщується між пам’яттю та SoC. Однак доступні матеріали не містять незалежно підтвердженого показника ватів на один запуск або джоулів на токен. Тому енергоефективність слід сприймати як очікувану перевагу для відповідних навантажень, а не як опублікований відсоток економії.

LPDDR5X-PIM проти HBM

HBM залишається кращим варіантом, коли прискорювачу потрібна максимальна зовнішня пропускна здатність — особливо у великомасштабному навчанні та високопродуктивних серверних системах. Її переваги забезпечуються стекуванням DRAM, наскрізними кремнієвими переходами, складним пакуванням і значними вимогами до площі та охолодження. На Hot Chips компанія Micron заявила, що площа пластини для HBM порівняно з DDR5 збільшується; у її порівнянні пам’ять тієї самої місткості вимагала приблизно втричі більшої площі пластини.

Samsung пропонує інший компроміс: зберегти малопотужний форм-фактор LPDDR5X і додати обмежені обчислення безпосередньо біля банків пам’яті. LPDDR5X-PIM не може забезпечити універсальну пропускну здатність HBM для високопродуктивного прискорювача, але може бути привабливою там, де головною проблемою є переміщення даних під час виведення, а не максимальна швидкість операцій із плаваючою комою.

Потенційні сфери застосування:

• мобільні та клієнтські пристрої — локальний запуск ШІ за жорстких обмежень енергоспоживання й тепловиділення;
• периферійні системи — локальне виведення без окремого прискорювача на базі HBM;
• сервери — виведення та оброблення даних, де вузьким місцем є переміщення даних, а не нестача пікової обчислювальної потужності.

Найточніше описувати LPDDR5X-PIM як доповнення або економнішу альтернативу HBM для окремих навантажень, а не як універсальну заміну.

Як анонс Hot Chips вписується в дорожню карту Samsung

Samsung уже демонструвала LPDDR5X-PIM на FMS 2026. Сесія Hot Chips додала детальніший опис архітектури та обговорення продуктивності; у програмі конференції презентація Samsung була окремою доповіддю секції пам’яті, присвяченою PIM на базі LPDDR для ШІ-виведення. 9 13

Загальний напрям компанії — зробити PIM практичнішою функцією малопотужної пам’яті, а не залишати її експериментальною технологією для спеціалізованих HBM-систем. Довгострокові плани щодо LPDDR6-PIM також пов’язані з наміром стандартизувати технологію, хоча доступні дані не підтверджують наявність остаточної специфікації JEDEC або дату її затвердження.

Стартап DeepX заявив, що планує використати Samsung LPDDR5X-PIM у своєму чипі другого покоління DX-M2, а LPDDR6-PIM — у майбутній розробці DX-M3. 15

LPDDR5X-PIM і XCENA MX1: схожий підхід, різний рівень системи

Презентація Samsung відбулася в тій самій сесії Hot Chips, що й доповідь XCENA про MX1, однак ці рішення працюють на різних рівнях.

XCENA MX1 — це обчислювальний пристрій пам’яті CXL Type 3 для інфраструктури масштабу серверної стійки. Він поєднує до 2 ТБ DDR5, місткість із підтримкою SSD і понад 1000 ядер RISC-V для оброблення даних поблизу пам’яті. 4 10

LPDDR5X-PIM, навпаки, інтегрує набір спеціалізованих обчислювальних блоків безпосередньо в малопотужну DRAM. Обидві технології зменшують переміщення даних між процесором і пам’яттю, але MX1 є підключеним через CXL серверним пристроєм, тоді як рішення Samsung — це малопотужний корпус пам’яті для SoC та інших систем із LPDDR.

Висновок

Розкриття на Hot Chips 2026 показує LPDDR5X-PIM як цільове рішення для подолання бар’єра пам’яті під час ШІ-виведення. Шістнадцять PIM-блоків, паралельна робота на рівні банків, дерева MAC і змішані FP/INT-ALU дають змогу виконувати окремі операції ближче до даних, зберігаючи LPDDR5X-сумісний форм-фактор і швидкість 9600 Мбіт/с на контакт. 9

Заявлені результати для Llama 3.1 8B виглядають перспективно, але їх слід розглядати як специфічні для навантаження корпоративні бенчмарки. Стратегічне значення технології в іншому: Samsung намагається поширити PIM із нішевих HBM-експериментів на малопотужну пам’ять, придатну для мобільних, периферійних, клієнтських і окремих серверних систем, залишаючи HBM для завдань, яким справді потрібна значно вища універсальна пропускна здатність.