Samsung представила zHBM — концепцию памяти для ИИ-ускорителей, в которой HBM (High Bandwidth Memory, память с высокой пропускной способностью) располагается не рядом с процессором, а непосредственно над ним в едином вертикальном 3D-корпусе. На саммите AI Infrastructure Summit 16 сентября в Санта-Кларе компания связала эту идею с развитием агентных ИИ-систем, которым важна не только вычислительная мощность, но и скорость постоянного обмена данными между ускорителем и памятью.
1
9
Чем zHBM отличается от нынешней HBM
В современных 2,5D-корпусах HBM обычно находится на одной плоскости с GPU или другим ИИ-ускорителем и соединяется с ним средствами продвинутой корпусировки. В архитектуре zHBM стек памяти размещается над ускорителем. Иными словами, Samsung предлагает перейти от бокового размещения компонентов к вертикальной интеграции логики и памяти.
12
13
Замысел понятен: чем короче путь, который проходят данные, тем выше потенциальная пропускная способность и ниже затраты энергии на передачу. Вертикальная компоновка также может позволить разместить больше памяти на той же площади. Для такого соединения Samsung рассчитывает использовать технологии нового поколения по склеиванию пластин, включая гибридное медное соединение.
7
48
Важно, что zHBM пока не является готовой заменой всей существующей HBM. Samsung показала её как концепт и не назвала сроков коммерческого выпуска.
13
14
Какие показатели обещает Samsung
Для будущей интерфейсной системы с zHBM Samsung называет весьма амбициозные ориентиры:
- примерно в 8 раз выше производительность, чем у HBM5;
- более чем в 10 раз выше плотность памяти, чем у традиционной HBM5;
- около трёхкратного роста энергоэффективности;
- более чем на 50% меньшее тепловое сопротивление.
13
48
На AI Infrastructure Summit компания также заявила, что zHBM потенциально способна повысить скорость отклика ИИ-систем более чем в десять раз. Целевой ориентир Samsung — 1 000 токенов в секунду.
1
9
Это не независимые результаты измерений серийного ускорителя, а целевые показатели компании для будущей архитектуры. На практике придётся решить сложные вопросы серийного производства: обеспечить приемлемый выход годных кристаллов, отвод тепла, надёжность конструкции и её совместимость с платформами заказчиков.
Почему это важно для ИИ-агентов
ИИ-агент не только один раз генерирует ответ. Он многократно обращается к контексту, выполняет вывод, вызывает инструменты и формирует новые результаты. Поэтому дополнительная вычислительная мощность не всегда устраняет задержки: ускоритель может простаивать в ожидании данных.
zHBM нацелена именно на это ограничение — передачу данных между памятью и вычислительным блоком. По логике Samsung, физическое сближение HBM и ускорителя должно сделать систему отзывчивее и снизить энергозатраты на перенос данных.
1
7
Но итоговая скорость работы ИИ зависит не только от расположения памяти. На неё влияют сам ускоритель, модель, программное обеспечение, упаковка чипов и конкретный сценарий нагрузки.
zNAND-O: более ёмкий соседний уровень памяти
Одновременно с zHBM Samsung представила zNAND-O — высокопроизводительную NAND-архитектуру для ресурсоёмких задач и периферийного ИИ. Она задумана как промежуточный уровень между DRAM и обычным NAND-хранилищем: плотнее DRAM, но с более высокой производительностью ввода-вывода, меньшими задержками и лучшей энергоэффективностью, чем у традиционной NAND-памяти.
49
51
Эти технологии решают разные задачи в иерархии памяти:
- zHBM предназначена для самого быстрого уровня, расположенного вплотную к ИИ-ускорителю;
- zNAND-O должна дать более ёмкий слой для данных и моделей, которые слишком дорого полностью держать в DRAM.
49
53
Samsung сообщила о тесте с GPT-моделью на 120 млрд параметров: zNAND-O достигла той же скорости обработки токенов, что и сервер на обычной DRAM, при одной шестой эксплуатационных затрат. Это результат, заявленный самой компанией в конкретном тесте, а не универсальная гарантия экономии для любых крупных моделей.
54
55
Компания также связывает zNAND-O с перспективой сверхкрупных локальных моделей: по её оценке, к 2030 году могут стать актуальными ИИ-модели на устройствах с масштабом более 1 трлн параметров.
53
Почему CXL не отменяет роль HBM
На том же саммите обсуждался Compute Express Link (CXL) — стандарт высокоскоростного соединения, который может расширять и объединять память в системах. Однако большая ёмкость ещё не делает все виды памяти взаимозаменяемыми.
Исследователь ускорителей OpenAI Дэниел Моррис заявил, что не нашёл сценария, в котором CXL подходит для непосредственного запуска ИИ-моделей. При этом он допустил его пользу для редко используемых данных в больших моделях. Руководитель архитектуры ИИ-систем-на-кристалле Intel Видиа Тиагараджан также назвала объединение памяти через CXL дополнением к вторичному хранилищу, а не заменой HBM, указав на разрыв в пропускной способности.
18
22
Это не означает, что CXL бесполезен. Скорее, будущая инфраструктура будет многоуровневой: HBM рядом с ускорителем — для чувствительных к пропускной способности активных вычислений, а CXL и другие уровни памяти или хранилища — прежде всего для наращивания ёмкости.
Что это значит для Samsung и SK hynix
В ближайшей перспективе конкуренцию в HBM определяет не только смелость архитектурной идеи, но и способность наладить производство, пройти квалификацию у заказчиков и поставить память для конкретных платформ ускорителей. zHBM даёт Samsung заметный долгосрочный проект, но не снимает вопросы о выходе годных изделий, тепловом режиме, надёжности и интеграции у партнёров.
Скепсис вокруг CXL как замены локальной HBM поддерживает стратегическую ценность памяти, находящейся максимально близко к ускорителю. Для рынка это означает, что состязание Samsung и SK hynix будет идти не только вокруг следующих поколений памяти, но и вокруг скорости превращения сложных схем корпусировки в квалифицированные массовые продукты.
18
33
36
Главное
Посыл Samsung заключается в том, что производительность ИИ всё сильнее ограничивают не одни вычисления, а движение данных, объём памяти, энергопотребление и тепло. zHBM предлагает бороться с этими ограничениями, устанавливая HBM прямо над ИИ-ускорителем, а zNAND-O должна добавить более ёмкий уровень для крупных моделей и массивов данных.
Потенциальные выгоды выглядят значительными, однако пока это технология на стадии концепта. Для разработчиков ИИ-инфраструктуры главный вывод не в ожидании скорого готового продукта, а в направлении развития отрасли: память в ИИ-системах будет всё более специализированной и вертикально интегрированной, а HBM сохранит ключевое место в самом быстром вычислительном контуре.
13
14
18