OceanStor M900: зачем ИИ-кластеру общий KV-кеш

Huawei представила OceanStor M900 на конференции HUAWEI CONNECT 2026 как систему хранения контекста для инференса — работы уже обученной ИИ-модели — в вычислительных комплексах SuperPoD. Её задача — сохранять больше результатов предыдущих вычислений, чтобы ускорители могли повторно использовать их при обработке длинных запросов, продолжении диалогов и работе ИИ-агентов. 19

Что хранится в KV-кеше

Когда модель обрабатывает запрос, она формирует KV-кеш — данные, которые позволяют не вычислять заново уже обработанную часть контекста. Если следующий запрос использует подходящий сохранённый фрагмент, система может приступить к продолжению ответа быстрее. Но чем длиннее контекст и чем больше взаимодействий с агентом, тем труднее удерживать весь полезный кеш в памяти рядом с нейропроцессором (NPU). 136

Как M900 расширяет кеш

Через сеть UnifiedBus система объединяет несколько уровней хранения: память на чипе, оперативную память DRAM и SSD. По данным Huawei, один кластер вмещает до 64 ПБ KV-кеша, а доступный отдельному NPU объём увеличивается с гигабайтного до терабайтного уровня. Речь об общей ёмкости кластера, а не о 64 ПБ памяти внутри каждого ускорителя. Дополнительное пространство полезно лишь тогда, когда нагрузка действительно позволяет повторно использовать сохранённый контекст. 3617

Чтобы доступ к SSD не свёл на нет выигрыш от кеширования, Huawei описывает путь от NPU до накопителя через одно сетевое соединение. Архитектура объединяет функции процессора, сетевого контроллера и контроллера NAND-памяти, сокращая число этапов преобразования протоколов и передачи данных через CPU. Компания заявляет задержку доступа около 60 мкс и совокупную пропускную способность 40 ТБ/с на кластер. Это характеристики, приводимые для архитектуры и системы в целом, а не обещание для каждого обращения к кешу. 362832

Что известно об эффекте и стоимости

По утверждению Huawei, в типичном сценарии работы ИИ с программным кодом архитектура удвоила число генерируемых кластером токенов за единицу времени и вдвое сократила ожидание первого токена. Такой результат зависит от нагрузки и доли запросов, которым подходит сохранённый кеш; переносить его на любые задачи нельзя. 2833

Система также учитывает назначение KV-данных при выборе уровня хранения и срока их удержания. Huawei указывает для SSD выносливость до 24 полных перезаписей накопителя в сутки, увеличение срока службы в 16 раз и целевой срок стабильной работы три года. Предполагаемая экономия складывается из меньшего числа повторных вычислений и замен накопителей. Однако представленные материалы не подтверждают независимыми испытаниями показатели производительности, срока службы или стоимости генерации токена в работающих SuperPoD. 6833