OceanStor M900: навіщо ШІ-кластерам спільний KV-кеш

Huawei представила OceanStor M900 на HUAWEI CONNECT 2026 як систему зберігання контексту для генерації відповідей ШІ в комплексах прискорювачів SuperPoD. Її завдання — дати прискорювачам спільний доступ до більшого обсягу вже обчисленого контексту, коли запити, розмови й робочі процеси ШІ-агентів стають довшими. 19

Що саме зберігає KV-кеш

Під час обробки запиту модель створює KV-кеш — проміжні дані, які можна повторно використати, якщо наступний запит має відповідний уже оброблений початок. Тоді системі не потрібно знову виконувати частину обчислень. Що довший контекст і що більше повторних звернень агента, то кориснішим може бути такий кеш. Водночас його складніше повністю вмістити в пам’яті поблизу кожного нейронного процесора, або NPU. Саме цю межу Huawei пропонує посунути за допомогою M900. 136

Як працює спільне сховище

Мережа UnifiedBus об’єднує KV-кеш на кількох рівнях: у пам’яті чипів, оперативній пам’яті DRAM і на твердотільних накопичувачах SSD. За даними Huawei, один кластер може вміщувати 64 ПБ KV-кешу, а доступний одному NPU обсяг зростає з гігабайтного до терабайтного рівня. 64 ПБ — це спільна місткість кластера, а не обсяг пам’яті всередині одного NPU. Більший кеш дає змогу зберігати більше контексту для повторного використання, але практичний виграш залежить від того, наскільки часто запити справді збігаються з кешованими даними. 3617

Щоб рівень SSD був придатним для швидкого доступу, Huawei описує шлях від NPU до накопичувача «за один перехід». Архітектура поєднує функції CPU, мережевого контролера й контролера NAND, прибираючи частину звичних кроків перетворення протоколів і пересилання даних через CPU. Компанія заявляє про затримку доступу близько 60 мкс і 40 ТБ/с сукупної пропускної здатності кластера. Це показники заявленої архітектури й системи загалом, а не обіцянка такої швидкості для кожного звернення до кешу. 362832

Який ефект обіцяють — і чого ще не доведено

Коли запит може скористатися вже обчисленим контекстом, перший згенерований токен потенційно з’являється швидше, а зменшення повторних обчислень може вивільнити ресурси для обробки більшої кількості токенів. Huawei стверджує, що в типовому сценарії роботи з ШІ-кодингом архітектура подвоїла продуктивність кластера за кількістю токенів і скоротила час до першого токена вдвічі. Ці результати для окремого сценарію не слід поширювати на всі навантаження. 2833

Система також має враховувати особливості KV-кешу, визначаючи, як довго тримати дані на різних носіях. Huawei вказує на витривалість SSD до 24 повних перезаписів накопичувача на добу, збільшення строку служби у 16 разів і ціль стабільної роботи протягом трьох років. Очікуваний економічний ефект — менше повторних обчислень і замін накопичувачів, а отже, нижча вартість генерації токена. Проте наведені джерела не підтверджують ці показники швидкодії, довговічності чи вартості незалежними вимірюваннями в робочих SuperPoD. 6833