AnswersPublished15 sources
OceanStor M900: відповідь Huawei на брак пам’яті для довгого контексту ШІ
Huawei заявляє, що OceanStor M900 розширює KV кеш SuperPoD за допомогою спільного рівня на SSD місткістю до 64 ПБ на кластер. Терабайти кешу, доступні кожному NPU, означають доступ до спільного багаторівневого сховища, а не збільшення пам’яті безпосередньо на чипі.
ОпублікувавВідредаговано за допомогою GPT-6 SolЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Huawei заявляє, що OceanStor M900 розширює KV кеш SuperPoD за допомогою спільного рівня на SSD місткістю до 64 ПБ на кластер.
- Терабайти кешу, доступні кожному NPU, означають доступ до спільного багаторівневого сховища, а не збільшення пам’яті безпосередньо на чипі.
- Заявлені виграші в затримці, швидкості інференсу та ресурсі SSD поки спираються на дані Huawei, а не на незалежні випробування.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Huawei’s OceanStor M900 AI memory storage address the KV Cache memory wall in hyperscale, long-context and agentic inference SuperP. Article summary: Huawei positions OceanStor M900 as a shared, SSD-backed **KV-cache tier** for SuperPoD inference, not as a replacement for the NPU’s fast memory. Its aim is to keep and reuse more context across long-running and agentic . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Коли ШІ-система працює з довгим контекстом або послідовно виконує завдання як агент, їй потрібно зберігати й повторно використовувати дедалі більше KV-кешу — проміжних даних, що утворюються під час генерації відповіді. Швидкої пам’яті поблизу процесорів для всього цього може не вистачити. OceanStor M900 від Huawei додає нижчий, спільний для обчислювального комплексу SuperPoD рівень кешу на SSD. Йдеться про розширення доступної місткості, а не про заміну найшвидшої пам’яті NPU — нейронних процесорів, які виконують обчислення ШІ. 8
10
12
Звідки беруться «терабайти на NPU»
За описом Huawei, мережа взаємозв’язку Lingqu, також названа UnifiedBus, дає змогу об’єднувати KV-кеш у межах SuperPoD і розміщувати його на різних рівнях: у пам’яті чипа, оперативній пам’яті DRAM та на SSD. Компанія заявляє до 64 ПБ місткості на кластер і стверджує, що обсяг KV-кешу, доступний одному NPU, зростає з гігабайтів до терабайтів. Це не означає, що кожен процесор отримує терабайти нової пам’яті на чипі: він звертається до спільного багаторівневого сховища. 8
10
Тому M900 — не новий обчислювальний чип і не заміна Lingqu. Це сховище контексту для інференсу, тобто етапу, коли навчена модель генерує відповідь. Huawei орієнтує його на агентні сценарії та довгий контекст; галузеве видання Blocks & Files згадує Atlas 960 SuperPoD як цільове середовище. 12
6
Що Huawei обіцяє щодо швидкості
Huawei пояснює прямий доступ від NPU до SSD за один перехід архітектурою, що об’єднує функції CPU, мережевого контролера й контролера NAND. За твердженням компанії, відсутність пересилання через CPU та перетворення протоколів скорочує затримку доступу на 90% — до 60 мікросекунд. Вона також заявляє 40 ТБ/с сукупної пропускної здатності кластера, або в 1,5 раза більше за наведений нею варіант порівняння. Це показник для всього кластера, а не гарантована швидкість для кожного NPU. 8
Для «типового» сценарію програмування за допомогою ШІ Huawei повідомляє про подвоєння швидкості генерації токенів кластером і скорочення часу до першого токена вдвічі. Переносити ці результати на будь-який запит із довгим контекстом не варто. 8
14
Ресурс SSD і межа доведеного
Технологія KV-Aware, за словами Huawei, прогнозує, як довго знадобляться дані кешу, і відповідно керує їхнім розміщенням. Компанія заявляє підтримку до 24 повних перезаписів накопичувача на добу, збільшення строку служби SSD у 16 разів і три роки стабільної роботи. Менше замін і обслуговування може знизити витрати, але наведені матеріали не підтверджують виміряної економії на одному токені. 8
Головне розрізнення — більше кешу в межах досяжності NPU не тотожне доведеному прискоренню та здешевленню інференсу. Незалежні тести мають показати корисну місткість і частку повторних звернень до кешу на реальних навантаженнях, затримку й сталу пропускну здатність за одночасної роботи багатьох процесорів, а також знос SSD і сукупні витрати з часом. Доступні сторонні публікації переказують показники Huawei, а не підтверджують їх власними вимірюваннями. 6
14
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OceanStor M900: відповідь Huawei на брак пам’яті для довгого контексту ШІ"?
Huawei заявляє, що OceanStor M900 розширює KV кеш SuperPoD за допомогою спільного рівня на SSD місткістю до 64 ПБ на кластер.
What are the key points to validate first?
Huawei заявляє, що OceanStor M900 розширює KV кеш SuperPoD за допомогою спільного рівня на SSD місткістю до 64 ПБ на кластер. Терабайти кешу, доступні кожному NPU, означають доступ до спільного багаторівневого сховища, а не збільшення пам’яті безпосередньо на чипі.
What should I do next in practice?
Заявлені виграші в затримці, швидкості інференсу та ресурсі SSD поки спираються на дані Huawei, а не на незалежні випробування.