OceanStor M900: como funciona o cache KV compartilhado de 64 PB da Huawei

Apresentado na HUAWEI CONNECT 2026, o OceanStor M900 é um sistema de armazenamento voltado a guardar e compartilhar o contexto reutilizável durante a inferência de IA — a etapa em que um modelo gera respostas. Ele foi projetado para os SuperPoDs, conjuntos de aceleradores de IA da Huawei, em situações com conversas longas e interações repetidas com agentes. 19

Por que compartilhar o cache KV?

Enquanto processa uma solicitação, o modelo produz dados intermediários chamados cache de chave e valor, ou cache KV. Se outra solicitação puder aproveitar um trecho já processado, reutilizar esses dados evita refazer parte do cálculo. O problema é manter esse cache disponível quando o contexto cresce e a memória próxima de cada NPU — a unidade de processamento neural — fica limitada. O M900 busca ampliar e compartilhar esse espaço entre aceleradores de um SuperPoD. O benefício, porém, depende de haver trechos que possam de fato ser reutilizados. 136

O que significam os 64 PB

Pela rede UnifiedBus, o projeto reúne cache KV distribuído entre memória no chip, DRAM e SSDs. A Huawei afirma que um cluster pode oferecer 64 PB de capacidade de cache KV, elevando de gigabytes para terabytes o volume compartilhado acessível a uma NPU. Os 64 PB são capacidade do cluster, não memória instalada dentro de cada NPU. Manter mais contexto disponível pode aumentar as oportunidades de reutilização, sem garantir que toda carga de trabalho terá mais acertos no cache. 3617

Para tornar a camada de SSDs útil à inferência, a Huawei descreve um caminho de um salto entre a NPU e os SSDs. A arquitetura integra funções de CPU, controlador de rede e controlador NAND para dispensar algumas etapas convencionais de conversão de protocolo e encaminhamento pela CPU. A fabricante informa latência de acesso de aproximadamente 60 microssegundos e 40 TB/s de largura de banda agregada por cluster. São números declarados para a arquitetura e o sistema, não uma promessa de velocidade para cada consulta ao cache. 362832

Velocidade, durabilidade e o que ainda falta comprovar

Quando uma solicitação reaproveita cálculos, o primeiro token da resposta pode chegar mais cedo; evitar processamento repetido também pode liberar capacidade para gerar mais tokens. Em um cenário típico de programação com IA, a Huawei afirma que a arquitetura dobrou a vazão de tokens do cluster de inferência e reduziu pela metade o tempo até o primeiro token. Esses resultados são específicos do cenário divulgado, não ganhos universais. 2833

O M900 também usa posicionamento de dados sensível ao cache KV para administrar por quanto tempo os dados permanecem em cada meio de armazenamento. A Huawei cita resistência dos SSDs de até 24 gravações completas por dia, aumento de 16 vezes na vida útil e uma meta de estabilidade de três anos. A proposta econômica é reduzir tanto o cálculo repetido quanto a troca de unidades, diminuindo o custo por token. As evidências fornecidas, porém, não verificam de forma independente esses resultados de desempenho, durabilidade ou custo em SuperPoDs em produção. 6833