Huawei OceanStor M900 mira o gargalo de contexto da IA com KV Cache compartilhado de até 64 PB

A Huawei apresentou o OceanStor M900 Context Memory Storage como uma infraestrutura de armazenamento voltada à inferência de IA em data centers de hiperescala. A proposta não é substituir a HBM ou a DRAM dos aceleradores, mas acrescentar uma camada compartilhada e escalável de memória de contexto para SuperPoDs — grandes agrupamentos de computação para IA —, nos quais a KV Cache pode se tornar um gargalo relevante em prompts muito extensos e tarefas de agentes com várias etapas. 223

O problema: a KV Cache vai além da HBM e da DRAM

Na inferência de modelos de linguagem, a KV Cache guarda estados intermediários dos tokens que já foram processados. Reaproveitar esses dados é especialmente útil quando um contexto igual ou relacionado volta a aparecer em novos turnos de uma conversa ou em fluxos executados por agentes de IA.

A Huawei posiciona o M900 como resposta aos limites de capacidade da memória no chip e da DRAM em cenários de contexto extremamente longo e inferência multietapa. Por meio do UnifiedBus, que a empresa também chama de Lingqu, o sistema cria uma KV Cache global, em múltiplas camadas e com conexões de um salto, expandindo essa camada da memória do acelerador e da DRAM para SSDs. 226

Na prática, a ideia é manter uma parcela muito maior do contexto disponível para armazenamento, compartilhamento e reutilização, sem exigir que tudo permaneça nos níveis mais caros de memória.

Até 64 PB de KV Cache por cluster

Segundo a Huawei, um cluster M900 pode fornecer até 64 PB de KV Cache. A empresa também afirma que a KV Cache utilizável por NPU — unidade de processamento neural — pode sair da escala de gigabytes para a de terabytes, buscando elevar as taxas de acerto do cache em solicitações com contexto longo. 226

Trata-se de uma arquitetura de memória compartilhada no nível do SuperPoD, e não de um aumento da HBM local de cada chip. Portanto, o ganho prático dependerá de como o software distribui, recupera e reutiliza a KV Cache, além do perfil real de requisições de cada implantação.

Arquitetura une controladores e busca acesso direto a SSD

De acordo com a Huawei, o M900 integra CPU, controlador de rede e controlador NAND em uma única arquitetura. A companhia diz que o desenho oferece semântica KV nativa e permite acesso de um salto entre NPU e SSD, evitando conversão de protocolo e encaminhamento pela CPU. 2026

As metas divulgadas pela fabricante são:

• cerca de 60 microssegundos de latência de acesso;
• até 40 TB/s de largura de banda agregada por cluster;
• largura de banda 1,5 vez maior que a de soluções de referência do mercado, segundo a Huawei. 26

Esses números devem ser tratados como alegações do fornecedor. O anúncio não detalha modelo utilizado, nível de concorrência, taxas de acerto de cache, configuração do cluster ou metodologia da comparação. Testes independentes em cargas representativas de produção serão necessários para avaliar o desempenho de forma mais conclusiva.

Throughput de tokens e durabilidade dos SSDs: o que a Huawei afirma

Em um cenário típico de inferência para programação com IA, a Huawei afirma obter o dobro do throughput de tokens e cortar pela metade o tempo até o primeiro token (TTFT). 14 Sem informações publicadas sobre a linha de base e a carga de trabalho, os dados não permitem estender a conclusão a todos os modelos ou stacks de inferência.

A empresa também descreve um esquema de armazenamento adaptativo orientado por KV. A lógica de posicionamento dos dados considera o valor e o tempo de vida do cache para selecionar o meio de armazenamento mais adequado. A Huawei declara suporte de até 24 DWPD — gravações por dia equivalentes à capacidade do disco — e uma melhora de cerca de 16 vezes na vida útil de leitura e gravação dos SSDs com mídia híbrida e um algoritmo de retenção otimizado. 1618

Também nesse caso, a durabilidade precisará ser confirmada sob ritmos reais de gravação e políticas efetivas de gerenciamento de cache.

Onde o M900 se encaixa na estratégia de SuperPoDs

O lançamento do M900 é mais uma declaração de arquitetura do que um anúncio isolado de armazenamento. A Huawei apresenta o UnifiedBus como uma interconexão para conectar clusters e SuperPoDs voltados à IA agentiva; o M900 funciona como a camada de armazenamento e contexto dessa pilha. 23

Nesse arranjo:

• os aceleradores Ascend fornecem a capacidade de computação;
• o UnifiedBus/Lingqu faz a interconexão e o compartilhamento de recursos;
• o OceanStor M900 acrescenta KV Cache persistente e compartilhada em escala de petabytes.

Assim, o M900 não aumenta por si só o poder de processamento do modelo e não substitui aceleradores nem interconexões de alta velocidade. Sua promessa é reduzir a pressão sobre a memória quando janelas de contexto extensas e passos repetidos de agentes tornam a KV Cache um recurso tão importante quanto a capacidade de computação. 223