RespostasPublicado18 fontes
Huawei relata ganho de 7,3 vezes em inferência de IA ao descarregar KV Cache
Na Advanced Storage Conference, em outubro de 2026, a Huawei relatou throughput de inferência 7,3 vezes maior em um teste de laboratório com o GLM 5.2, além de um ganho adicional de 20% com I/O coordenado entre armaze... O KV Cache guarda dados Key e Value já calculados para que o modelo possa reutilizá los.
Publicado porEditado com GPT-6 LunaImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- Na Advanced Storage Conference, em outubro de 2026, a Huawei relatou throughput de inferência 7,3 vezes maior em um teste de laboratório com o GLM 5.2, além de um ganho adicional de 20% com I/O coordenado entre armaze...
- O KV Cache guarda dados Key e Value já calculados para que o modelo possa reutilizá los.
- A empresa apresentou uma abordagem que combina acesso direto do acelerador ao cache com coordenação entre armazenamento e rede.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Em 22 de outubro de 2026, durante a Advanced Storage Conference, em Xangai, a Huawei apresentou a coordenação entre armazenamento e rede como uma forma de aliviar gargalos do KV Cache na inferência de IA. Em um cenário de laboratório com o modelo GLM-5.2, a empresa relatou throughput 7,3 vezes maior após descarregar o KV Cache. Com o agendamento coordenado de I/O entre armazenamento e rede, disse ter obtido mais 20% de ganho de eficiência. A Huawei não divulgou a configuração completa do teste, então os números não podem ser avaliados de forma independente com todas as informações necessárias.5
8
Por que o KV Cache vira um desafio de infraestrutura
Durante a inferência, o modelo gera dados chamados Key e Value ao processar tokens. O KV Cache conserva esses dados já calculados para que etapas seguintes possam reutilizá-los, em vez de repetir o mesmo processamento.47
48
Quanto maior o contexto, maior tende a ser o cache associado a cada solicitação. Em conversas com várias interações, também pode ser necessário preservar ou reutilizar estados anteriores. Quando solicitações e dados em cache se distribuem por um cluster, transferir essas informações entre processamento, armazenamento e rede pode aumentar o tráfego e pressionar a memória disponível. A cobertura do evento descreveu a soma do cache por solicitação, do cache mantido no sistema e do tráfego entre nós como um fator que pode levar o KV Cache de um cluster à escala de petabytes, segundo a Huawei.5
A empresa resumiu os entraves em três “paredes”: capacidade limitada de I/O no lado do processamento, latência durante a movimentação dos dados entre camadas e IOPS insuficientes para atender com eficiência a muitas operações de cache.5
Uma proposta que envolve processamento, armazenamento e rede
A abordagem relatada pela Huawei abrange aceleradores, armazenamento e rede, em vez de tratar o KV Cache apenas como uma questão de capacidade de memória. A apresentação descreveu um caminho no lado do processamento em que os próprios processadores iniciam operações de I/O do cache, partindo do acesso por AI CPU e núcleo vetorial e avançando em direção a operações SIMT mais granulares. O desenho também inclui coordenação com os componentes de armazenamento e rede.5
Os ganhos divulgados foram associados a duas etapas: primeiro, a descarga direta do KV Cache; depois, o agendamento coordenado de I/O entre armazenamento e rede. Os relatos disponíveis sobre o evento não trazem detalhes suficientes para confirmar cada elemento da implementação nem para atribuir os resultados a uma configuração específica de agendamento do Hyper-Converged Fabric (HCF). Por isso, os números devem ser entendidos como resultados relatados pela Huawei para o cenário de laboratório descrito, e não como uma especificação pública completa da arquitetura.5
7
O que foi divulgado — e o que ainda não se sabe
No teste de laboratório com o GLM-5.2, a Huawei afirmou que a descarga direta do KV Cache entregou throughput de inferência 7,3 vezes maior do que uma abordagem convencional baseada em memória. Com a inclusão do agendamento coordenado de I/O entre armazenamento e rede, a empresa relatou mais 20% de ganho em eficiência de inferência.5
É importante ler esses números com cautela. A Huawei não publicou a configuração completa do teste, o que limita a avaliação externa da carga de trabalho, da linha de base usada e da contribuição de cada componente. A cobertura disponível do evento não comprova uma alegação separada de aumento superior a 30% no desempenho de I/O do armazenamento; por isso, esse número não pode ser tratado aqui como verificado.5
7
A apresentação de outubro no contexto da estratégia de armazenamento da Huawei
A apresentação de outubro ocorreu após a Huawei anunciar, em setembro, uma versão atualizada do Stellar AI Fabric na HUAWEI CONNECT. A cobertura da conferência de outubro descreve a ocasião como a divulgação de medições de descarga do KV Cache. Já os materiais de setembro também apresentaram o OceanStor M900 Context Memory Storage, projetado para ampliar o KV Cache para além da memória interna dos chips e da DRAM, usando um conjunto compartilhado e em camadas para inferência de IA.10
15
16
A distinção é relevante: os números de outubro acrescentam uma alegação de desempenho à direção de armazenamento e rede que a Huawei já vinha apresentando. Mas as fontes disponíveis não demonstram que todos os detalhes técnicos discutidos em outubro eram idênticos ao desenho de setembro, nem registram um lançamento de novo produto na conferência de outubro.5
10
16
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Huawei relata ganho de 7,3 vezes em inferência de IA ao descarregar KV Cache"?
Na Advanced Storage Conference, em outubro de 2026, a Huawei relatou throughput de inferência 7,3 vezes maior em um teste de laboratório com o GLM 5.2, além de um ganho adicional de 20% com I/O coordenado entre armaze...
Quais são os pontos-chave para validar primeiro?
Na Advanced Storage Conference, em outubro de 2026, a Huawei relatou throughput de inferência 7,3 vezes maior em um teste de laboratório com o GLM 5.2, além de um ganho adicional de 20% com I/O coordenado entre armaze... O KV Cache guarda dados Key e Value já calculados para que o modelo possa reutilizá los.
O que devo fazer a seguir na prática?
A empresa apresentou uma abordagem que combina acesso direto do acelerador ao cache com coordenação entre armazenamento e rede.