RespostasPublicado18 fontes
Como a Cambricon habilitou o DeepSeek-V4.1-Flash no vLLM já no Dia 0
A Cambricon afirma ter tornado o DeepSeek V4.1 Flash executável em seus aceleradores MLU pelo vLLM no próprio dia de lançamento, combinando NeuWare, Torch MLU Ops e kernels BangC. O modelo multimodal MoE tem 552 bilhões de parâmetros de backbone, ativa cerca de 8 bilhões no processamento do prompt e 16 bilhões na ge...
Publicado porEditado com GPT-5.6 TerraImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- A Cambricon afirma ter tornado o DeepSeek V4.1 Flash executável em seus aceleradores MLU pelo vLLM no próprio dia de lançamento, combinando NeuWare, Torch MLU Ops e kernels BangC.
- O modelo multimodal MoE tem 552 bilhões de parâmetros de backbone, ativa cerca de 8 bilhões no processamento do prompt e 16 bilhões na geração, e suporta contexto de até 1 milhão de tokens.
- Segundo a DeepSeek, o cache KV global cai para 890 bytes por token — cerca de um quarto do V4 Flash —, mas esses números são de projeto do modelo, não benchmarks independentes de clusters Cambricon.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
A alegação de suporte no Dia 0 da Cambricon deve ser entendida, прежде de tudo, como um marco de integração de software. A empresa afirma que o DeepSeek-V4.1-Flash passou a rodar em seus aceleradores MLU pelo stack aberto de inferência vLLM no mesmo dia em que o checkpoint do modelo foi publicado, com o runtime NeuWare, o suporte de operadores Torch-MLU-Ops e kernels BangC otimizados. 13
Na prática, disponibilizar os pesos de um modelo não basta para colocá-lo em operação. É preciso ter runtime para o acelerador, operadores compatíveis no framework, execução distribuída e kernels eficientes para as partes mais exigentes da arquitetura.
A integração em três camadas
A rota descrita pela Cambricon reúne três componentes:
- NeuWare é o runtime de software dos aceleradores MLU da companhia;
- Torch-MLU-Ops oferece suporte a operadores adaptados aos MLUs, incluindo estruturas Engram e Compressor presentes no modelo, segundo reportagens sobre a implementação;
9
- BangC é a linguagem de programação paralela heterogênea da Cambricon, usada para escrever programas de alto desempenho voltados à arquitetura MLU e otimizar operações críticas.
18
Essa combinação permite usar um backend específico de acelerador sem transformar a implantação via vLLM em uma aplicação fechada e exclusiva de fornecedor. A Cambricon também diz que seu trabalho com vLLM inclui inferência mista de baixa precisão, otimização de paralelismo, paralelismo de especialistas em larga escala e separação entre prefill e decode. 18
Por que o DeepSeek-V4.1-Flash é um alvo complexo
O DeepSeek-V4.1-Flash é um modelo multimodal de mixture of experts (MoE): aceita texto e imagens, tem 552 bilhões de parâmetros de backbone, outros 196 bilhões associados à memória Engram e suporta contextos de até 1 milhão de tokens. 5
8
O número decisivo para operação não é apenas o total de parâmetros, mas quantos são ativados a cada etapa. A DeepSeek informa cerca de 8 bilhões de parâmetros ativos por token do prompt, na fase de prefill, e 16 bilhões por token gerado, na fase de decode. 8
Essa assimetria pode reduzir o trabalho computacional em cargas com prompts longos, embora o custo real de servir o modelo continue dependendo de fatores como precisão numérica, tamanho de lote, comunicação entre aceleradores, capacidade de memória e perfil da carga.
Arquitetura Causal Encoder–Decoder
O modelo usa uma arquitetura Causal Encoder–Decoder (CED) de 40 camadas: 20 no encoder causal e 20 no decoder. Em vez de cada camada do decoder produzir de forma independente seu estado global de chaves e valores, ou cache KV, o decoder o projeta a partir dos estados ocultos finais do encoder. 5
8
Isso é importante porque, em inferência de contexto longo, o cache KV — o estado mantido para que o modelo consulte tokens anteriores enquanto gera novos tokens — costuma ser um dos principais limites de memória.
Cache KV: 890 bytes por token, segundo a DeepSeek
A DeepSeek afirma que a reutilização de cache KV entre camadas, na arquitetura Compressed Sparse Attention 2, somada ao cache KV em FP4, reduz o cache KV global residente em memória de alta largura de banda (HBM) para 890 bytes por token. Isso equivale a aproximadamente um quarto do consumo correspondente no DeepSeek-V4-Flash. 7
8
O material técnico também diz que a técnica SWA Bounded Replay reduz o cache KV persistente, armazenado em SSD ou memória do host, para cerca de um oitavo do exigido pelo V4-Flash. 7
Para operadores de clusters, a consequência potencial é clara: menos estado por solicitação pode liberar memória para mais sessões concorrentes em serviços multimodais ou de contexto longo. Mas há uma ressalva essencial: são métricas de projeto divulgadas pela DeepSeek, e não testes independentes de vazão, latência, disponibilidade, qualidade ou custo em um cluster Cambricon.
Como as otimizações de serving se complementam
Os materiais públicos da Cambricon apontam técnicas relevantes para servir grandes modelos MoE no vLLM. 18
- Inferência mista e de baixa precisão reduz o tráfego de memória e o espaço necessário para pesos e ativações;
- Otimização de paralelismo e paralelismo de especialistas em larga escala distribui o modelo e a execução dos especialistas roteados entre aceleradores;
- Sobreposição entre comunicação e computação busca manter os dispositivos ocupados enquanto dados de comunicação coletiva ou de roteamento de especialistas circulam entre os nós;
- Separação entre prefill e decode permite dimensionar e ajustar separadamente o processamento do prompt e a geração iterativa de tokens.
Essas estratégias atacam gargalos diferentes. O prefill tende a ser intensivo em processamento de prompts e largura de banda; o decode é iterativo e sensível à latência. Já o roteamento MoE exige coordenação distribuída. O objetivo é melhorar a utilização do hardware e a previsibilidade do serviço sob concorrência, não apenas elevar um número teórico de FLOPS.
Os materiais públicos disponíveis, porém, não trazem medições reproduzíveis de vazão, latência, topologia de cluster, qualidade ou disponibilidade do V4.1-Flash em hardware Cambricon. Assim, “pronto para produção” deve significar que existe uma rota de implantação utilizável e suportada — não uma garantia de desempenho para toda combinação de precisão, contexto, lote e infraestrutura.
O que sinaliza a entrada na PyTorch Foundation
Em 8 de setembro de 2026, a PyTorch Foundation anunciou a entrada da Cambricon como membro Platinum. 49 Separadamente, a organização afirmou que a empresa trabalhou com a comunidade do vLLM para viabilizar suporte no Dia 0 a modelos abertos, incluindo DeepSeek-V4 e GLM-5.
57
O principal sinal é de alinhamento ao ecossistema: suporte a aceleradores ganha utilidade quando chega por frameworks e camadas de serving amplamente usados, em vez de exigir uma pilha isolada e proprietária. A associação não garante suporte upstream a todo modelo ou recurso, mas reforça a estratégia declarada da Cambricon de compatibilidade com PyTorch e vLLM.
Quais famílias de modelos aparecem no suporte da Cambricon
Os materiais de software da companhia citam trabalhos envolvendo DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 e Hunyuan-Video. 18
Isso não prova, porém, que todas essas famílias tenham o mesmo status de inferência em vLLM, pronta para produção e disponível no Dia 0, atribuído ao DeepSeek-V4.1-Flash. A fonte reúne suporte de treinamento e otimizações gerais de software. Para cada lançamento, ainda é necessário confirmar a versão do modelo, a precisão compatível, a cobertura multimodal e a disponibilidade da inferência.
Por que a disponibilidade no lançamento importa
Para quem opera clusters, compatibilidade no dia do lançamento pode encurtar o intervalo entre a publicação de um modelo e sua avaliação controlada em infraestrutura já instalada. Uma rota pública pelo vLLM também oferece uma base mais familiar para planejamento de capacidade, observabilidade, roteamento, avaliação de quantização e testes de integração do que um fork de serving sob medida.
No caso do DeepSeek-V4.1-Flash, isso ganha peso porque a compressão de cache anunciada mira dois gargalos centrais do serving de contexto longo: a HBM para sessões ativas e a necessidade de SSD ou memória de host para reutilização de cache. 7
8
A conclusão mais cuidadosa não é que um anúncio no Dia 0 comprove desempenho universal em produção. É que suporte repetível em runtime, operadores de framework, kernels, execução distribuída e ferramentas de serving pode aproximar a habilitação do acelerador do lançamento do modelo — algo especialmente relevante à medida que modelos abertos se tornam maiores, mais esparsos e mais multimodais.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Como a Cambricon habilitou o DeepSeek-V4.1-Flash no vLLM já no Dia 0"?
A Cambricon afirma ter tornado o DeepSeek V4.1 Flash executável em seus aceleradores MLU pelo vLLM no próprio dia de lançamento, combinando NeuWare, Torch MLU Ops e kernels BangC.
Quais são os pontos-chave para validar primeiro?
A Cambricon afirma ter tornado o DeepSeek V4.1 Flash executável em seus aceleradores MLU pelo vLLM no próprio dia de lançamento, combinando NeuWare, Torch MLU Ops e kernels BangC. O modelo multimodal MoE tem 552 bilhões de parâmetros de backbone, ativa cerca de 8 bilhões no processamento do prompt e 16 bilhões na geração, e suporta contexto de até 1 milhão de tokens.
O que devo fazer a seguir na prática?
Segundo a DeepSeek, o cache KV global cai para 890 bytes por token — cerca de um quarto do V4 Flash —, mas esses números são de projeto do modelo, não benchmarks independentes de clusters Cambricon.