RespuestasPublicado18 fuentes
Cómo Cambricon habilitó DeepSeek-V4.1-Flash en vLLM el día de su lanzamiento
Cambricon afirma que habilitó DeepSeek V4.1 Flash en la pila abierta de inferencia vLLM el día de lanzamiento, mediante NeuWare, Torch MLU Ops y kernels BangC optimizados. DeepSeek V4.1 Flash es un modelo multimodal MoE con 552.000 millones de parámetros de backbone, que activa unos 8.000 millones durante el prefill...
Publicado porEditado con GPT-5.6 TerraImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- Cambricon afirma que habilitó DeepSeek V4.1 Flash en la pila abierta de inferencia vLLM el día de lanzamiento, mediante NeuWare, Torch MLU Ops y kernels BangC optimizados.
- DeepSeek V4.1 Flash es un modelo multimodal MoE con 552.000 millones de parámetros de backbone, que activa unos 8.000 millones durante el prefill y 16.000 millones durante la decodificación.
- DeepSeek reporta una caché KV global de 890 bytes por token —una cuarta parte de la de V4 Flash—, pero esas cifras de diseño no equivalen a pruebas independientes de rendimiento de un clúster Cambricon.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
La promesa de disponibilidad desde el primer día de Cambricon debe entenderse, ante todo, como un hito de integración y preparación de software. La compañía afirma que DeepSeek-V4.1-Flash pudo ejecutarse en sus aceleradores MLU mediante la pila abierta de inferencia vLLM el mismo día en que se publicó el checkpoint, con el runtime NeuWare, Torch-MLU-Ops y kernels BangC optimizados. 13
Que los pesos de un modelo estén disponibles no significa que pueda desplegarse de inmediato. Para servirlo hacen falta un runtime funcional para el acelerador, operadores compatibles con el framework, ejecución distribuida y código eficiente para los puntos de cómputo más exigentes.
Las tres capas de la integración
El camino descrito por Cambricon se apoya en tres niveles:
- NeuWare es el entorno de ejecución para los aceleradores MLU de Cambricon.
- Torch-MLU-Ops aporta operadores adaptados a MLU para componentes del modelo, incluidas las estructuras Engram y Compressor mencionadas en la información sobre la adaptación.
9
- BangC permite desarrollar kernels de alto rendimiento dirigidos a la arquitectura MLU. Cambricon define BangC como su lenguaje de programación paralela heterogénea para crear programas eficientes en estos aceleradores.
18
La combinación permite utilizar un backend específico del acelerador dentro de vLLM sin convertir el servicio en una aplicación privada y aislada. Cambricon también señala que su trabajo en vLLM incluye inferencia de baja precisión y precisión mixta, optimización del paralelismo, paralelismo de expertos a gran escala y separación entre prefill y decode. 18
Por qué DeepSeek-V4.1-Flash es un objetivo exigente
DeepSeek-V4.1-Flash es un modelo multimodal de mezcla de expertos (Mixture-of-Experts o MoE) con 552.000 millones de parámetros de backbone y otros 196.000 millones de parámetros de memoria Engram. Admite texto e imágenes y maneja contextos de hasta un millón de tokens. 5
8
La distinción operativa importante es la que existe entre parámetros totales y parámetros activos. DeepSeek indica que activa alrededor de 8.000 millones de parámetros por token de entrada durante el prefill —el procesamiento inicial del prompt— y 16.000 millones por token generado durante el decode. 8
Ese diseño asimétrico puede reducir el cómputo en cargas con prompts extensos frente a un modelo que aplica la misma capacidad activa en ambas fases. Aun así, el coste real de servirlo depende de los pesos, la precisión, el tamaño de lote, la comunicación entre dispositivos, la memoria disponible y el tipo de carga.
Arquitectura Causal Encoder–Decoder
El modelo utiliza una arquitectura Causal Encoder–Decoder (CED) de 40 capas: un codificador causal de 20 capas y un decodificador de otras 20. En lugar de generar claves y valores globales de forma independiente en cada capa del decodificador, este proyecta el estado KV global a partir de los estados ocultos finales del codificador. 5
8
Esta decisión es clave para el uso de memoria en contextos largos. Durante la inferencia, la caché KV conserva el estado necesario para que el modelo atienda a tokens anteriores mientras genera los siguientes; suele ser uno de los grandes límites de capacidad.
La cifra clave: 890 bytes de caché KV por token
DeepSeek informa que la reutilización de caché KV entre capas en su diseño Compressed Sparse Attention 2, junto con el almacenamiento FP4 de la caché KV, reduce la huella de caché KV global residente en memoria de alto ancho de banda (HBM) a 890 bytes por token. Según la compañía, equivale aproximadamente a una cuarta parte de la huella de DeepSeek-V4-Flash. 7
8
El mismo material técnico sostiene que la optimización de despliegue SWA Bounded Replay reduce la caché KV persistente, almacenada en SSD o en memoria del host, a cerca de una octava parte de la de V4-Flash. 7
Para quienes operan infraestructura, estas cifras apuntan a un cambio relevante en los límites del servicio de contextos largos y cargas multimodales: menos estado KV por solicitud puede dejar más memoria para sesiones simultáneas. Sin embargo, son cifras de diseño comunicadas por DeepSeek, no benchmarks independientes de extremo a extremo en un clúster Cambricon. No demuestran por sí solas un nivel concreto de rendimiento, latencia, calidad, disponibilidad o coste en cada despliegue.
Cómo encajan las optimizaciones de servicio
El material público de Cambricon identifica varias técnicas relevantes para servir grandes modelos MoE con vLLM. 18
- La inferencia de precisión mixta y baja precisión puede reducir el tráfico de memoria y el espacio necesario para pesos y activaciones.
- La optimización del paralelismo y el paralelismo de expertos a gran escala buscan distribuir tanto el modelo como la ejecución de expertos enrutados entre aceleradores.
- El solapamiento de comunicación y cómputo pretende mantener los dispositivos ocupados mientras se transfieren datos de comunicación colectiva o de enrutamiento de expertos.
- La separación entre prefill y decode asigna el procesamiento del prompt y la generación iterativa a recursos que pueden configurarse y ajustarse de forma distinta.
Son técnicas complementarias. El prefill suele exigir mucho ancho de banda y procesamiento de entrada; el decode es iterativo y especialmente sensible a la latencia. Además, el enrutamiento MoE introduce coordinación distribuida. El objetivo no es simplemente elevar una cifra teórica de FLOPS, sino mejorar la utilización de los aceleradores y hacer más predecible el servicio bajo concurrencia.
El material público disponible no aporta mediciones reproducibles de DeepSeek-V4.1-Flash en hardware Cambricon sobre rendimiento, latencia, calidad del modelo, topología de clúster o disponibilidad. Por ello, «listo para producción» debe leerse como la existencia de una ruta de despliegue utilizable y con soporte; cada operador debería validar su propia versión del modelo, precisión, longitud de contexto, lotes y configuración antes de asumir compromisos de capacidad o SLA.
Qué señala la membresía Platinum de PyTorch Foundation
El 8 de septiembre de 2026, PyTorch Foundation anunció la incorporación de Cambricon como miembro Platinum. 49 La fundación también indicó que Cambricon había colaborado con la comunidad de vLLM para habilitar soporte Day-0 para modelos abiertos como DeepSeek-V4 y GLM-5.
57
La relevancia está en la alineación con el ecosistema: el soporte de un acelerador resulta más útil si funciona mediante frameworks y capas de servicio públicas y ampliamente utilizadas, en lugar de obligar a mantener una pila independiente del fabricante. La membresía no garantiza soporte upstream para cada modelo o función, pero refuerza el enfoque declarado de Cambricon en la compatibilidad con PyTorch y vLLM.
Otros modelos con trabajo de soporte
Los materiales de software de Cambricon citan trabajo con DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 y Hunyuan-Video. 18
No obstante, esa relación reúne soporte de entrenamiento y optimizaciones de software más amplias; no prueba que todas esas familias tengan el mismo estado de inferencia Day-0 en vLLM y de despliegue productivo que se atribuye a DeepSeek-V4.1-Flash. La conclusión prudente es que Cambricon ya tiene presencia de soporte en varias familias de modelos chinos, mientras que la disponibilidad exacta para inferencia, formatos de precisión, capacidad multimodal y estatus Day-0 debe confirmarse en cada lanzamiento.
Por qué importa la disponibilidad el día del lanzamiento
Para los operadores de clústeres, la compatibilidad inmediata puede acortar el tiempo entre la publicación de un modelo y su evaluación controlada en infraestructura existente. Una ruta pública a través de vLLM también ofrece una base más familiar para planificar capacidad, enrutamiento, observabilidad, evaluación de cuantización e integración que una bifurcación de servicio hecha a medida.
En DeepSeek-V4.1-Flash esto cobra especial interés porque la compresión de caché reportada apunta a dos presiones centrales de los contextos largos: la capacidad HBM para sesiones activas y la memoria del host o almacenamiento persistente necesario para reutilizar cachés. 7
8
La lectura más sólida no es que un anuncio Day-0 demuestre rendimiento universal en producción. Es que un soporte repetible que abarque runtime, operadores del framework, kernels, ejecución distribuida y herramientas de servicio puede acercar la habilitación de aceleradores al momento del lanzamiento del modelo, especialmente a medida que los modelos abiertos sean más grandes, dispersos y multimodales.
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Cómo Cambricon habilitó DeepSeek-V4.1-Flash en vLLM el día de su lanzamiento"?
Cambricon afirma que habilitó DeepSeek V4.1 Flash en la pila abierta de inferencia vLLM el día de lanzamiento, mediante NeuWare, Torch MLU Ops y kernels BangC optimizados.
¿Cuáles son los puntos clave a validar primero?
Cambricon afirma que habilitó DeepSeek V4.1 Flash en la pila abierta de inferencia vLLM el día de lanzamiento, mediante NeuWare, Torch MLU Ops y kernels BangC optimizados. DeepSeek V4.1 Flash es un modelo multimodal MoE con 552.000 millones de parámetros de backbone, que activa unos 8.000 millones durante el prefill y 16.000 millones durante la decodificación.
¿Qué debo hacer a continuación en la práctica?
DeepSeek reporta una caché KV global de 890 bytes por token —una cuarta parte de la de V4 Flash—, pero esas cifras de diseño no equivalen a pruebas independientes de rendimiento de un clúster Cambricon.