AnswersPublished18 sources
Cambricon porta DeepSeek-V4.1-Flash su vLLM al debutto
Cambricon afferma di aver reso eseguibile DeepSeek V4.1 Flash su vLLM il giorno della pubblicazione del checkpoint, combinando runtime NeuWare, supporto Torch MLU Ops e kernel BangC ottimizzati. DeepSeek V4.1 Flash è un modello MoE multimodale con 552 miliardi di parametri backbone: ne attiva circa 8 miliardi nel pr...
Pubblicato daModificato con GPT-5.6 TerraImmagini generate con GPT Image 2
Research answer
Key takeaways
- Cambricon afferma di aver reso eseguibile DeepSeek V4.1 Flash su vLLM il giorno della pubblicazione del checkpoint, combinando runtime NeuWare, supporto Torch MLU Ops e kernel BangC ottimizzati.
- DeepSeek V4.1 Flash è un modello MoE multimodale con 552 miliardi di parametri backbone: ne attiva circa 8 miliardi nel prefill e 16 miliardi nel decode.
- Per gli operatori, il vantaggio è una via di serving pubblica e familiare per un modello a contesto lungo.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
L’annuncio di Cambricon va letto soprattutto come un risultato di integrazione software e prontezza della piattaforma. L’azienda dichiara di aver abilitato DeepSeek-V4.1-Flash sugli acceleratori MLU attraverso lo stack open source vLLM nello stesso giorno della pubblicazione del checkpoint, combinando il runtime NeuWare, Torch-MLU-Ops e kernel BangC ottimizzati. 13
In altre parole, rendere disponibili i pesi di un modello non basta a servirlo in un’infrastruttura reale: servono runtime dell’acceleratore, operatori compatibili con il framework, esecuzione distribuita e kernel efficienti per le parti più onerose del calcolo.
I tre livelli dell’integrazione
Il percorso descritto da Cambricon si articola su tre strati:
- NeuWare è il runtime software per gli acceleratori MLU di Cambricon.
- Torch-MLU-Ops aggiunge il supporto agli operatori consapevoli dell’architettura MLU; secondo le ricostruzioni sull’abilitazione, include le strutture Engram e Compressor del modello.
9
- BangC è il linguaggio di programmazione parallela eterogenea di Cambricon, pensato per scrivere programmi MLU ad alte prestazioni e quindi per ottimizzare le operazioni critiche.
18
Il punto non è creare un’applicazione proprietaria isolata, ma consentire a vLLM di usare un backend specifico per l’acceleratore. Cambricon indica inoltre, nel proprio lavoro su vLLM, inferenza mista e a bassa precisione, ottimizzazione del parallelismo, parallelismo su larga scala degli esperti e separazione tra prefill e decode. 18
Perché DeepSeek-V4.1-Flash è impegnativo da servire
DeepSeek-V4.1-Flash è un modello multimodale mixture-of-experts (MoE), capace di elaborare testo e immagini, con 552 miliardi di parametri backbone e altri 196 miliardi di parametri Engram. Supporta contesti fino a un milione di token. 5
8
La distinzione operativa fondamentale è quella tra parametri totali e parametri attivati. DeepSeek dichiara l’attivazione di circa 8 miliardi di parametri per token del prompt durante il prefill e di 16 miliardi per token generato durante il decode. 8 L’asimmetria può ridurre il calcolo nei carichi dominati da prompt lunghi rispetto a un modello che attivi la stessa capacità in entrambe le fasi; il costo effettivo di servizio dipende comunque anche da pesi, precisione, batch, comunicazioni, memoria e composizione del carico.
Architettura Causal Encoder–Decoder
Il modello adotta una struttura Causal Encoder–Decoder (CED) di 40 livelli: 20 per l’encoder causale e 20 per il decoder. Invece di calcolare chiavi e valori globali in modo indipendente a ogni livello del decoder, il decoder proietta lo stato KV globale dagli stati nascosti finali dell’encoder. 5
8
Questa scelta incide direttamente sulla memoria. Nell’inferenza a contesto lungo, uno dei vincoli principali è infatti la cache KV, lo stato da conservare affinché il modello possa riferirsi ai token precedenti mentre genera quelli successivi.
Cache KV: il dato di 890 byte per token
DeepSeek dichiara che il riuso della cache KV tra livelli, nella sua Compressed Sparse Attention 2, insieme alla cache KV in FP4, riduce l’occupazione della cache KV globale in memoria HBM a 890 byte per token: circa un quarto del valore corrispondente per DeepSeek-V4-Flash. 7
8
Lo stesso materiale tecnico riporta che l’ottimizzazione SWA Bounded Replay riduce a circa un ottavo quella della generazione precedente l’impronta persistente della cache KV, conservata su SSD o nella memoria host. 7
Per chi gestisce l’inferenza, il segnale è importante: meno stato KV per richiesta può liberare memoria per più sessioni concorrenti, soprattutto con contesti lunghi e input multimodali. Ma questi restano dati di progettazione dichiarati da DeepSeek, non benchmark indipendenti end-to-end di un cluster Cambricon. Non dimostrano da soli throughput, latenza, qualità, disponibilità o costo di uno specifico deployment.
Come si combinano le ottimizzazioni di serving
La documentazione pubblica di Cambricon cita varie tecniche rilevanti per servire grandi modelli MoE tramite vLLM. 18
- Inferenza mista e a bassa precisione: può diminuire traffico di memoria e spazio richiesto da pesi e attivazioni.
- Ottimizzazione del parallelismo e parallelismo degli esperti su larga scala: distribuiscono il lavoro del modello e l’esecuzione degli esperti instradati tra più acceleratori.
- Sovrapposizione tra comunicazione e calcolo: mira a mantenere occupati i dispositivi mentre avvengono comunicazioni collettive o trasferimenti collegati al routing MoE.
- Separazione prefill–decode: tratta elaborazione del prompt e generazione iterativa come fasi da dimensionare e ottimizzare separatamente.
Sono leve complementari. Il prefill è spesso intenso in termini di prompt e banda, mentre il decode è iterativo e sensibile alla latenza; il routing degli esperti aggiunge inoltre coordinamento distribuito. L’obiettivo è un uso più efficiente dell’infrastruttura e un servizio più prevedibile sotto concorrenza, non soltanto un numero teorico più alto di FLOPS.
I materiali pubblici disponibili non riportano misurazioni riproducibili per DeepSeek-V4.1-Flash su hardware Cambricon relative a throughput, latenza, qualità del modello, topologia del cluster o disponibilità del servizio. Perciò, «pronto per la produzione» va inteso come disponibilità di un percorso di deployment supportato, non come certificazione valida per qualsiasi configurazione: servono comunque test di qualificazione prima di prendere impegni di capacità o SLA.
Cosa segnala l’adesione alla PyTorch Foundation
L’8 settembre 2026 la PyTorch Foundation ha annunciato l’ingresso di Cambricon come membro Platinum. 49 La Foundation ha anche affermato che Cambricon ha collaborato con la comunità vLLM per offrire supporto Day-0 a modelli open source, inclusi DeepSeek-V4 e GLM-5.
57
Il significato è soprattutto di allineamento con l’ecosistema: il supporto per un acceleratore è più utile se funziona nei framework e nei livelli di serving pubblici già adottati dagli sviluppatori, invece di richiedere uno stack separato e dipendente dal fornitore. L’adesione, da sola, non garantisce supporto upstream per ogni modello o funzionalità, ma rafforza l’orientamento dichiarato da Cambricon verso la compatibilità con PyTorch e vLLM.
Quali altre famiglie di modelli rientrano nel supporto
I materiali software di Cambricon citano attività su DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 e Hunyuan-Video. 18 La fonte, però, mescola supporto per addestramento e ottimizzazioni software più generali: non prova che ogni famiglia abbia lo stesso stato di inferenza Day-0 su vLLM attribuito a DeepSeek-V4.1-Flash.
La conclusione prudente è quindi più circoscritta: Cambricon ha una presenza software già estesa su diverse famiglie di modelli cinesi, ma disponibilità esatta per inferenza, precisioni supportate, copertura multimodale e stato Day-0 vanno verificati modello per modello e release per release.
Perché la disponibilità nello stesso giorno conta
Per gli operatori di cluster, la compatibilità al lancio può accorciare l’intervallo tra l’uscita di un modello e una sua valutazione controllata sull’infrastruttura esistente. Una strada pubblica basata su vLLM offre inoltre un riferimento più familiare per pianificazione della capacità, instradamento, osservabilità, valutazione della quantizzazione e test di integrazione rispetto a un fork di serving sviluppato su misura.
Nel caso di DeepSeek-V4.1-Flash, la riduzione dichiarata della cache KV affronta proprio le pressioni tipiche del serving a contesto lungo: capacità HBM per le sessioni attive e requisiti di archiviazione o memoria host per il riuso della cache. 7
8
Il messaggio più ampio non è che un annuncio Day-0 dimostri prestazioni universali in produzione. È che un supporto ripetibile lungo tutta la catena — runtime, operatori di framework, kernel, esecuzione distribuita e strumenti di serving — può avvicinare l’abilitazione dell’acceleratore al giorno del lancio del modello, man mano che i futuri modelli open diventano più grandi, sparsi e multimodali.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon porta DeepSeek-V4.1-Flash su vLLM al debutto"?
Cambricon afferma di aver reso eseguibile DeepSeek V4.1 Flash su vLLM il giorno della pubblicazione del checkpoint, combinando runtime NeuWare, supporto Torch MLU Ops e kernel BangC ottimizzati.
What are the key points to validate first?
Cambricon afferma di aver reso eseguibile DeepSeek V4.1 Flash su vLLM il giorno della pubblicazione del checkpoint, combinando runtime NeuWare, supporto Torch MLU Ops e kernel BangC ottimizzati. DeepSeek V4.1 Flash è un modello MoE multimodale con 552 miliardi di parametri backbone: ne attiva circa 8 miliardi nel prefill e 16 miliardi nel decode.
What should I do next in practice?
Per gli operatori, il vantaggio è una via di serving pubblica e familiare per un modello a contesto lungo.