AnswersPublished18 sources
Cambricon fick DeepSeek-V4.1-Flash att köra i vLLM redan vid lanseringen
Cambricon uppger att DeepSeek V4.1 Flash aktiverades i den öppna inferensmotorn vLLM på releasedagen, med NeuWare, Torch MLU Ops och optimerade BangC kärnor. DeepSeek V4.1 Flash är en multimodal MoE modell med 552 miljarder backbone parametrar.
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- Cambricon uppger att DeepSeek V4.1 Flash aktiverades i den öppna inferensmotorn vLLM på releasedagen, med NeuWare, Torch MLU Ops och optimerade BangC kärnor.
- DeepSeek V4.1 Flash är en multimodal MoE modell med 552 miljarder backbone parametrar.
- DeepSeek anger 890 byte globalt KV cache per token. Det är en modelluppgift, inte ett oberoende bevis på viss svarstid, kapacitet eller kostnad på ett Cambricon kluster.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricons påstående om Day-0-stöd bör främst ses som en milstolpe för integration och mjukvaruberedskap. Bolaget uppger att DeepSeek-V4.1-Flash kunde köras på Cambricon-acceleratorer via den öppna inferensstacken vLLM redan samma dag som modellens checkpoint publicerades. Lösningen bygger på körtidsmiljön NeuWare, Torch-MLU-Ops och optimerade BangC-kärnor. 13
Det är betydelsefullt eftersom det inte räcker att modellvikterna finns tillgängliga för att en stor modell ska gå att driftsätta. Det krävs en fungerande acceleratorruntime, operatorstöd i ramverket, stöd för distribuerad körning och effektiva implementationer av modellens beräkningsmässiga flaskhalsar.
Tre lager i integrationen
Cambricons beskrivna väg till vLLM-stöd består av tre delar:
- NeuWare är mjukvaruruntime för företagets MLU-acceleratorer.
- Torch-MLU-Ops ger MLU-anpassat operatorstöd för modellkomponenter, bland annat Engram- och Compressor-strukturerna som nämns i rapporteringen om anpassningen.
9
- BangC-kärnor riktas mot prestandakritiska operationer direkt på MLU-arkitekturen. Cambricon beskriver BangC som sitt heterogena parallellprogrammeringsspråk för högpresterande MLU-program.
18
Kombinationen gör att en vLLM-distribution kan använda en acceleratorspecifik backend utan att hela serveringskedjan behöver bli en privat speciallösning. Cambricon uppger också att dess bredare vLLM-arbete omfattar blandad lågprecision, parallelliseringsoptimering, storskalig expertparallellism samt separerad prefill- och decode-distribution. 18
Därför är DeepSeek-V4.1-Flash en krävande modell att servera
DeepSeek-V4.1-Flash är en multimodal mixture-of-experts-modell, eller MoE-modell, med 552 miljarder backbone-parametrar samt ytterligare 196 miljarder Engram-minnesparametrar. Den tar emot både text och bilder och stöder kontextfönster på upp till en miljon token. 5
8
I praktiken är skillnaden mellan totalt antal och aktiva parametrar central. DeepSeek uppger att modellen aktiverar ungefär 8 miljarder parametrar per prompttoken i prefill-fasen och 16 miljarder per genererad token i decode-fasen. 8 Den asymmetrin kan minska beräkningsarbetet för prompttunga arbetslaster jämfört med en modell som använder samma aktiva kapacitet i båda faserna. Den verkliga driftkostnaden beror dock fortfarande på bland annat modellvikter, precision, batchstorlek, kommunikation, minneskapacitet och arbetslastens sammansättning.
Causal Encoder–Decoder och mindre KV-cache
Modellen använder en Causal Encoder–Decoder-arkitektur, CED, med 40 lager: en kausal encoder med 20 lager och en decoder med 20 lager. I stället för att varje decoderlager själv skapar globalt key-value-tillstånd, projiceras decoderns globala KV-tillstånd från encoderns sista dolda tillstånd. 5
8
Det är viktigt för minnesanvändningen. Vid inferens med lång kontext blir KV-cachen – tillståndet som behöver behållas så att modellen kan uppmärksamma tidigare token under fortsatt textgenerering – ofta en begränsande faktor.
DeepSeek uppger att återanvändning av KV-cache mellan lager i Compressed Sparse Attention 2, CSA2, tillsammans med FP4-KV-cache minskar den globala KV-cachen i högbandbreddsminne, HBM, till 890 byte per token. Det motsvarar ungefär en fjärdedel av fotavtrycket hos DeepSeek-V4-Flash. 7
8
Samma tekniska underlag uppger att SWA Bounded Replay reducerar den beständiga KV-cachen i SSD-lagring eller värdminne till ungefär en åttondel av V4-Flash. 7
För den som driver inferenskluster kan det innebära att mindre cachetillstånd per förfrågan lämnar mer minne åt samtidiga sessioner med lång kontext. Men siffrorna är modellkonstruktionsuppgifter från DeepSeek, inte oberoende mätningar av ett Cambricon-kluster från början till slut. De bevisar därför inte i sig en viss genomströmning, latens, kvalitet, tillgänglighet eller kostnad i varje installation.
Optimeringarna i serveringskedjan
Cambricons offentliga mjukvarumaterial pekar ut flera tekniker som är relevanta för vLLM-inferens med stora MoE-modeller. 18
- Blandad precision och lågprecision kan minska minnestrafiken samt lagringsbehovet för vikter och aktiveringar.
- Parallelliseringsoptimering och storskalig expertparallellism ska fördela modellens arbete och körningen av routade experter mellan acceleratorer.
- Överlappning av kommunikation och beräkning syftar till att hålla enheterna sysselsatta medan kollektiv kommunikation eller data för expertroutning flyttas mellan arbetare.
- Separerad prefill och decode delar upp promptbearbetning och tokengenerering, så att de kan tilldelas och trimmas som olika resurspooler.
Metoderna fyller olika funktioner. Prefill-fasen kan vara tung för bandbredd och långa promptar, medan decode-fasen är iterativ och känslig för svarstid. MoE-routning skapar dessutom behov av effektiv samordning mellan enheter. Målet är därmed bättre resursutnyttjande och jämnare tjänst under samtidiga förfrågningar – inte bara en högre teoretisk FLOPS-siffra.
Det offentliga materialet redovisar inte reproducerbara mätvärden för DeepSeek-V4.1-Flash på Cambricon-hårdvara, exempelvis för genomströmning, latens, modellkvalitet, klustertopologi eller tillgänglighet. Driftteam bör därför tolka ”produktionsredo” som att det finns en användbar och stödd distributionsväg, men ändå göra egna kvalificeringstester innan kapacitet eller SLA:er fastställs.
PyTorch Foundation: en signal om ekosystemarbete
Den 8 september 2026 meddelade PyTorch Foundation att Cambricon anslutit som platinummedlem. 49 Stiftelsen har också uppgett att Cambricon samarbetat med vLLM-communityt kring Day-0-stöd för öppna modeller, däribland DeepSeek-V4 och GLM-5.
57
Det viktiga är signalen om ekosystemanpassning. Acceleratorstöd blir mer användbart när det fungerar genom etablerade, öppna ramverk och serveringslager, snarare än genom en separat leverantörsspecifik mjukvarustack. Medlemskapet är däremot ingen garanti för upstream-stöd för varje modell eller funktion, men förstärker Cambricons uttalade inriktning på PyTorch- och vLLM-kompatibilitet.
Vilka andra modellfamiljer nämns?
Cambricons mjukvarumaterial listar arbete med DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 och Hunyuan-Video. 18 Underlaget omfattar dock både träningsstöd och bredare mjukvaruoptimering. Det visar inte att varje modellfamilj har exakt samma Day-0-status och produktionsinriktade vLLM-inferens som DeepSeek-V4.1-Flash.
Den försiktiga slutsatsen är att Cambricon har ett etablerat mjukvarustöd för flera kinesiska modellfamiljer, medan exakt inferenstillgänglighet, stöd för precisioner, multimodala funktioner och Day-0-status behöver kontrolleras för varje enskild version.
Varför tillgänglighet samma dag spelar roll
För klusteroperatörer kan kompatibilitet på releasedagen korta tiden från modellsläpp till en kontrollerad utvärdering på befintlig infrastruktur. En offentlig vLLM-väg ger också ett mer välbekant underlag för kapacitetsplanering, routning, observability, kvantiseringsutvärdering och integrationstestning än en specialbyggd serveringsgren.
Det är särskilt relevant för DeepSeek-V4.1-Flash, eftersom modellens rapporterade cachekomprimering riktar in sig på centrala flaskhalsar för långkontextinferens: HBM-kapacitet för aktiva sessioner och behovet av beständig lagring eller värdminne för cacheåteranvändning. 7
8
Den större poängen är inte att ett Day-0-meddelande bevisar universell produktionsprestanda. Poängen är att upprepningsbart stöd i runtime, ramverksoperatorer, kärnor, distribuerad körning och serveringsverktyg kan föra acceleratoranpassningen närmare modellsläppet – särskilt när öppna modeller blir större, glesare och mer multimodala.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon fick DeepSeek-V4.1-Flash att köra i vLLM redan vid lanseringen"?
Cambricon uppger att DeepSeek V4.1 Flash aktiverades i den öppna inferensmotorn vLLM på releasedagen, med NeuWare, Torch MLU Ops och optimerade BangC kärnor.
What are the key points to validate first?
Cambricon uppger att DeepSeek V4.1 Flash aktiverades i den öppna inferensmotorn vLLM på releasedagen, med NeuWare, Torch MLU Ops och optimerade BangC kärnor. DeepSeek V4.1 Flash är en multimodal MoE modell med 552 miljarder backbone parametrar.
What should I do next in practice?
DeepSeek anger 890 byte globalt KV cache per token. Det är en modelluppgift, inte ett oberoende bevis på viss svarstid, kapacitet eller kostnad på ett Cambricon kluster.