AnswersPublished18 sources
Cambricon fikk DeepSeek-V4.1-Flash på vLLM samme dag
Cambricon sier at DeepSeek V4.1 Flash ble gjort tilgjengelig i den åpne vLLM inferensstakken på lanseringsdagen, ved å kombinere NeuWare, Torch MLU Ops og optimaliserte BangC kjerner. DeepSeek V4.1 Flash er en multimodal MoE modell med 552 milliarder backbone parametere.
Publisert avRedigert med GPT-5.6 TerraBilder generert med GPT Image 2
Research answer
Key takeaways
- Cambricon sier at DeepSeek V4.1 Flash ble gjort tilgjengelig i den åpne vLLM inferensstakken på lanseringsdagen, ved å kombinere NeuWare, Torch MLU Ops og optimaliserte BangC kjerner.
- DeepSeek V4.1 Flash er en multimodal MoE modell med 552 milliarder backbone parametere.
- DeepSeek oppgir 890 byte global KV cache per token, om lag en firedel av DeepSeek V4 Flash.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricons påstand om Day-0-støtte bør først og fremst forstås som en milepæl for integrasjon og programvareberedskap. Selskapet oppgir at DeepSeek-V4.1-Flash kunne kjøres på Cambricon-akseleratorer gjennom den åpne inferensstakken vLLM samme dag som modellvektene ble publisert. Løsningen kombinerer NeuWare-kjøretiden, Torch-MLU-Ops og optimaliserte BangC-kjerner. 13
Det er viktig fordi tilgjengelige modellvekter ikke i seg selv gjør en stor språk- eller multimodalmodell klar for drift. Det trengs en fungerende kjøretid for akseleratoren, rammeverksoperatorer, støtte for distribuert kjøring og effektive implementasjoner av modellens mest krevende beregninger.
Tre lag i integrasjonen
Cambricons oppgitte oppsett består av tre hovedlag:
- NeuWare er programvarekjøretiden for selskapets MLU-akseleratorer.
- Torch-MLU-Ops gir MLU-tilpasset operatorstøtte, blant annet for modellens Engram- og Compressor-strukturer, slik de er beskrevet i omtalen av tilpasningen.
9
- BangC-kjerner er rettet direkte mot ytelseskritiske operasjoner på MLU-arkitekturen. Cambricon beskriver BangC som sitt heterogene, parallelle programmeringsspråk for høyytelsesprogrammer på MLU.
18
I kombinasjon kan dette gi en vLLM-installasjon en akseleratorspesifikk bakende uten at hele serveringsløypen blir en lukket engangsløsning. Cambricon oppgir også at dets bredere vLLM-arbeid omfatter lavbit- og blandet presisjon, optimalisering av parallellisme, ekspertparallellisme i stor skala og separert prefill- og dekodedrift. 18
Hvorfor modellen er krevende å serve
DeepSeek-V4.1-Flash er en multimodal mixture-of-experts-modell (MoE) med 552 milliarder backbone-parametere og ytterligere 196 milliarder Engram-minneparametere. Den tar imot både tekst og bilder og støtter kontekster på opptil én million token. 5
8
For drift er skillet mellom totale og aktive parametere sentralt. DeepSeek oppgir at modellen aktiverer rundt 8 milliarder parametere per token i prefill-fasen – når prompten behandles – og 16 milliarder per genererte token i dekodefasen. 8 Den asymmetrien kan redusere beregningsbehovet i prompttunge arbeidslaster sammenlignet med modeller som bruker samme aktive kapasitet i begge faser. Den faktiske kostnaden avhenger likevel av blant annet presisjon, batchstørrelse, kommunikasjon mellom akseleratorer, minnekapasitet og trafikkmønster.
En kausal encoder–decoder
Modellen har en 40-lags Causal Encoder–Decoder-arkitektur (CED): en kausal encoder med 20 lag etterfulgt av en decoder med 20 lag. Decoderens globale key-value-tilstand, ofte kalt KV-tilstand, projiseres fra encoderens siste skjulte tilstander i stedet for å bli laget uavhengig i hvert decoderlag. 5
8
Dette er sentralt for minnebruken. Ved lange kontekster blir inferens ofte begrenset av KV-cachen – tilstanden som beholdes slik at modellen kan forholde seg til tidligere token mens den genererer nye.
DeepSeeks KV-cache-tall: 890 byte per token
DeepSeek oppgir at gjenbruk av KV-cache på tvers av lag i Compressed Sparse Attention 2, kombinert med FP4-KV-caching, reduserer den globale KV-cachen i høybåndbredde-minne (HBM) til 890 byte per token. Det tilsvarer omtrent en firedel av fotavtrykket for DeepSeek-V4-Flash. 7
8
Det samme tekniske materialet oppgir at SWA Bounded Replay reduserer den vedvarende KV-cachen i SSD- eller vertsminne til om lag en åttedel av nivået for V4-Flash. 7
For driftsansvarlige peker dette mot en vesentlig endring for lange kontekster og multimodale forespørsler: mindre cache-tilstand per forespørsel kan frigjøre minne til flere samtidige økter. Men tallene er DeepSeeks egne oppgitte modelldesign-tall, ikke uavhengige ende-til-ende-benchmarker av en Cambricon-klynge. De dokumenterer derfor ikke en bestemt gjennomstrømning, svartid, kvalitet, oppetid eller kostnad i enhver installasjon.
Hvordan serveringsoptimaliseringene henger sammen
Cambricons offentlige programvaremateriale beskriver flere metoder som er relevante for vLLM-serving av store MoE-modeller. 18
- Blandet og lav presisjon kan redusere minnetrafikken og lagringsbehovet for vekter og aktiveringer.
- Optimalisert parallellisme og ekspertparallellisme i stor skala er ment å fordele modellarbeid og ekspert-ruting mellom flere akseleratorer.
- Overlapp mellom kommunikasjon og beregning skal holde enhetene i arbeid mens kollektiv kommunikasjon eller data for ekspert-ruting flyttes mellom arbeidere.
- Separering av prefill og dekoding lar promptbehandling og tokengenerering dimensjoneres og justeres hver for seg.
Tiltakene løser ulike deler av samme problem. Prefill er ofte tung på båndbredde og promptvolum, mens dekoding er iterativ og følsom for forsinkelse. MoE-ruting skaper dessuten koordinering mellom maskiner som må håndteres effektivt. Målet er bedre ressursutnyttelse og mer forutsigbar tjeneste ved samtidige forespørsler – ikke bare et høyere teoretisk FLOPS-tall.
Det offentlige materialet som foreligger, inneholder ikke reproduserbare målinger for V4.1-Flash av gjennomstrømning, ventetid, modellkvalitet, klyngetopologi eller tilgjengelighet på Cambricon-maskinvare. «Produksjonsklar» bør derfor leses som en indikasjon på en brukbar og støttet utrullingsvei, mens operatører fortsatt må kvalifisere egen konfigurasjon før de lover kapasitet eller SLA-er.
Hva PyTorch Foundation-medlemskapet signaliserer
- september 2026 kunngjorde PyTorch Foundation at Cambricon hadde blitt platinummedlem.
49 Stiftelsen har også oppgitt at Cambricon har samarbeidet med vLLM-fellesskapet om Day-0-støtte for åpne modeller, blant annet DeepSeek-V4 og GLM-5.
57
Betydningen ligger i økosystemtilpasning. Akseleratorstøtte er mer verdifull når den fungerer gjennom mye brukte, åpne rammeverk og serveringslag, fremfor å kreve at brukerne vedlikeholder en separat leverandørstakk. Medlemskapet er ingen garanti for oppstrømsstøtte for enhver modell eller funksjon, men det understreker Cambricons uttalte satsing på kompatibilitet med PyTorch og vLLM.
Hvilke andre modellfamilier nevnes?
Cambricons programvaremateriale lister arbeid med DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 og Hunyuan-Video. 18 Materialet dekker imidlertid en blanding av treningsstøtte og bredere programvareoptimalisering. Det dokumenterer ikke at alle disse familiene har samme Day-0-status for produksjonsinferens på vLLM som DeepSeek-V4.1-Flash.
Den nøkterne konklusjonen er at Cambricon har et etablert programvarestøttefotavtrykk i flere kinesiske modellfamilier. Nøyaktig inferensstøtte, presisjon, multimodal dekning og Day-0-status må likevel verifiseres for hver enkelt utgivelse.
Hvorfor tilgjengelighet på lanseringsdagen betyr noe
For operatører av AI-klynger kan kompatibilitet ved modellslipp korte ned tiden fra lansering til kontrollert evaluering på eksisterende infrastruktur. En offentlig vLLM-vei gir dessuten et mer kjent utgangspunkt for kapasitetsplanlegging, ruting, overvåking, kvantiseringsvurderinger og integrasjonstesting enn en spesialtilpasset serveringsfork.
Dette er særlig relevant for DeepSeek-V4.1-Flash fordi den oppgitte cache-komprimeringen retter seg mot sentrale flaskehalser ved lange kontekster: HBM-kapasitet for aktive sesjoner og behovet for persistent lagring eller vertsminne til gjenbruk av cache. 7
8
Det overordnede poenget er ikke at én Day-0-kunngjøring beviser universell produksjonsytelse. Det er at gjentakbar støtte på tvers av kjøretid, rammeverksoperatorer, kjerner, distribuert kjøring og serveringsverktøy kan bringe akseleratorstøtte nærmere modellslippet – særlig når fremtidige åpne modeller blir større, mer sparsomt aktiverte og mer multimodale.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon fikk DeepSeek-V4.1-Flash på vLLM samme dag"?
Cambricon sier at DeepSeek V4.1 Flash ble gjort tilgjengelig i den åpne vLLM inferensstakken på lanseringsdagen, ved å kombinere NeuWare, Torch MLU Ops og optimaliserte BangC kjerner.
What are the key points to validate first?
Cambricon sier at DeepSeek V4.1 Flash ble gjort tilgjengelig i den åpne vLLM inferensstakken på lanseringsdagen, ved å kombinere NeuWare, Torch MLU Ops og optimaliserte BangC kjerner. DeepSeek V4.1 Flash er en multimodal MoE modell med 552 milliarder backbone parametere.
What should I do next in practice?
DeepSeek oppgir 890 byte global KV cache per token, om lag en firedel av DeepSeek V4 Flash.