AnswersPublished18 sources
Cambricon fik DeepSeek-V4.1-Flash på vLLM fra første dag
Cambricon siger, at DeepSeek V4.1 Flash blev gjort klar til vLLM på udgivelsesdagen med NeuWare, Torch MLU Ops og optimerede BangC kerner. DeepSeeks multimodale MoE model har 552 mia.
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Cambricon siger, at DeepSeek V4.1 Flash blev gjort klar til vLLM på udgivelsesdagen med NeuWare, Torch MLU Ops og optimerede BangC kerner.
- DeepSeeks multimodale MoE model har 552 mia. backbone parametre, men aktiverer cirka 8 mia.
- DeepSeek oplyser et globalt KV cacheforbrug på 890 byte pr. token.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricons påstand om understøttelse fra dag 0 skal først og fremmest forstås som en milepæl for softwareintegration og driftsklarhed. Selskabet oplyser, at DeepSeek-V4.1-Flash kunne afvikles på Cambricons acceleratorer via open source-inferensmotoren vLLM samme dag, som model-checkpointet blev frigivet. Det skete med NeuWare-runtime, Torch-MLU-Ops og optimerede BangC-kerner. 13
Det er vigtigt, fordi tilgængelige modelvægte ikke i sig selv gør en stor model klar til drift. Der skal også være runtime til acceleratoren, framework-operatorer, understøttelse af distribueret afvikling og effektive implementeringer af modellens særligt tunge beregninger.
Tre lag i integrationen
Cambricons beskrevne vej til vLLM består af tre lag:
- NeuWare er software-runtime til selskabets MLU-acceleratorer.
- Torch-MLU-Ops leverer MLU-tilpassede operatorer til modelkomponenter, herunder Engram- og Compressor-strukturerne omtalt i dækningen af integrationen.
9
- BangC-kerner er målrettet ydeevnekritiske operationer direkte på MLU-arkitekturen. Cambricon beskriver BangC som sit heterogene, parallelle programmeringssprog til højtydende MLU-programmer.
18
Kombinationen betyder, at en vLLM-installation kan bruge en accelerator-specifik backend uden at blive til en lukket, særskrevet serveringsløsning. Cambricon oplyser desuden, at deres vLLM-arbejde omfatter mixed precision og lavbit-inferens, optimering af parallelisme, ekspertparallelisme i stor skala samt adskilt prefill- og decode-drift. 18
Derfor er DeepSeek-V4.1-Flash en krævende model at servere
DeepSeek-V4.1-Flash er en multimodal mixture-of-experts-model (MoE) med 552 mia. backbone-parametre og yderligere 196 mia. Engram-hukommelsesparametre. Den håndterer tekst og billeder og understøtter kontekster på op til en million tokens. 5
8
Det afgørende i driften er forskellen mellem det samlede antal parametre og antallet af aktive parametre. DeepSeek oplyser, at modellen aktiverer omkring 8 mia. parametre pr. prompt-token under prefill og 16 mia. pr. genereret token under decode. 8
Prefill er fasen, hvor modellen læser og behandler brugerens input, mens decode er den løbende generering af svaret. Den asymmetriske konstruktion kan mindske beregningsarbejdet ved inputtunge opgaver sammenlignet med en model, der bruger samme aktive kapacitet i begge faser. Den reelle driftsomkostning afhænger dog stadig af blandt andet præcision, batchstørrelse, kommunikation mellem acceleratorer, hukommelseskapacitet og belastningsmønster.
Causal Encoder–Decoder frem for én ensartet transformerblok
Modellen benytter en Causal Encoder–Decoder-arkitektur (CED) med 40 lag: en kausal encoder på 20 lag efterfulgt af en decoder på 20 lag. Decoderens globale key-value-tilstand, eller KV-tilstand, projiceres fra encoderens sidste skjulte tilstande i stedet for at blive beregnet uafhængigt i hvert decoderlag. 5
8
Det er centralt for modellens hukommelsesprofil. Ved inferens med lange kontekster er KV-cachen ofte en flaskehals: den gemmer den tilstand, modellen skal bruge for fortsat at kunne tage højde for tidligere tokens, mens den genererer nye.
DeepSeeks tal: 890 byte KV-cache pr. token
DeepSeek oplyser, at genbrug af KV-cache på tværs af lag i Compressed Sparse Attention 2 sammen med FP4-KV-caching reducerer det globale KV-cacheforbrug i høj-båndbredde-hukommelsen (HBM) til 890 byte pr. token. Det svarer omtrent til en fjerdedel af forbruget for DeepSeek-V4-Flash. 7
8
Det samme tekniske materiale angiver, at SWA Bounded Replay reducerer det vedvarende KV-cacheforbrug i SSD-lager eller værtsmaskinens hukommelse til cirka en ottendedel af V4-Flash-niveauet. 7
For driftsansvarlige peger tallene på en potentiel ændring i begrænsningerne ved lange kontekster og multimodal inferens: mindre KV-tilstand pr. forespørgsel kan frigøre hukommelse til flere samtidige sessioner. Men der er et væsentligt forbehold: Det er modeldesign-tal oplyst af DeepSeek, ikke uafhængige ende-til-ende-målinger af en Cambricon-klynge. De dokumenterer derfor ikke en bestemt gennemstrømning, latenstid, kvalitet, oppetid eller pris i alle installationer.
Sådan passer serveringsoptimeringerne sammen
Cambricons offentlige softwaremateriale fremhæver flere teknikker, der er relevante ved vLLM-drift af store MoE-modeller. 18
- Mixed precision og lavbit-inferens kan reducere datatrafik i hukommelsen samt pladsbehovet for vægte og aktiveringer.
- Parallelitetsoptimering og ekspertparallelisme i stor skala skal fordele modelarbejdet og de rutede eksperter på tværs af acceleratorer.
- Overlap mellem kommunikation og beregning sigter mod at holde enhederne beskæftiget, mens data flyttes mellem arbejdere ved kollektiv kommunikation eller ekspertrutning.
- Adskillelse af prefill og decode lader promptbehandling og tekstgenerering køre i særskilt dimensionerede og tunede ressourcepuljer.
Teknikkerne supplerer hinanden. Prefill er ofte tungt på promptdata og hukommelsesbåndbredde, mens decode er iterativt og latenstidsfølsomt. Samtidig indfører MoE-rutning koordination på tværs af systemet. Målet er derfor bedre udnyttelse og mere forudsigelig drift under samtidige forespørgsler – ikke blot et højere teoretisk FLOPS-tal.
Det tilgængelige offentlige materiale indeholder ikke reproducerbare målinger for DeepSeek-V4.1-Flash på Cambricon-hardware, herunder gennemstrømning, latenstid, modelkvalitet, klyngetopologi eller tilgængelighed. Operatører bør derfor læse »produktionsklar« som tegn på en brugbar og understøttet installationsvej – og fortsat selv kvalificere opsætningen, før de indgår kapacitets- eller SLA-forpligtelser.
Hvad PyTorch Foundation-medlemskabet fortæller
Den 8. september 2026 meddelte PyTorch Foundation, at Cambricon var blevet platinmedlem. 49 Foundationen har desuden oplyst, at Cambricon har arbejdet med vLLM-fællesskabet om dag 0-understøttelse af open source-modeller, herunder DeepSeek-V4 og GLM-5.
57
Betydningen er primært økosystemtilpasning. Acceleratorsupport er mere anvendelig, når den fungerer i udbredte offentlige frameworks og serveringslag, frem for at brugeren skal vedligeholde en separat leverandørspecifik softwarestack. Medlemskab alene er ikke en garanti for upstream-understøttelse af enhver model eller funktion, men det understøtter Cambricons erklærede fokus på kompatibilitet med PyTorch og vLLM.
Hvilke andre modelfamilier nævnes?
Cambricons softwaremateriale omtaler arbejde med DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 og Hunyuan-Video. 18 Materialet dækker imidlertid en blanding af træningsunderstøttelse og bredere softwareoptimering. Det dokumenterer ikke, at alle familier har samme status for dag 0-produktionsinferens i vLLM som DeepSeek-V4.1-Flash.
Den forsigtige konklusion er derfor, at Cambricon har en etableret softwareunderstøttelse på tværs af flere kinesiske modelfamilier, mens konkret inferensunderstøttelse, præcision, multimodal dækning og dag 0-status skal bekræftes for hver enkelt udgivelse.
Hvorfor samme dags tilgængelighed er relevant
For dem, der driver AI-klynger, kan kompatibilitet fra udgivelsesdagen forkorte tiden fra modeludgivelse til kontrolleret afprøvning på den eksisterende infrastruktur. En offentlig vLLM-vej giver også et mere velkendt udgangspunkt for kapacitetsplanlægning, routning, overvågning, kvantiseringsvurdering og integrationstest end en specialbygget serveringsgren.
Det er særligt relevant for DeepSeek-V4.1-Flash, fordi den rapporterede cachekomprimering går efter nogle af de største omkostningsdrivere i lange kontekster: HBM til aktive sessioner og SSD- eller værtsmaskinhukommelse til genbrug af cache. 7
8
Den større historie er ikke, at én dag 0-meddelelse beviser universel produktionsydelse. Den er, at gentagelig understøttelse i runtime, framework-operatorer, kerner, distribueret afvikling og serveringsværktøjer kan bringe acceleratoraktivering tættere på modeludgivelsen – især når fremtidige åbne modeller bliver større, mere sparsomme og mere multimodale.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon fik DeepSeek-V4.1-Flash på vLLM fra første dag"?
Cambricon siger, at DeepSeek V4.1 Flash blev gjort klar til vLLM på udgivelsesdagen med NeuWare, Torch MLU Ops og optimerede BangC kerner.
What are the key points to validate first?
Cambricon siger, at DeepSeek V4.1 Flash blev gjort klar til vLLM på udgivelsesdagen med NeuWare, Torch MLU Ops og optimerede BangC kerner. DeepSeeks multimodale MoE model har 552 mia. backbone parametre, men aktiverer cirka 8 mia.
What should I do next in practice?
DeepSeek oplyser et globalt KV cacheforbrug på 890 byte pr. token.