उत्तरप्रकाशित18 स्रोत
Cambricon ने DeepSeek-V4.1-Flash को vLLM पर Day-0 में कैसे चलाया
Cambricon का कहना है कि DeepSeek V4.1 Flash को रिलीज़ के दिन ही ओपन सोर्स vLLM स्टैक पर उसके MLU एक्सेलरेटरों के लिए सक्षम किया गया; इसमें NeuWare, Torch MLU Ops और अनुकूलित BangC कर्नेल शामिल हैं। [13] DeepSeek V4.1 Flash एक 552 अरब बैकबोन पैरामीटर वाला मल्टीमॉडल MoE मॉडल है। यह प्रीफिल में लगभग 8 अरब और डिकोड में...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Cambricon का कहना है कि DeepSeek V4.1 Flash को रिलीज़ के दिन ही ओपन सोर्स vLLM स्टैक पर उसके MLU एक्सेलरेटरों के लिए सक्षम किया गया; इसमें NeuWare, Torch MLU Ops और अनुकूलित BangC कर्नेल शामिल हैं। [13]
- DeepSeek V4.1 Flash एक 552 अरब बैकबोन पैरामीटर वाला मल्टीमॉडल MoE मॉडल है। यह प्रीफिल में लगभग 8 अरब और डिकोड में 16 अरब पैरामीटर सक्रिय करता है; DeepSeek के अनुसार इसका वैश्विक KV cache 890 बाइट प्रति टोकन है। [5][7][8]
- मुख्य लाभ एक परिचित सार्वजनिक vLLM सर्विंग पथ का तेज़ी से उपलब्ध होना है। फिर भी, ऑपरेटरों को अपने मॉडल संस्करण, प्रिसिजन, कॉन्टेक्स्ट लंबाई, बैचिंग और क्लस्टर कॉन्फ़िगरेशन पर अलग से परीक्षण करना चाहिए।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricon का Day-0 enablement दावा मूलतः सॉफ्टवेयर इंटीग्रेशन और तैयारी का दावा है। कंपनी के अनुसार, DeepSeek द्वारा चेकपॉइंट जारी किए जाने वाले दिन ही DeepSeek-V4.1-Flash को Cambricon एक्सेलरेटरों पर ओपन-सोर्स vLLM इन्फरेंस स्टैक के माध्यम से चलाया जा सका। इसके लिए NeuWare रनटाइम, Torch-MLU-Ops और अनुकूलित BangC कर्नेल का उपयोग किया गया। 13
यह फर्क इसलिए अहम है क्योंकि किसी बड़े मॉडल के वेट उपलब्ध हो जाना भर उसे तैनाती के लिए तैयार नहीं बनाता। उसे एक्सेलरेटर रनटाइम, फ्रेमवर्क-स्तरीय ऑपरेटर, वितरित निष्पादन और भारी गणना वाले हिस्सों के दक्ष इम्प्लीमेंटेशन चाहिए होते हैं।
इंटीग्रेशन की तीन परतें
Cambricon के बताए गए स्टैक में तीन मुख्य हिस्से हैं:
- NeuWare: Cambricon के MLU एक्सेलरेटरों का सॉफ्टवेयर रनटाइम।
- Torch-MLU-Ops: MLU-अनुकूल ऑपरेटर सपोर्ट, जिसमें रिपोर्टिंग के अनुसार मॉडल की Engram और Compressor संरचनाओं का समर्थन शामिल है।
9
- BangC कर्नेल: MLU आर्किटेक्चर पर प्रदर्शन-संवेदी ऑपरेशनों को सीधे अनुकूलित करने वाले कर्नेल। Cambricon, BangC को उच्च-प्रदर्शन MLU प्रोग्राम लिखने के लिए अपनी heterogeneous parallel-programming भाषा बताता है।
18
इस संयोजन का उद्देश्य vLLM को किसी निजी, एकमात्र उपयोग वाले सर्विंग एप्लिकेशन में बदले बिना एक्सेलरेटर-विशिष्ट बैकएंड देना है। Cambricon का यह भी कहना है कि उसके व्यापक vLLM कार्य में लो-बिट मिश्रित-प्रिसिजन इन्फरेंस, पैरेललिज़्म अनुकूलन, बड़े पैमाने का expert parallelism और prefill–decode अलग तैनाती शामिल हैं। 18
DeepSeek-V4.1-Flash को सर्व करना चुनौतीपूर्ण क्यों है
DeepSeek-V4.1-Flash एक मल्टीमॉडल mixture-of-experts (MoE) मॉडल है, जिसमें 552 अरब बैकबोन पैरामीटर और अतिरिक्त 196 अरब Engram-memory पैरामीटर हैं। यह टेक्स्ट और इमेज इनपुट ले सकता है तथा अधिकतम 10 लाख टोकन तक का कॉन्टेक्स्ट संभालता है। 5
8
कुल पैरामीटर और सक्रिय पैरामीटर का अंतर यहां महत्वपूर्ण है। DeepSeek के अनुसार मॉडल प्रीफिल—यानी प्रॉम्प्ट पढ़ने—के समय हर टोकन पर करीब 8 अरब पैरामीटर, जबकि उत्तर जनरेट करने वाले डिकोड चरण में करीब 16 अरब पैरामीटर सक्रिय करता है। 8 यह असममित डिजाइन इनपुट-भारी वर्कलोड में गणना मांग घटा सकता है, हालांकि वास्तविक लागत वेट, प्रिसिजन, बैच आकार, संचार, मेमोरी क्षमता और वर्कलोड मिश्रण पर निर्भर रहेगी।
40-लेयर Causal Encoder–Decoder डिजाइन
मॉडल की 40-लेयर Causal Encoder–Decoder (CED) संरचना में 20-लेयर causal encoder और 20-लेयर decoder हैं। हर डिकोडर लेयर से स्वतंत्र रूप से global keys और values निकालने के बजाय, डिकोडर encoder की अंतिम hidden states से global KV state प्रोजेक्ट करता है। 5
8
लंबे कॉन्टेक्स्ट की इन्फरेंस में यह अहम है, क्योंकि KV cache वह स्थिति है जिसे मॉडल पुराने टोकनों पर ध्यान बनाए रखने के लिए संभालकर रखता है। यह अक्सर मेमोरी की बड़ी बाधा बन जाती है।
KV-cache: 890 बाइट प्रति टोकन का दावा
DeepSeek का कहना है कि Compressed Sparse Attention 2 में cross-layer KV-cache reuse और FP4 KV caching मिलकर HBM में रहने वाले global KV-cache को 890 बाइट प्रति टोकन तक घटाते हैं। यह DeepSeek-V4-Flash के संबंधित फुटप्रिंट का करीब एक-चौथाई है। 7
8
इसी तकनीकी सामग्री के अनुसार, SWA Bounded Replay से SSD या होस्ट मेमोरी में रहने वाले persistent KV-cache का आकार V4-Flash के मुकाबले लगभग एक-आठवां रह जाता है। 7
ऑपरेटरों के लिए इसका व्यावहारिक संकेत यह है कि लंबी-कॉन्टेक्स्ट और मल्टीमॉडल सर्विंग में प्रति अनुरोध कम KV state रहने से एक ही मेमोरी बजट में अधिक समवर्ती सत्र संभव हो सकते हैं। लेकिन ये DeepSeek द्वारा बताए गए मॉडल-डिजाइन आंकड़े हैं, न कि Cambricon क्लस्टर के स्वतंत्र end-to-end बेंचमार्क। इन्हें हर तैनाती के लिए थ्रूपुट, लेटेंसी, सटीकता, उपलब्धता या लागत की गारंटी नहीं मानना चाहिए।
सर्विंग अनुकूलन साथ मिलकर कैसे काम करते हैं
Cambricon की सार्वजनिक सॉफ्टवेयर सामग्री vLLM पर बड़े MoE मॉडलों के लिए कई तकनीकों का उल्लेख करती है। 18
- मिश्रित और लो-प्रिसिजन इन्फरेंस: वेट और एक्टिवेशन के स्टोरेज तथा मेमोरी ट्रैफिक को घटा सकता है।
- पैरेललिज़्म अनुकूलन और large-scale expert parallelism: मॉडल व रूट किए गए एक्सपर्ट काम को कई एक्सेलरेटरों में बांटने के लिए हैं।
- Communication–compute overlap: collective communication या expert-routing डेटा के स्थानांतरण के दौरान भी डिवाइसों को उपयोगी गणना में लगाए रखने का लक्ष्य रखता है।
- Prefill–decode disaggregation: प्रॉम्प्ट प्रोसेसिंग और टोकन जनरेशन को अलग संसाधन पूलों में चलाने देता है, ताकि दोनों चरणों को अलग तरीके से ट्यून किया जा सके।
ये उपाय एक-दूसरे के पूरक हैं। Prefill अक्सर प्रॉम्प्ट और बैंडविड्थ-प्रधान होता है, जबकि decode क्रमिक है और लेटेंसी के प्रति अधिक संवेदनशील रहता है। MoE routing भी वितरित सिस्टम में समन्वय की अतिरिक्त मांग पैदा करता है। लक्ष्य केवल अधिक सैद्धांतिक FLOPS नहीं, बल्कि बेहतर उपयोगिता और अधिक अनुमानित समवर्ती सेवा है।
उपलब्ध सार्वजनिक सामग्री में V4.1-Flash के लिए Cambricon हार्डवेयर पर पुनरुत्पाद्य थ्रूपुट, लेटेंसी, मॉडल गुणवत्ता, क्लस्टर टोपोलॉजी या सेवा-उपलब्धता के माप उपलब्ध नहीं हैं। इसलिए “production-ready” का अर्थ समर्थित और उपयोग योग्य तैनाती-पथ समझना उचित है; क्षमता या SLA तय करने से पहले ऑपरेटरों को स्वयं परीक्षण करना चाहिए।
PyTorch Foundation की Platinum सदस्यता का संकेत
8 सितंबर 2026 को PyTorch Foundation ने घोषणा की कि Cambricon Platinum सदस्य बना है। 49 Foundation ने अलग से यह भी कहा कि Cambricon ने vLLM समुदाय के साथ DeepSeek-V4 और GLM-5 सहित ओपन-सोर्स मॉडलों के लिए Day-0 समर्थन पर काम किया है।
57
इसका व्यापक अर्थ इकोसिस्टम के साथ तालमेल है। एक्सेलरेटर समर्थन तब ज्यादा उपयोगी बनता है जब वह लोकप्रिय सार्वजनिक फ्रेमवर्क और सर्विंग लेयर के जरिए मिले, न कि उपयोगकर्ता को विक्रेता-विशिष्ट अलग स्टैक बनाए रखना पड़े। सदस्यता अपने-आप हर मॉडल या फीचर के upstream समर्थन की गारंटी नहीं देती, लेकिन यह PyTorch और vLLM संगतता पर Cambricon के घोषित फोकस को मजबूत करती है।
किन मॉडल परिवारों पर काम हुआ है?
Cambricon की सामग्री में DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 और Hunyuan-Video से जुड़ा काम सूचीबद्ध है। 18 हालांकि इसमें ट्रेनिंग सपोर्ट और व्यापक सॉफ्टवेयर अनुकूलन दोनों शामिल हैं। इससे यह सिद्ध नहीं होता कि हर परिवार को DeepSeek-V4.1-Flash जैसा Day-0, production-vLLM-inference दर्जा मिला है।
सावधानी से निकाला गया निष्कर्ष यही है कि Cambricon का कई चीनी मॉडल परिवारों पर सॉफ्टवेयर-सपोर्ट आधार है, जबकि किसी खास रिलीज़ की इन्फरेंस उपलब्धता, प्रिसिजन, मल्टीमॉडल कवरेज और Day-0 स्थिति अलग से सत्यापित की जानी चाहिए।
क्लस्टर ऑपरेटरों के लिए उसी दिन उपलब्धता क्यों मायने रखती है
लॉन्च-दिन की संगतता मॉडल रिलीज़ और मौजूदा ढांचे पर नियंत्रित मूल्यांकन के बीच का अंतर घटा सकती है। सार्वजनिक vLLM पथ टीमों को capacity planning, routing, observability, quantization मूल्यांकन और इंटीग्रेशन टेस्टिंग के लिए कस्टम सर्विंग फोर्क के बजाय एक परिचित आधार देता है।
DeepSeek-V4.1-Flash में यह विशेष रूप से प्रासंगिक है, क्योंकि इसकी बताई गई cache compression लंबी-कॉन्टेक्स्ट सर्विंग के मुख्य दबाव-बिंदुओं—सक्रिय सत्रों के लिए HBM क्षमता और cache reuse के लिए persistent storage अथवा host memory—को लक्ष्य बनाती है। 7
8
बड़ी बात यह नहीं है कि एक Day-0 घोषणा हर स्थिति में उत्पादन प्रदर्शन सिद्ध कर देती है। बात यह है कि रनटाइम, फ्रेमवर्क ऑपरेटर, कर्नेल, वितरित निष्पादन और सर्विंग टूलिंग में दोहराए जा सकने वाले समर्थन से एक्सेलरेटर enablement मॉडल लॉन्च के बहुत करीब आ सकता है—खासकर जब आने वाले ओपन मॉडल और बड़े, अधिक sparse तथा अधिक multimodal होंगे।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Cambricon ने DeepSeek-V4.1-Flash को vLLM पर Day-0 में कैसे चलाया" का संक्षिप्त उत्तर क्या है?
Cambricon का कहना है कि DeepSeek V4.1 Flash को रिलीज़ के दिन ही ओपन सोर्स vLLM स्टैक पर उसके MLU एक्सेलरेटरों के लिए सक्षम किया गया; इसमें NeuWare, Torch MLU Ops और अनुकूलित BangC कर्नेल शामिल हैं। [13]
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Cambricon का कहना है कि DeepSeek V4.1 Flash को रिलीज़ के दिन ही ओपन सोर्स vLLM स्टैक पर उसके MLU एक्सेलरेटरों के लिए सक्षम किया गया; इसमें NeuWare, Torch MLU Ops और अनुकूलित BangC कर्नेल शामिल हैं। [13] DeepSeek V4.1 Flash एक 552 अरब बैकबोन पैरामीटर वाला मल्टीमॉडल MoE मॉडल है। यह प्रीफिल में लगभग 8 अरब और डिकोड में 16 अरब पैरामीटर सक्रिय करता है; DeepSeek के अनुसार इसका वैश्विक KV cache 890 बाइट प्रति टोकन है। [5][7][8]
मुझे अभ्यास में आगे क्या करना चाहिए?
मुख्य लाभ एक परिचित सार्वजनिक vLLM सर्विंग पथ का तेज़ी से उपलब्ध होना है। फिर भी, ऑपरेटरों को अपने मॉडल संस्करण, प्रिसिजन, कॉन्टेक्स्ट लंबाई, बैचिंग और क्लस्टर कॉन्फ़िगरेशन पर अलग से परीक्षण करना चाहिए।