उत्तरप्रकाशित46 स्रोत
NVIDIA ने DeepSeek V4 Inference Cost को 5x कम किया: Software से मिला कमाल का कारनामा
NVIDIA ने सिर्फ सॉफ्टवेयर ऑप्टिमाइजेशन के जरिये Blackwell GPU पर DeepSeek V4 की प्रति टोकन लागत को एक महीने में 5 गुना कम कर दिया [12][15][27]। डायनेमो फ्रेमवर्क, डिसएग्रीगेटेड सर्विंग, NVFP4 प्रेसिजन और मल्टी टोकन प्रेडिक्शन जैसी तकनीकों ने मिलकर प्रति GPU थ्रूपुट को 20 गुना तक बढ़ाया [27][29]। DeepSeek V4 मॉडल फैम...
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What software optimizations did Nvidia implement to reduce DeepSeek V4 inference costs by up to f. Article summary: ## 1. Software Optimizations Behind the 5x Cost Reduction. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
5 गुना कमी: कोड से आई चमत्कारी बचत, नए सिलिकॉन से नहीं
30 जून, 2026 को NVIDIA ने घोषणा की कि एक महीने के पूर्ण-स्टैक सॉफ्टवेयर ऑप्टिमाइजेशन ने Blackwell GPU पर DeepSeek V4 के लिए प्रति-टोकन लागत को लॉन्च के दिन की तुलना में लगभग पांच गुना कम कर दिया है । यह उपलब्धि इसलिए उल्लेखनीय है क्योंकि यह पूरी तरह से सॉफ्टवेयर से आई है — कोई नया हार्डवेयर, कोई चिप रिवीजन या सिस्टम रीडिज़ाइन नहीं
। बड़े पैमाने पर इनफरेंस चलाने वाले एंटरप्राइजेज और AI प्रोवाइडर्स के लिए, यह 5x सुधार लाभदायक एजेंटिक AI वर्कलोड और अलाभकारी वर्कलोड के बीच का अंतर तय कर सकता है।
यह लेख बताता है कि NVIDIA ने वास्तव में किन ऑप्टिमाइजेशन तकनीकों का उपयोग किया, DeepSeek V4 मॉडल फैमिली के अंदरूनी विनिर्देश क्या हैं, कौन से इनफरेंस प्रोवाइडर इन सुधारों का लाभ उठा रहे हैं, और NVIDIA लागत-प्रति-टोकन पर अपने फोकस के पीछे की आर्थिक तर्क कैसे प्रस्तुत करता है।
5x लागत कमी के पीछे का सॉफ्टवेयर जादू
NVIDIA ने अपने इनफरेंस ऑप्टिमाइजेशन स्टैक को तीन परतों में बांटा है: प्रोडक्शन ऑपरेशन्स, एप्लीकेशन एक्सेलेरेशन, और इन्फ्रास्ट्रक्चर एक्सेस । इन परतों में से, जिन तकनीकों ने यह 5x सुधार दिया, वे इस प्रकार हैं:
NVIDIA Dynamo इनफरेंस फ्रेमवर्क
डायनेमो एक ओपन-सोर्स डिस्ट्रीब्यूटेड सर्विंग फ्रेमवर्क है जो इनफरेंस के विभिन्न चरणों (प्रीफिल और डिकोड) को अलग-अलग GPU पर बांटता है । यह अनुरोधों को सही GPU पर बुद्धिमानी से रूट करता है और NVLink-आधारित कैशिंग के जरिये GPU मेमोरी को बढ़ाता है
। डायनेमो SGLang, TensorRT-LLM और vLLM को सपोर्ट करता है
।
TensorRT-LLM ऑप्टिमाइजेशन
NVIDIA ने Blackwell लॉन्च के दो महीनों के भीतर, बिना किसी हार्डवेयर बदलाव के, केवल TensorRT-LLM ऑप्टिमाइजेशन के माध्यम से प्रति-टोकन लागत में 5 गुना की कमी हासिल की ।
डिसएग्रीगेटेड सर्विंग
यह तकनीक प्रीफिल (इनपुट प्रोसेसिंग) और डिकोड (टोकन जनरेशन) चरणों को अलग-अलग GPU पर अलग करती है, जिससे संसाधन प्रतिस्पर्धा खत्म होती है और प्रत्येक चरण को स्वतंत्र रूप से ऑप्टिमाइज़ किया जा सकता है ।
लार्ज-स्केल एक्सपर्ट पैरेललिज्म
DeepSeek V4 मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करता है जिसमें 384 वितरित एक्सपर्ट हैं । ऑप्टिमाइज़्ड रूटिंग टोकन को इन एक्सपर्ट्स के बीच बांटती है, जिससे अनावश्यक गणना कम होती है
।
NVFP4 प्रेसिजन
इनफरेंस के लिए 4-बिट फ्लोटिंग-पॉइंट प्रेसिजन का उपयोग करने से मेमोरी बैंडविड्थ और कंप्यूट आवश्यकताएं कम हो जाती हैं । NVIDIA के NVFP4 क्वांटाइजेशन ने मेमोरी फुटप्रिंट को 1.7 गुना कम किया (FP8 के 690 GB की तुलना में 415 GB)
।
मल्टी-टोकन प्रेडिक्शन (MTP)
MTP प्रति फॉरवर्ड पास कई टोकन उत्पन्न करता है, जिससे थ्रूपुट बढ़ता है । SGLang ने MTP का उपयोग करके GB300 NVL72 हार्डवेयर पर प्रति GPU 12,000 टोकन प्रति सेकंड से अधिक की गति हासिल की
।
ऑप्टिमाइज़्ड CUDA कर्नेल
सभी ऑप्टिमाइज़ेशन NVIDIA से ही नहीं आए। SemiAnalysis को DeepSeek V4 की नवीन आर्किटेक्चर के लिए NVIDIA के ओपन-सोर्स mHC (मैनिफोल्ड-कॉन्स्ट्रेंड हाइपर-कनेक्शन) कर्नेल को ठीक करना पड़ा ।
SGLang सर्विंग रेसिपीज़
LMSYS Org ने SGLang का उपयोग करके NVIDIA GB300 NVL72 हार्डवेयर पर प्रति GPU थ्रूपुट को लगभग 2,200 से बढ़ाकर 11,200 टोकन प्रति सेकंड कर दिया ।
कुल मिलाकर, इन ऑप्टिमाइज़ेशन ने Blackwell पर प्रति GPU थ्रूपुट को 20 गुना तक बढ़ा दिया ।
DeepSeek V4 मॉडल फैमिली की विशेषताएं
DeepSeek V4, 24 अप्रैल 2026 को MIT लाइसेंस के तहत दो-स्तरीय मॉडल फैमिली के रूप में जारी किया गया था ।
| विनिर्देश | DeepSeek-V4-Pro | DeepSeek-V4-Flash |
|---|---|---|
| कुल पैरामीटर | 1.6 ट्रिलियन | 284 बिलियन |
| सक्रिय पैरामीटर (प्रति टोकन) | 49 बिलियन | 13 बिलियन |
| आर्किटेक्चर | MoE + हाइब्रिड अटेंशन (CSA + HCA) + mHC | MoE + हाइब्रिड अटेंशन (CSA + HCA) + mHC |
| कॉन्टेक्स्ट विंडो | 10,00,000 टोकन | 10,00,000 टोकन |
| प्री-ट्रेनिंग डेटा | 32T+ विविध टोकन | 32T+ विविध टोकन |
| लाइसेंस | MIT (ओपन वेट) | MIT (ओपन वेट) |
| प्रेसिजन | FP4 (एक्सपर्ट) + FP8 (अन्य वेट) मिक्स्ड | FP4 (एक्सपर्ट) + FP8 (अन्य वेट) मिक्स्ड |
| मुख्य नवाचार | हाइब्रिड अटेंशन: DeepSeek-V3.2 की तुलना में प्रति-टोकन FLOPs में 73% और KV कैश मेमोरी में 90% की कमी | गति और कम लागत के लिए हल्का वैरिएंट |
स्रोत:
हाइब्रिड अटेंशन आर्किटेक्चर कंप्रेस्ड स्पार्स अटेंशन (CSA) और हैविली कंप्रेस्ड अटेंशन (HCA) को जोड़ता है, जो 10 लाख टोकन कॉन्टेक्स्ट पर DeepSeek-V3.2 के केवल 27% FLOPs का उपयोग करता है ।
इन ऑप्टिमाइज़ेशन का उपयोग करने वाले प्रोवाइडर्स
- LMSYS Org (SGLang) — NVIDIA GB300 NVL72 हार्डवेयर पर 5x थ्रूपुट वृद्धि (23 जून, 2026)
।
- NVIDIA NIM — NVIDIA API कैटलॉग के माध्यम से DeepSeek-V4-Pro एंडपॉइंट्स
।
- vLLM — लॉन्च के कुछ दिनों के भीतर DeepSeek V4 सपोर्ट
।
- TensorRT-LLM — NVIDIA का ऑप्टिमाइज़्ड रनटाइम
।
- DeepInfra — $0.435/M इनपुट और $0.87/M आउटपुट टोकन पर एंडपॉइंट्स
।
- Together AI, Fireworks AI, Baseten — NVIDIA के अनुसार, इन प्रोवाइडर्स ने लागत-प्रति-टोकन में 10x तक की कमी की
।
Agentic AI वर्कलोड के लिए NVIDIA का आर्थिक दृष्टिकोण
NVIDIA लागत-प्रति-टोकन को इनफरेंस TCO का सबसे महत्वपूर्ण मीट्रिक बताता है — और पुराने मीट्रिक जैसे लागत-प्रति-GPU-घंटा या FLOPS-प्रति-डॉलर को सिरे से खारिज करता है ।
यह बदलाव सीधे तौर पर एजेंटिक AI से जुड़ा है। जैसे-जैसे AI एक-शॉट जवाबों से बहु-चरणीय तर्क की ओर बढ़ता है, प्रति क्वेरी उत्पन्न टोकन की संख्या 100 गुना से 1000 गुना तक बढ़ सकती है । Gartner के मार्च 2026 के विश्लेषण ने पुष्टि की कि एजेंटिक AI मॉडल को मानक चैटबॉट की तुलना में प्रति कार्य 5-30 गुना अधिक टोकन की आवश्यकता होती है
।
उद्योग अनुमानों के अनुसार, 55-80% एंटरप्राइज AI GPU खर्च इनफरेंस पर जाता है, न कि ट्रेनिंग पर । Deloitte का अनुमान है कि 2026 में इनफरेंस सभी AI कंप्यूट का लगभग दो-तिहाई हिस्सा है
।
NVIDIA इसे एक रणनीतिक लाभ के रूप में देखता है: "NVIDIA ने TensorRT-LLM ऑप्टिमाइज़ेशन के माध्यम से, बिना किसी हार्डवेयर बदलाव के, प्रति टोकन लागत में 5 गुना की कमी हासिल की" ।
संक्षेप में, NVIDIA का संदेश स्पष्ट है: एजेंटिक AI को प्रति कार्य नाटकीय रूप से अधिक इनफरेंस टोकन की आवश्यकता होती है; Blackwell पर सॉफ्टवेयर-स्तर के इनफरेंस ऑप्टिमाइज़ेशन बिना नए हार्डवेयर के इन टोकन लागतों को 5 गुना कम कर सकते हैं, जो सीधे तौर पर यह तय करता है कि बड़े पैमाने पर एजेंट डिप्लॉयमेंट लाभदायक होंगे या नहीं ।
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
लोग पूछते भी हैं
"NVIDIA ने DeepSeek V4 Inference Cost को 5x कम किया: Software से मिला कमाल का कारनामा" का संक्षिप्त उत्तर क्या है?
NVIDIA ने सिर्फ सॉफ्टवेयर ऑप्टिमाइजेशन के जरिये Blackwell GPU पर DeepSeek V4 की प्रति टोकन लागत को एक महीने में 5 गुना कम कर दिया [12][15][27]।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
NVIDIA ने सिर्फ सॉफ्टवेयर ऑप्टिमाइजेशन के जरिये Blackwell GPU पर DeepSeek V4 की प्रति टोकन लागत को एक महीने में 5 गुना कम कर दिया [12][15][27]। डायनेमो फ्रेमवर्क, डिसएग्रीगेटेड सर्विंग, NVFP4 प्रेसिजन और मल्टी टोकन प्रेडिक्शन जैसी तकनीकों ने मिलकर प्रति GPU थ्रूपुट को 20 गुना तक बढ़ाया [27][29]।
मुझे अभ्यास में आगे क्या करना चाहिए?
DeepSeek V4 मॉडल फैमिली: V4 Pro (1.6 ट्रिलियन पैरामीटर, 49B एक्टिव) और V4 Flash (284 बिलियन, 13B एक्टिव), दोनों का 10 लाख टोकन कॉन्टेक्स्ट विंडो [1][4][6][7][8][9][10][14][16]।
सूत्र
- nxcode.ioDeepSeek V4: Kõik, mida teame – Specs, Benchmarks ja ... - NxCode
- introl.comDeepSeek V4 Targets Coding Dominance with Mid-February - Introl
- x.comnvidia
- morphllm.comDeepSeek V4: 1.6T MoE, 1M Context, $0.87/M Output. Architecture ...
- deepinfra.comDeepSeek V4 Pro: Model Overview, Features & Performance Guide
- framia.converge.aiDeepSeek V4 AI Model Details: Full Specs & Capabilities (2026)
- developer.nvidia.comDynamo Inference Framework - NVIDIA Developer
- dev.toDeepSeek V4 Complete Guide — 1.6T MoE with 1M Context at 73% Lower Cost
- perspectives.nvidia.comNVIDIA Blackwell Cuts AI Token Costs 5× with TensorRT‑LLM & Dynamo—See the Economics
- youtube.comDeepSeek V4 Explained: 1.6 Trillion Parameters & 1 Million Token Context
- techcommunity.microsoft.comResults: Nvidia Gb200 Node...
- x.comSGLang exceeds 12K tok/s per GPU on DeepSeek V4 Pro 1.6T (FP4 ...
- nxcode.ioDeepSeek V4: Kõik, mida teame – Specs, Benchmarks ja ...
- newsletter.semianalysis.comDeepSeekV4 1.6T Day 0 to Day 43 Performance Over Time
- huggingface.codeepseek-ai/DeepSeek-V4-Pro - Hugging Face
- theagenttimes.comLMSYS and NVIDIA Push DeepSeek-V4 Throughput 5x ...
- linkedin.comNVIDIA Extreme Co-Design Meets DeepSeek V4 Inference - LinkedIn
- nxcode.ioDeepSeek V4 - Specs, Benchmarks a datum vydání (2026) - NxCode
- sitepoint.comDeepSeek V4 Released: What's New in the Latest Model (2026)
- developer.nvidia.comBuild with DeepSeek V4 Using NVIDIA Blackwell and GPU-Accelerated Endpoints | NVIDIA Technical Blog
- docs.clore.aiDeepSeek V4 (1.6T MoE, Multimodal) | Guides - Clore.ai
- api-docs.deepseek.comDeepSeek V4 Preview Release
- introl.comApi Pricing Disruption
- nxcode.ioDeepSeek V4 (2026): 1T Parameters, 81% SWE-bench, $0.30/MTok ...
- docs.api.nvidia.comdeepseek-ai / deepseek-v4-pro - NVIDIA API Documentation
- deepseek.aiDeepSeek V4 (2026) — 1T Params, Benchmarks & Pricing
- letsdatascience.comNVIDIA Adds Day-0 DeepSeek V4 Blackwell Support
- blogs.nvidia.comNew SemiAnalysis InferenceX Data Shows NVIDIA Blackwell Ultra ...
- biz.chosun.comNvidia slashes AI inference costs tenfold, speeds tokenomics adoption
- developer.nvidia.comInference Performance for Data Center Deep Learning
- nvidia.com35x Lower Token Cost with Blackwell | NVIDIA AI Inference
- blogs.nvidia.comRethinking AI TCO: Why Cost per Token Is the Only Metric That Matters
- facebook.comCost per token is the metric that defines inference TCO, not compute ...
- zylos.aiInference Economics: AI Agent Compute Markets in 2026 - Zylos
- spheron.networkAI Inference Cost Economics in 2026: GPU FinOps Playbook
- businessengineer.aiThe State of The Inference Economy - The Business Engineer
- facebook.comNVIDIA inference software keeps driving down token costs, long ...
- theagenttimes.comNVIDIA Claims Lowest Cost Per Token as Huang Positions ...
- perspectives.nvidia.comAI Scaling 2026: Token Costs & NVIDIA Blackwell Efficiency
- developer.nvidia.comAdvancing Kv Caching To...
- docs.nvidia.comSupport Matrix | NVIDIA Dynamo Documentation
- developer.nvidia.comNVIDIA Dynamo, A Low-Latency Distributed Inference Framework ...
- finance.sina.com.cn英伟达刷新DeepSeek V4 推理纪录：单Token 成本降至1/5 - 新浪财经
- frontiernews.aiDeepSeek V4 Just Broke the 1-Million-Token Barrier on ...
- wccftech.comNVIDIA Slashes DeepSeek v4 Token Costs By Up To 5x Just One ...
- asia.nikkei.comNvidia unveils new Blackwell chip that makes DeepSeek faster and cheaper