उत्तरप्रकाशित16 स्रोत
Kimi K3 की दोहरी स्केलिंग रणनीति: विशाल MoE मॉडल और ज्यादा इन्फरेंस कंप्यूट
Moonshot AI के मुताबिक फ्रंटियर AI क्षमता के दो आधार हैं: डिप्लॉयमेंट से पहले मॉडल क्षमता बढ़ाना और डिप्लॉयमेंट के बाद रीजनिंग, टूल यूज़ व एजेंटिक काम के लिए अधिक कंप्यूट खर्च करना। Kimi K3 में 2.8 ट्रिलियन कुल पैरामीटर हैं, लेकिन हर टोकन पर करीब 104 अरब पैरामीटर सक्रिय होते हैं। KDA, Gated MLA, AttnRes, Stable Late...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Moonshot AI के मुताबिक फ्रंटियर AI क्षमता के दो आधार हैं: डिप्लॉयमेंट से पहले मॉडल क्षमता बढ़ाना और डिप्लॉयमेंट के बाद रीजनिंग, टूल यूज़ व एजेंटिक काम के लिए अधिक कंप्यूट खर्च करना।
- Kimi K3 में 2.8 ट्रिलियन कुल पैरामीटर हैं, लेकिन हर टोकन पर करीब 104 अरब पैरामीटर सक्रिय होते हैं। KDA, Gated MLA, AttnRes, Stable LatentMoE और MoonEP इसी बड़े पैमाने को व्यावहारिक बनाने के लिए साथ काम करते हैं।
- लागत के दावों को सावधानी से पढ़ना चाहिए: एक प्रकाशित तुलना में K3 के लिए लगभग 0.94 डॉलर और GPT 5.6 Sol के लिए 1.04 डॉलर प्रति पूरा कार्य अनुमानित है; इससे ‘आधी लागत’ वाला सार्वभौमिक दावा साबित नहीं होता। [20]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Moonshot AI’s 47-page Kimi K3 technical report argue that AI progress depends on scaling both pre-deployment model size and post-de. Article summary: K3’s core argument is that frontier progress requires scaling two complementary resources: model capacity before deployment, and the compute spent after deployment on long reasoning, tool use, and agentic rollouts. Its a. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Moonshot AI, Kimi K3 को दो-अक्षीय स्केलिंग के उदाहरण के रूप में पेश करता है: पहले डिप्लॉयमेंट से पूर्व मॉडल को बहुत बड़ा बनाइए, फिर डिप्लॉयमेंट के बाद उसे इतना कंप्यूट दीजिए कि वह तर्क कर सके, टूल इस्तेमाल कर सके, वेब ब्राउज़ कर सके, कोड लिख सके और गलतियों से उबर सके। असली चुनौती अर्थशास्त्र की है। मॉडल को केवल अधिक घना और गहरा बनाने से काम नहीं चलेगा, यदि लंबे कॉन्टेक्स्ट की सर्विंग लागत इन क्षमताओं को अव्यावहारिक बना दे। K3 का डिज़ाइन कुल क्षमता बढ़ाते हुए प्रत्येक जनरेट किए गए टोकन पर कंप्यूट और मेमरी का खर्च सीमित रखने की कोशिश है। 1
कुल क्षमता और सक्रिय कंप्यूट में फर्क
Kimi K3 को एक नेटिव मल्टीमॉडल मिश्रण-ऑफ-एक्सपर्ट्स (MoE) मॉडल बताया गया है, जिसमें 2.8 ट्रिलियन कुल पैरामीटर, प्रति टोकन करीब 104 अरब सक्रिय पैरामीटर, और अधिकतम 10 लाख टोकन की कॉन्टेक्स्ट विंडो है। 1
17
ये दोनों पैरामीटर आंकड़े अलग सवालों के जवाब देते हैं:
- कुल पैरामीटर बताते हैं कि विशेषज्ञों के पूरे समूह में कितनी क्षमता मौजूद है।
- प्रति टोकन सक्रिय पैरामीटर बताते हैं कि रूटिंग के बाद किसी विशेष टोकन के लिए उस क्षमता का कितना हिस्सा इस्तेमाल होता है।
MoE की व्यावहारिक अपील यही है: K3 कुल आकार में उस डेंस मॉडल से बहुत बड़ा हो सकता है, जिसका प्रति-टोकन कंप्यूट फुटप्रिंट लगभग समान हो। सर्विंग सस्ती नहीं हो जाती—104 अरब सक्रिय पैरामीटर भी बहुत बड़ा आंकड़ा है—लेकिन हर टोकन पर डेंस 2.8 ट्रिलियन-पैरामीटर नेटवर्क की इन्फरेंस लागत नहीं चुकानी पड़ती। 1
इसलिए Moonshot का दावा केवल “ज्यादा पैरामीटर बेहतर हैं” नहीं है। उसका तर्क यह है कि सशर्त कंप्यूटेशन से मॉडल क्षमता का नया पैमाना लंबे समय तक चलने वाले कार्यों के लिए उपयोगी बनाया जा सकता है।
लंबे कॉन्टेक्स्ट के लिए अलग अटेंशन स्टैक क्यों चाहिए
10 लाख टोकन का कॉन्टेक्स्ट कठिन सिर्फ ट्रेनिंग के कारण नहीं है। पारंपरिक अटेंशन में क्रम बढ़ने के साथ मेमरी और कंप्यूट का खर्च भी भारी हो सकता है। K3 एक हाइब्रिड डिज़ाइन इस्तेमाल करता है, जो Kimi Delta Attention (KDA) और Gated Multi-head Latent Attention (Gated MLA) को मिलाता है। रिपोर्ट के अनुसार बैकबोन में 69 KDA लेयर और 24 Gated MLA लेयर हैं, जिन्हें मुख्यतः तीन KDA और एक MLA के पैटर्न में रखा गया है। 1
12
KDA: लंबे क्रम के लिए स्थिर स्टेट
KDA मॉडल का लीनियर-अटेंशन घटक है। पूरे पुराने कॉन्टेक्स्ट के लिए हर ऐसी लेयर में बढ़ता हुआ पारंपरिक की-वैल्यू कैश रखने के बजाय, यह एक निश्चित आकार के रिकरेंट स्टेट का उपयोग करता है। लक्ष्य यह है कि पिछले कॉन्टेक्स्ट के साथ मेमरी स्टेट और डिकोडिंग कार्य उसी तरह न बढ़ें जैसे फुल अटेंशन में बढ़ते हैं। 1
रिपोर्ट KDA की डिके रेट के लिए निचली सीमा का भी वर्णन करती है। यह केवल मॉडलिंग की पसंद नहीं है: इससे अत्यंत छोटे डिके मानों से जुड़ी संख्यात्मक दिक्कतें रोकी जाती हैं और टेंसर-कोर निष्पादन के अनुकूल ब्लॉक्ड इम्प्लीमेंटेशन संभव होता है। 1
Gated MLA: वैश्विक जानकारी की वापसी
सिर्फ लीनियर रिकरेंस पूरे कॉन्टेक्स्ट में चयनात्मक वैश्विक खोज का वैसा व्यवहार नहीं दे सकती जैसा फुल अटेंशन दे सकता है। इसलिए K3 पूरे नेटवर्क में Gated MLA लेयर बनाए रखता है। इस हाइब्रिड में KDA अपेक्षाकृत कम लागत वाला सतत क्रम-प्रसंस्करण देता है, जबकि MLA समय-समय पर ग्लोबल रिट्रीवल उपलब्ध कराता है। 1
यह डिज़ाइन इसलिए अहम है क्योंकि लंबा कॉन्टेक्स्ट केवल आर्किटेक्चर का नहीं, सिस्टम का भी प्रश्न है। बड़ी कॉन्टेक्स्ट विंडो का फायदा तभी है जब मॉडल प्रासंगिक जानकारी निकाल सके और उपयोगी लागत पर जवाब भी दे सके।
93 लेयर में जानकारी बचाने की AttnRes कोशिश
K3 का दूसरा आर्किटेक्चरल घटक Attention Residuals (AttnRes) है। मॉडल में 93 लेयर हैं, और रिपोर्ट के मुताबिक AttnRes बाद की लेयरों को पहले के डेप्थ ब्लॉकों से संकुचित प्रतिनिधित्व वापस पाने देता है। इससे सारी जानकारी को केवल एक-एक लेयर से होकर क्रमशः आगे बढ़ने के लिए मजबूर नहीं होना पड़ता। 1
सरल शब्दों में, KDA अनुक्रम की लंबाई के पार सूचना-प्रवाह की समस्या संभालता है, जबकि AttnRes नेटवर्क की गहराई के पार सूचना-प्रवाह को संभालता है। ऐसे गहरे मॉडल में, जहां स्टैक का बड़ा हिस्सा लीनियर अटेंशन इस्तेमाल करता है, यह जोड़ी महत्वपूर्ण है: महंगे ग्लोबल अटेंशन को घटाने का लाभ तभी है जब उपयोगी जानकारी लेयरों के बीच खो न जाए या अलग-थलग न पड़ जाए। 1
Stable LatentMoE: सशर्त क्षमता का आधार
रिपोर्ट के अनुसार K3 की MoE लेयर में 896 रूटेड एक्सपर्ट हैं और हर टोकन के लिए 16 एक्सपर्ट चुने जाते हैं। 1
6 यही कुल और सक्रिय पैरामीटर के विशाल अंतर की तकनीकी वजह है।
रिपोर्ट का Stable LatentMoE तरीका रूटिंग को स्थिर और संतुलित रखने पर केंद्रित है। यह बैच-स्तर पर एक्सपर्ट असाइनमेंट को एक ऑप्टिमाइजेशन समस्या मानता है और क्वांटाइल-आधारित संतुलन लागू करता है। रिपोर्ट अपनी निर्धारित मान्यताओं के तहत एक सटीक सर्वोत्तम समाधान व्युत्पन्न करती है; हालांकि डिप्लॉयमेंट में हर इन्फरेंस बैच के लिए इस संतुलन समस्या को फिर से हल करने के बजाय, सामान्य top-k चयन के साथ स्थिर एक्सपर्ट बायस इस्तेमाल किए जाते हैं। 1
यह फर्क जरूरी है। “परफेक्ट” संतुलन का दावा रिपोर्ट की रूटिंग-फॉर्मुलेशन का परिणाम है; यह गारंटी नहीं कि हर वास्तविक प्रोडक्शन वर्कलोड में टोकन एक्सपर्टों में बिल्कुल समान रूप से बंटेंगे।
MoonEP: स्पार्स रूटिंग को व्यवहार में लाना
बड़े MoE मॉडल नेटवर्किंग की समस्या भी पैदा करते हैं। चुने गए टोकन को अक्सर अपने असाइन किए गए एक्सपर्ट तक पहुंचने के लिए अलग-अलग डिवाइसों के बीच भेजना पड़ता है। यदि कुछ एक्सपर्टों पर अनुपातहीन मांग हो, तो सबसे धीमा कम्युनिकेशन पाथ ही लेटेंसी तय कर सकता है।
Moonshot, MoonEP को एक्सपर्ट-पैरेलल संचार के लिए पूरक सिस्टम लेयर के रूप में रखता है। इसका काम स्पार्स रूटिंग से बनने वाले all-to-all डेटा एक्सचेंज में असंतुलन घटाना है, ताकि विशाल एक्सपर्ट पूल को ट्रेन और सर्व किया जा सके। 1
यह K3 के व्यापक दावे का अहम हिस्सा है। आर्किटेक्चर, रूटिंग और कम्युनिकेशन को प्रदर्शन की अलग-अलग व्याख्याओं की तरह नहीं देखा जा सकता; सैद्धांतिक स्पार्स क्षमता को वास्तविक थ्रूपुट में बदलने के लिए तीनों की जरूरत है।
डिप्लॉयमेंट के बाद का दूसरा आधा: एजेंटिक काम के लिए कंप्यूट
K3 के तर्क का दूसरा अक्ष प्रीट्रेनिंग के बाद का चरण है। Moonshot लंबे समय तक चलने वाले कार्यों, टूल-यूज़, कोडिंग, ब्राउज़िंग और बार-बार समस्या सुलझाने वाली रिइन्फोर्समेंट-लर्निंग ट्रैजेक्टरी के लिए इन्फ्रास्ट्रक्चर का वर्णन करता है। रिपोर्ट कई डोमेन और रीजनिंग टीचरों को एक सिस्टम में डिस्टिल करने का भी उल्लेख करती है। 1
सहायक वातावरण एक हल्का वर्चुअल-मशीन सैंडबॉक्स सिस्टम है, जिसे बड़े पैमाने पर टास्क एनवायरनमेंट बनाने, स्नैपशॉट लेने और फिर से शुरू करने के लिए डिज़ाइन किया गया है। रिपोर्ट में 5.12 करोड़ सैंडबॉक्स इंस्टेंस, 133 मिलीसेकंड स्नैपशॉट, और 49 मिलीसेकंड रिस्टोर के आंकड़े दिए गए हैं। 1
रणनीतिक उद्देश्य सीधा है: यदि मॉडल से टेस्ट-टाइम पर अधिक योजना बनाने, टूल कॉल करने, अपना काम जांचने या लंबा कार्य जारी रखने की उम्मीद है, तो ट्रेनिंग सेटअप में भी उसे ऐसे अनुभवों से गुजरना होगा। वातावरण को सस्ते में रोकना, शाखाओं में बांटना और बहाल करना अधिक ट्रेनिंग रोलआउट को संभव बना सकता है।
इसका अर्थ यह नहीं कि मॉडल का हर उत्तर अपने-आप असीमित इन्फरेंस कंप्यूट लेगा। बल्कि रिपोर्ट का तर्क है कि सिस्टम अतिरिक्त चरणों और कॉन्टेक्स्ट को बेहतर कार्य-प्रदर्शन में बदल सके, केवल बड़े प्रीट्रेंड मॉडल पर निर्भर न रहे।
BrowseComp का 91.2% स्कोर क्या बताता है—और क्या नहीं
Kimi K3 के लिए लंबे समय तक चलने वाली सूचना-खोज का मूल्यांकन करने वाले बेंचमार्क BrowseComp पर 91.2% स्कोर रिपोर्ट किया गया है। एक तृतीय-पक्ष लीडरबोर्ड भी K3 को 91.2% पर दिखाता है, हालांकि रैंकिंग और रिपोर्टिंग कॉन्फ़िगरेशन समय के साथ बदल सकते हैं। 18
यह नतीजा उत्पाद के लक्ष्य से मेल खाता है: लंबे कॉन्टेक्स्ट, एजेंटिक पोस्ट-ट्रेनिंग और टेस्ट-टाइम रीजनिंग के लिए बनाए गए मॉडल को जटिल सूचना-खोज कार्यों पर परखा जाना चाहिए। लेकिन यह अलग-अलग घटकों का साफ एब्लेशन नहीं है।
एक अकेला बेंचमार्क स्कोर यह नहीं बता सकता कि परिणाम में KDA, AttnRes, एक्सपर्ट रूटिंग, कम्युनिकेशन इन्फ्रास्ट्रक्चर, RL एनवायरनमेंट, डिस्टिलेशन, प्रॉम्प्टिंग या इन्फरेंस-टाइम सेटिंग्स का योगदान कितना है। सबसे मजबूत निष्कर्ष यह है कि रिपोर्ट किया गया सिस्टम एक एकीकृत स्टैक के रूप में अच्छा प्रदर्शन करता है—यह नहीं कि सिर्फ एक आर्किटेक्चरल नवाचार ने स्कोर समझा दिया। 1
18
DeepSeek से तुलना मुख्यतः आर्किटेक्चर की है
K3 को अक्सर DeepSeek समेत अन्य बड़े ओपन मॉडल के लिए चुनौती के रूप में पेश किया जाता है। उपलब्ध रिपोर्ट से बचाव योग्य निष्कर्ष किसी अंतिम ओपन-मॉडल रैंकिंग का नहीं, बल्कि अलग डिज़ाइन प्राथमिकता का है: Moonshot बहुत बड़ी स्पार्स क्षमता, लंबे कॉन्टेक्स्ट का कुशल प्रसंस्करण और एजेंटों के लिए पोस्ट-ट्रेनिंग इन्फ्रास्ट्रक्चर को जोड़ने वाले स्टैक की वकालत कर रहा है। 1
17
पेपर K3 के स्पेसिफिकेशन और डिज़ाइन विकल्पों का समर्थन करता है। लेकिन वह अपने-आप यह स्थापित नहीं करता कि दूसरे ओपन मॉडल “ठहर गए” हैं, या किसी नामित प्रतिद्वंद्वी पर K3 की निर्णायक आर्किटेक्चरल बढ़त है। ऐसे व्यापक बाजार दावों के लिए लगातार और स्वतंत्र रूप से दोहराए गए तुलनात्मक परीक्षण चाहिए।
लागत के दावे कॉन्फ़िगरेशन पर निर्भर हैं
प्रति टोकन कीमत या प्रति कार्य लागत की तुलना को जरूरत से ज्यादा पढ़ लेना आसान है। यह प्रॉम्प्टिंग, रीजनिंग प्रयास, कॉन्टेक्स्ट लंबाई, कैशिंग, टूल उपयोग, थ्रूपुट मान्यताओं, मूल्य-तिथि और टेस्ट हार्नेस के साथ बदल सकती है।
उपलब्ध सामग्री में उद्धृत एक प्रकाशित तुलना K3 के लिए लगभग 0.94 डॉलर और GPT-5.6 Sol के लिए लगभग 1.04 डॉलर प्रति पूरा कार्य अनुमानित करती है। यह उस विशेष सेटअप में मामूली बढ़त का संकेत दे सकता है, लेकिन इससे “Sol की आधी लागत” वाला सार्वभौमिक दावा साबित नहीं होता। 20
कम नाटकीय लेकिन अधिक टिकाऊ निष्कर्ष यह है: K3 का उद्देश्य बहुत बड़े कुल मॉडल पैमाने पर लंबे कॉन्टेक्स्ट और एजेंटिक क्षमता को आर्थिक रूप से विश्वसनीय बनाना है। व्यवहार में यह लाभ मिलता है या नहीं, इसका उत्तर दोहराए जा सकने वाले मूल्यांकन और डिप्लॉयमेंट-विशिष्ट लागत लेखांकन से ही मिलेगा।
निष्कर्ष
Kimi K3 की तकनीकी रिपोर्ट फुल-स्टैक स्केलिंग का तर्क देती है। डिप्लॉयमेंट-पूर्व स्केल 2.8 ट्रिलियन-पैरामीटर MoE से आता है, जिसमें प्रति टोकन करीब 104 अरब पैरामीटर सक्रिय होते हैं। डिप्लॉयमेंट-पश्चात स्केल ऐसे मॉडल की ट्रेनिंग और सर्विंग से आता है जो लंबे कॉन्टेक्स्ट, टूल, रीजनिंग चरण और एजेंटिक रोलआउट का उपयोग कर सके। 1
17
KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP और RL सैंडबॉक्स इन्फ्रास्ट्रक्चर एक ही प्रस्ताव के हिस्से हैं: फ्रंटियर-स्तर का एजेंटिक व्यवहार केवल बड़े मॉडल से नहीं, बल्कि ऐसे डिज़ाइन से आएगा जो अधिक कॉन्टेक्स्ट और इन्फरेंस-टाइम के अधिक काम को उपयोगी बना सके। बेंचमार्क दावे इस एकीकृत दृष्टिकोण के लिए उत्साहजनक संकेत हैं, लेकिन उन्हें हर घटक के योगदान के अंतिम प्रमाण के बजाय रिपोर्ट किए गए सिस्टम-स्तर के परिणाम के रूप में पढ़ना चाहिए। 1
18
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Kimi K3 की दोहरी स्केलिंग रणनीति: विशाल MoE मॉडल और ज्यादा इन्फरेंस कंप्यूट" का संक्षिप्त उत्तर क्या है?
Moonshot AI के मुताबिक फ्रंटियर AI क्षमता के दो आधार हैं: डिप्लॉयमेंट से पहले मॉडल क्षमता बढ़ाना और डिप्लॉयमेंट के बाद रीजनिंग, टूल यूज़ व एजेंटिक काम के लिए अधिक कंप्यूट खर्च करना।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Moonshot AI के मुताबिक फ्रंटियर AI क्षमता के दो आधार हैं: डिप्लॉयमेंट से पहले मॉडल क्षमता बढ़ाना और डिप्लॉयमेंट के बाद रीजनिंग, टूल यूज़ व एजेंटिक काम के लिए अधिक कंप्यूट खर्च करना। Kimi K3 में 2.8 ट्रिलियन कुल पैरामीटर हैं, लेकिन हर टोकन पर करीब 104 अरब पैरामीटर सक्रिय होते हैं। KDA, Gated MLA, AttnRes, Stable LatentMoE और MoonEP इसी बड़े पैमाने को व्यावहारिक बनाने के लिए साथ काम करते हैं।
मुझे अभ्यास में आगे क्या करना चाहिए?
लागत के दावों को सावधानी से पढ़ना चाहिए: एक प्रकाशित तुलना में K3 के लिए लगभग 0.94 डॉलर और GPT 5.6 Sol के लिए 1.04 डॉलर प्रति पूरा कार्य अनुमानित है; इससे ‘आधी लागत’ वाला सार्वभौमिक दावा साबित नहीं होता। [20]