उत्तरप्रकाशित18 स्रोत
Baidu के नए ERNIE मॉडल में 280B पैरामीटर हैं—लेकिन हर टोकन पर 14B ही सक्रिय होते हैं
Baidu ने 5 नवंबर 2026 को ERNIE 5.5 Flash Base जारी किया—यह 280B कुल पैरामीटर वाला MoE मॉडल है, जिसमें हर टोकन पर 14B पैरामीटर सक्रिय होते हैं। यह तैयार निर्देश अनुसरण करने वाला सहायक नहीं, बल्कि आगे अनुकूलन और प्रशिक्षण के लिए प्रीट्रेनिंग के बाद का बेस चेकपॉइंट है। SGLang के दस्तावेज़ों में 1M टोकन तक कॉन्टेक्स्ट प...
प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Baidu ने 5 नवंबर 2026 को ERNIE 5.5 Flash Base जारी किया—यह 280B कुल पैरामीटर वाला MoE मॉडल है, जिसमें हर टोकन पर 14B पैरामीटर सक्रिय होते हैं।
- यह तैयार निर्देश अनुसरण करने वाला सहायक नहीं, बल्कि आगे अनुकूलन और प्रशिक्षण के लिए प्रीट्रेनिंग के बाद का बेस चेकपॉइंट है।
- SGLang के दस्तावेज़ों में 1M टोकन तक कॉन्टेक्स्ट परिनियोजन का समर्थन दिया गया है; इस्तेमाल से पहले कस्टम लाइसेंस की शर्तें पढ़ना ज़रूरी है।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Baidu ने 5 नवंबर 2026 को ERNIE-5.5-Flash-Base को Hugging Face पर जारी किया। यह डाउनलोड किए जा सकने वाला, केवल टेक्स्ट पर काम करने वाला mixture-of-experts (MoE) बेस मॉडल है। इसमें कुल 280 अरब पैरामीटर हैं, जबकि हर टोकन को प्रोसेस करते समय 14 अरब पैरामीटर सक्रिय होते हैं। Baidu के अनुसार, इसे 33.5 ट्रिलियन टोकन पर शुरू से प्रीट्रेन किया गया है।1
3
6
यहाँ 280B और 14B का फर्क समझना अहम है: 280B मॉडल की कुल क्षमता बताता है, जबकि 14B हर टोकन के लिए सक्रिय हिस्से को। 14B मॉडल के डाउनलोड का कुल आकार नहीं है। यह रिलीज़ आगे अनुकूलन के लिए शुरुआती चेकपॉइंट है—तैयार निर्देश-अनुसरण करने वाला चैट सहायक नहीं।6
यह रिलीज़ किस काम की है?
यह चेकपॉइंट प्रीट्रेनिंग पूरी होने के बाद का है, उससे आगे की मिड-ट्रेनिंग या पोस्ट-ट्रेनिंग के बिना। SGLang के दस्तावेज़ इसे किसी खास क्षेत्र के लिए अनुकूलन, निर्देश-अनुसरण की ट्रेनिंग और रीइन्फोर्समेंट लर्निंग शोध के शुरुआती आधार के रूप में बताते हैं। इसलिए यह उन टीमों के लिए उपयोगी हो सकता है जो मॉडल को अपने काम के मुताबिक ढालना चाहती हैं; लेकिन सहायक-जैसे उत्पाद में इस्तेमाल से पहले अतिरिक्त प्रशिक्षण की ज़रूरत पड़ सकती है।
दस्तावेज़ों में ट्रेनिंग के लिए अधिकतम कॉन्टेक्स्ट 128K टोकन और फाइन-ट्यूनिंग तथा इन्फरेंस के लिए 1M टोकन तक बताया गया है। SGLang की परिनियोजन गाइड भी 1M टोकन तक कॉन्टेक्स्ट का समर्थन दर्ज करती है।
Hugging Face पर FP8 वज़न उपलब्ध हैं और BF16 संस्करण भी सूचीबद्ध है। SGLang दोनों का समर्थन बताता है।5 फिर भी, इतना बड़ा चेकपॉइंट चलाने के लिए किस तरह का इंफ्रास्ट्रक्चर चाहिए, यह केवल पैरामीटर संख्या से तय नहीं होता।
MoE ढाँचे में सक्रिय पैरामीटर कैसे काम करते हैं?
Mixture-of-experts मॉडल में हर टोकन के लिए सभी पैरामीटर इस्तेमाल नहीं होते। ERNIE के 280B कुल और 14B सक्रिय पैरामीटर इसी विरल (sparse) डिज़ाइन को दर्शाते हैं।6
SGLang के अनुसार, मॉडल में 37 ऐसे attention layers हैं जो कॉन्टेक्स्ट को काफ़ी संकुचित करते हैं, और छह full-context multi-head latent-attention layers हैं; इसमें sparse attention भी शामिल है। दस्तावेज़ 512 routed experts का ज़िक्र करते हैं, जिनमें से हर MoE layer में 10 चुने जाते हैं और उनके साथ एक shared expert काम करता है। ये विवरण मॉडल की बनावट समझाते हैं, लेकिन अपने-आप में वास्तविक इस्तेमाल के दौरान गति या लागत में किसी निश्चित बढ़त का प्रमाण नहीं हैं।
Baidu का कहना है कि ट्रेनिंग में Muon optimizer और हज़ारों GPUs पर FP8 mixed precision का इस्तेमाल किया गया। कंपनी के मॉडल विवरण में बड़े head dimensions के लिए FlashMask-4 attention kernel भी बताया गया है।6
FlashMask-4 के लिए Baidu ने SM100 पर FlashAttention-4 MaskMod की तुलना में forward pass में 175% तक और backward pass में 74% तक तेज़ी का दावा किया है।4 ये कंपनी द्वारा बताए गए kernel के नतीजे हैं—इनका अर्थ यह नहीं कि पूरा मॉडल किसी वास्तविक serving workload में 175% तेज़ चलता है।
बेंचमार्क में कैसा रहा प्रदर्शन?
Baidu द्वारा बताए गए नतीजों में ज्ञान और कोडिंग से जुड़े कई परीक्षणों पर ERNIE के मज़बूत स्कोर हैं। नीचे कुछ बेंचमार्क में DeepSeek-V4-Flash-Base से तुलना दी गई है। इन्हें जारी किए गए मॉडल के साथ रिपोर्ट किए गए नतीजे समझें, स्वतंत्र रूप से दोहराए गए परीक्षण नहीं।4
7
| बेंचमार्क | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78.4 | 69.2 |
| HumanEval+ | 82.3 | 69.5 |
| LiveCodeBench | 40.1 | 31.9 |
| ChineseSimpleQA | 73.0 | 75.3 |
MMLU के बताए गए 5-shot मूल्यांकन में ERNIE का स्कोर 93.3 है। यह DeepSeek-V4-Flash-Base के 89.4, Hy3-preview के 87.5 और MiMo-V2.5 के 87.6 से अधिक है।4 लेकिन हर परीक्षण में इसकी बढ़त नहीं है: तुलना में DeepSeek का स्कोर ChineseSimpleQA और InfiniteBench पर ऊँचा है।
7
14
कुल मिलाकर, यह बड़े कुल मॉडल-साइज़, हर टोकन पर सीमित सक्रिय पैरामीटर और लंबे कॉन्टेक्स्ट परिनियोजन समर्थन वाला बेस मॉडल है। कई क्षेत्रों में इसके रिपोर्ट किए गए बेंचमार्क उत्साहजनक हैं, लेकिन इस्तेमाल का फैसला किसी खास काम की ज़रूरतों और लाइसेंस की शर्तों को देखकर करना चाहिए।
परिनियोजन और लाइसेंस पर ध्यान दें
SGLang, FP8 और BF16 दोनों चेकपॉइंट के लिए समर्थन और परिनियोजन निर्देश देता है; इनमें ECHO speculative decoding का विकल्प भी शामिल है। Hugging Face मॉडल पेज पर ERNIE 5.5 Flash Base Model License Agreement v1.0 नाम का कस्टम लाइसेंस दर्ज है। समझौते में acceptable-use policy का भी उल्लेख है, इसलिए वज़न उपलब्ध होने का अर्थ यह न मानें कि उनका इस्तेमाल बिना किसी पाबंदी के किया जा सकता है। किसी उत्पाद में मॉडल शामिल करने से पहले लाइसेंस की शर्तें पढ़ें।19
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Baidu के नए ERNIE मॉडल में 280B पैरामीटर हैं—लेकिन हर टोकन पर 14B ही सक्रिय होते हैं" का संक्षिप्त उत्तर क्या है?
Baidu ने 5 नवंबर 2026 को ERNIE 5.5 Flash Base जारी किया—यह 280B कुल पैरामीटर वाला MoE मॉडल है, जिसमें हर टोकन पर 14B पैरामीटर सक्रिय होते हैं।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Baidu ने 5 नवंबर 2026 को ERNIE 5.5 Flash Base जारी किया—यह 280B कुल पैरामीटर वाला MoE मॉडल है, जिसमें हर टोकन पर 14B पैरामीटर सक्रिय होते हैं। यह तैयार निर्देश अनुसरण करने वाला सहायक नहीं, बल्कि आगे अनुकूलन और प्रशिक्षण के लिए प्रीट्रेनिंग के बाद का बेस चेकपॉइंट है।
मुझे अभ्यास में आगे क्या करना चाहिए?
SGLang के दस्तावेज़ों में 1M टोकन तक कॉन्टेक्स्ट परिनियोजन का समर्थन दिया गया है; इस्तेमाल से पहले कस्टम लाइसेंस की शर्तें पढ़ना ज़रूरी है।