คำตอบเผยแพร่แล้ว18 แหล่งที่มา
Baidu ปล่อย ERNIE-5.5-Flash-Base โมเดล 280B ที่ใช้พารามิเตอร์ 14B ต่อโทเคน
Baidu เปิดเผย ERNIE 5.5 Flash Base บน Hugging Face เมื่อ 5 พฤศจิกายน 2026 เป็นโมเดล Mixture of Experts ขนาดรวม 280B พารามิเตอร์ และเปิดใช้ 14B ต่อโทเคน โมเดลฝึกจากศูนย์ด้วยข้อมูล 33.5 ล้านล้านโทเคน รองรับบริบทสำหรับการฝึกสูงสุด 128K และสำหรับ fine tuning กับ inference สูงสุด 1M โทเคน นี่คือโมเดลฐานที่ยังไม่ผ่าน mid...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Baidu เปิดเผย ERNIE 5.5 Flash Base บน Hugging Face เมื่อ 5 พฤศจิกายน 2026 เป็นโมเดล Mixture of Experts ขนาดรวม 280B พารามิเตอร์ และเปิดใช้ 14B ต่อโทเคน
- โมเดลฝึกจากศูนย์ด้วยข้อมูล 33.5 ล้านล้านโทเคน รองรับบริบทสำหรับการฝึกสูงสุด 128K และสำหรับ fine tuning กับ inference สูงสุด 1M โทเคน
- นี่คือโมเดลฐานที่ยังไม่ผ่าน mid training หรือ post training จึงเป็นจุดเริ่มต้นสำหรับการปรับแต่ง ไม่ใช่ผู้ช่วย AI สำเร็จรูป และการใช้งานอยู่ภายใต้ไลเซนส์เฉพาะ
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Baidu เปิดให้ดาวน์โหลด ERNIE-5.5-Flash-Base บน Hugging Face เมื่อวันที่ 5 พฤศจิกายน 2026 โมเดลภาษาที่รองรับข้อความนี้เป็นสถาปัตยกรรมแบบ Mixture of Experts (MoE) มีพารามิเตอร์รวม 280,000 ล้านตัว แต่เปิดใช้ 14,000 ล้านตัวต่อโทเคน โดย Baidu ระบุว่าฝึกโมเดลจากศูนย์ด้วยข้อมูล 33.5 ล้านล้านโทเคน1
3
6
ตัวเลข 280B คือขนาดความจุรวมของโมเดล ส่วน 14B คือจำนวนพารามิเตอร์ที่ทำงานกับโทเคนแต่ละตัว ไม่ใช่ขนาดไฟล์โมเดลทั้งหมด6 อีกจุดสำคัญคือรุ่นนี้เป็น โมเดลฐาน ซึ่งยังไม่ผ่านการฝึกช่วงกลางหรือการฝึกหลังการพรีเทรน จึงเหมาะเป็นต้นทางให้ทีมพัฒนานำไปปรับแต่ง มากกว่าจะดาวน์โหลดแล้วใช้เป็นแชตบอตพร้อมตอบทันที
สิ่งที่เปิดให้ดาวน์โหลด และใครน่าจะนำไปใช้
SGLang ระบุว่า checkpoint นี้เป็นสถานะเมื่อสิ้นสุดการพรีเทรน และเป็นฐานสำหรับการปรับให้เข้ากับโดเมนเฉพาะ การฝึกให้ทำตามคำสั่ง และงานวิจัยด้าน reinforcement learning กล่าวง่าย ๆ คือ ผู้พัฒนาสามารถนำไปต่อยอดให้เหมาะกับงานของตัวเองได้ แต่การทำให้เป็นผู้ช่วยที่ตอบตามรูปแบบและข้อกำหนดเฉพาะ อาจต้องมีการฝึกเพิ่มเติม
ข้อมูลสเปกระบุความยาวบริบทสำหรับการฝึกสูงสุด 128K โทเคน และรองรับบริบทสูงสุด 1M โทเคนสำหรับ fine-tuning กับ inference หรือการนำโมเดลไปสร้างผลลัพธ์ SGLang ก็ระบุการรองรับการให้บริการที่บริบทสูงสุด 1M โทเคนเช่นกัน
มี checkpoint ให้เลือกทั้งรูปแบบ FP8 และรุ่น BF16 แยกต่างหาก โดยเอกสาร SGLang ระบุว่ารองรับทั้งสองแบบ5 อย่างไรก็ตาม โมเดลขนาดนี้ต้องใช้ทรัพยากรประมวลผลและหน่วยความจำสูง ตัวเลขพารามิเตอร์เพียงอย่างเดียวจึงยังบอกไม่ได้ว่าระบบแบบใดจะรองรับการใช้งานจริงได้
280B แต่ทำงาน 14B ต่อโทเคนได้อย่างไร
MoE แบ่งโมเดลออกเป็นผู้เชี่ยวชาญหลายชุด และเลือกใช้เพียงบางส่วนในแต่ละครั้ง จึงไม่จำเป็นต้องเปิดใช้พารามิเตอร์ทั้งหมดกับทุกโทเคน ตัวเลข 280B และ 14B ของ ERNIE สะท้อนแนวทางการทำงานแบบเบาบางนี้6
เอกสาร SGLang อธิบายว่าโมเดลมี attention 37 ชั้นที่บีบอัดข้อมูลอย่างมาก และอีก 6 ชั้นที่ทำงานกับบริบทเต็มผ่าน multi-head latent attention พร้อม sparse attention นอกจากนี้ยังระบุผู้เชี่ยวชาญแบบ routed 512 ชุด โดยเลือก 10 ชุดพร้อมกับ shared expert ในแต่ละชั้น MoE รายละเอียดเหล่านี้ช่วยให้เห็นภาพโครงสร้าง แต่ไม่ได้ยืนยันด้วยตัวเองว่าโมเดลจะเร็วขึ้นหรือลดต้นทุนได้เท่าใดเมื่อใช้งานจริง
Baidu ยังระบุว่าใช้ Muon optimizer และการฝึกแบบผสมความแม่นยำ FP8 บน GPU หลายพันตัว ส่วน FlashMask-4 เป็น attention kernel ที่ออกแบบมาสำหรับ head dimension ขนาดใหญ่6
สำหรับ FlashMask-4 นั้น Baidu รายงานว่า บน SM100 มีความเร็วในการประมวลผล forward สูงขึ้นได้ถึง 175% และ backward สูงขึ้น 74% เมื่อเทียบกับ FlashAttention-4 MaskMod4 ตัวเลขนี้เป็นผลทดสอบที่ผู้พัฒนารายงานสำหรับ kernel ไม่ใช่คำกล่าวอ้างว่าโมเดลทั้งระบบจะให้บริการได้เร็วขึ้น 175% ในงานจริง
ผลทดสอบที่รายงาน: เด่นหลายด้าน แต่ไม่ได้ชนะทุกโจทย์
ผลจากตารางที่เผยแพร่แสดงว่า ERNIE ทำคะแนนได้ดีในหลายการทดสอบด้านความรู้และการเขียนโค้ด เมื่อเทียบกับ DeepSeek-V4-Flash-Base แต่ควรมองเป็นผลที่รายงานประกอบการเปิดตัว ไม่ใช่ผลทดสอบที่มีการทำซ้ำโดยหน่วยงานอิสระ4
7
| การทดสอบ | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78.4 | 69.2 |
| HumanEval+ | 82.3 | 69.5 |
| LiveCodeBench | 40.1 | 31.9 |
| ChineseSimpleQA | 73.0 | 75.3 |
ในการทดสอบ MMLU แบบ five-shot ซึ่งให้ตัวอย่างประกอบ 5 ข้อก่อนประเมิน ERNIE ได้ 93.3 เทียบกับ DeepSeek-V4-Flash-Base ที่ 89.4, Hy3-preview ที่ 87.5 และ MiMo-V2.5 ที่ 87.64 แต่ไม่ได้ชนะทุกด้าน: DeepSeek ทำคะแนนสูงกว่าใน ChineseSimpleQA และ InfiniteBench ตามผลเปรียบเทียบที่รายงาน
7
14
ภาพรวมจึงเป็นโมเดลฐานที่มีความจุรวมสูง เปิดใช้พารามิเตอร์แบบเบาบางต่อโทเคน และมีเอกสารระบุการรองรับบริบทยาว ผลทดสอบน่าสนใจในบางหมวด แต่ผู้ที่จะนำไปใช้ควรประเมินกับงานจริงของตนเอง รวมถึงตรวจสอบเงื่อนไขไลเซนส์ก่อนตัดสินใจ
ก่อนนำไปให้บริการ: เช็กระบบและไลเซนส์
SGLang ระบุว่ารองรับ checkpoint ทั้ง FP8 และ BF16 พร้อมคู่มือการนำไปให้บริการ ซึ่งรวมถึง ECHO speculative decoding ขณะที่หน้าโมเดลบน Hugging Face ระบุไลเซนส์เฉพาะชื่อ ERNIE 5.5 Flash Base Model License Agreement v1.0 และข้อตกลงยังอ้างถึงนโยบายการใช้งานที่ยอมรับได้ด้วย การมีน้ำหนักโมเดลให้ดาวน์โหลดจึงไม่ได้หมายความว่าใช้ได้โดยไม่มีข้อจำกัด ควรอ่านเงื่อนไขฉบับเต็มก่อนนำไปใช้ในผลิตภัณฑ์19
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "Baidu ปล่อย ERNIE-5.5-Flash-Base โมเดล 280B ที่ใช้พารามิเตอร์ 14B ต่อโทเคน" คืออะไร
Baidu เปิดเผย ERNIE 5.5 Flash Base บน Hugging Face เมื่อ 5 พฤศจิกายน 2026 เป็นโมเดล Mixture of Experts ขนาดรวม 280B พารามิเตอร์ และเปิดใช้ 14B ต่อโทเคน
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Baidu เปิดเผย ERNIE 5.5 Flash Base บน Hugging Face เมื่อ 5 พฤศจิกายน 2026 เป็นโมเดล Mixture of Experts ขนาดรวม 280B พารามิเตอร์ และเปิดใช้ 14B ต่อโทเคน โมเดลฝึกจากศูนย์ด้วยข้อมูล 33.5 ล้านล้านโทเคน รองรับบริบทสำหรับการฝึกสูงสุด 128K และสำหรับ fine tuning กับ inference สูงสุด 1M โทเคน
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
นี่คือโมเดลฐานที่ยังไม่ผ่าน mid training หรือ post training จึงเป็นจุดเริ่มต้นสำหรับการปรับแต่ง ไม่ใช่ผู้ช่วย AI สำเร็จรูป และการใช้งานอยู่ภายใต้ไลเซนส์เฉพาะ