百度於 2026 年 11 月 5 日在 Hugging Face 發布 ERNIE-5.5-Flash-Base。它是一款可下載權重的純文字混合專家(MoE)基礎模型,總參數為 2800 億,每處理一個 token 啟用 140 億參數。百度表示,模型從頭以 33.5 兆個 token 完成預訓練。
1
3
6
理解這款模型的關鍵,是分清「總參數」與「每個 token 啟用的參數」:2800 億代表模型的整體容量,140 億則是處理單一 token 時啟用的部分,並非下載檔案只有這麼大。另一個重要差別是,它不是已調教成聊天助理的成品,而是供後續調整的起點。
6
這次發布的模型,適合拿來做什麼?
SGLang 文件將這份檢查點描述為預訓練結束時的模型狀態,尚未經中期訓練或後訓練;可作為領域調整、指令微調及強化學習研究的基礎。 換句話說,若要把它用於助理型產品或特定工作流程,通常還需要依需求進一步訓練與調整。
上下文長度也分成不同階段:文件列出的訓練上限為 128K token,微調與推論則支援最長 1M token;SGLang 的部署文件同樣記載可支援最高 1M token 的上下文。
發布版本包括 FP8 權重,另有 BF16 版本;SGLang 文件列出對兩者的支援。
5 不過,模型規模龐大,參數數字本身並不能完整說明執行所需的硬體與部署成本。
MoE 架構如何運作?
混合專家模型不會在處理每個 token 時動用所有參數。ERNIE 所稱的 2800 億總參數與每個 token 啟用 140 億,正是這種稀疏運作方式的體現。
6
SGLang 說明,模型採用 37 層高度壓縮注意力,以及 6 層可處理完整上下文的多頭潛在注意力,並搭配稀疏注意力機制。每個 MoE 層列有 512 個路由專家,會選出 10 個專家,並搭配一個共享專家。 這些架構資訊有助理解模型設計,但單憑結構本身,不能直接推論實際應用中的速度或成本優勢。
百度也表示,訓練使用 Muon 最佳化器與 FP8 混合精度,並在數千張 GPU 上執行;模型資料則介紹了針對大注意力頭維度設計的 FlashMask-4 注意力核心。
6
針對這個核心,百度公布的測試稱,在 SM100 上,相較 FlashAttention-4 MaskMod,前向運算最高快 175%,反向運算最高快 74%。
4 這是廠商公布的核心運算結果,不代表整個模型在實際服務情境中也會快 175%。
基準測試:多項領先,但不是全面勝出
百度公布的測試顯示,ERNIE 在若干知識與程式評測中表現突出,也列出與 DeepSeek-V4-Flash-Base 的比較。以下是發布資料中的分數;應視為基準測試結果,而非已獲獨立複驗的結論。
4
7
| 基準測試 |
ERNIE-5.5-Flash-Base |
DeepSeek-V4-Flash-Base |
| MMLU-Pro |
78.4 |
69.2 |
| HumanEval+ |
82.3 |
69.5 |
| LiveCodeBench |
40.1 |
31.9 |
| ChineseSimpleQA |
73.0 |
75.3 |
在 MMLU 五樣本測試中,ERNIE 得分為 93.3,高於 DeepSeek-V4-Flash-Base 的 89.4、Hy3-preview 的 87.5,以及 MiMo-V2.5 的 87.6。
4 但成績並非項項領先:公布的比較中,DeepSeek 在 ChineseSimpleQA 與 InfiniteBench 得分較高。
7
14
整體來看,ERNIE-5.5-Flash-Base 是一款總容量大、採稀疏啟用,並有長上下文部署支援的基礎模型。多項基準成績值得留意,但團隊仍應依實際任務自行評估,並在部署前仔細確認授權條款。
部署支援與授權須留意
SGLang 列出 FP8 與 BF16 版本的支援及部署方式,也包括 ECHO 推測解碼的使用說明。 Hugging Face 模型頁面則列明使用自訂的「ERNIE 5.5 Flash Base Model License Agreement v1.0」,並提及可接受使用政策;因此,權重可下載不等於使用不受限制,應先確認條款是否符合預定用途。
19