百度於 2026 年 11 月 5 日在 Hugging Face 發布 ERNIE-5.5-Flash-Base。呢個可下載嘅文字模型採用混合專家(MoE)架構,總參數有 280B,每個 token 會啟用其中 14B;百度表示,模型由零開始以 33.5 萬億個 token 預訓練。
1
3
6
先要分清兩個數字:280B 代表整個模型嘅參數總量,14B 就係處理每個 token 時啟用嘅部分,唔代表下載檔案總共只有 14B 參數。另一個重要分別係,呢個版本係模型嘅「基礎 checkpoint」,並非已完成指令微調、可以直接當聊天助手使用嘅成品。
6
呢次發布有咩實際意思?
SGLang 文件指,ERNIE-5.5-Flash-Base 係預訓練結束時嘅模型狀態,尚未經中期或後期訓練,可作領域適配、指令微調及強化學習研究嘅起點。 換言之,對想自行定製模型嘅團隊較有用;若要直接用於助手類應用,通常仍要按用途做後續訓練。
上下文長度亦要分開睇:資料列出嘅訓練上限為 128K token,而微調及推論支援最長 1M token;SGLang 部署文件亦列明支援最多 1M 上下文。
發布版本包括 FP8 權重,另有 BF16 版本,SGLang 文件列明兩者均受支援。
5 不過,參數量或者精度格式本身,未足以判斷實際所需硬件;部署前仍要評估模型檔案、推論工作負載同運行環境。
280B 參數點樣做到每次只啟用 14B?
混合專家模型唔會為每個 token 動用所有參數。ERNIE 所列嘅 280B 總參數同 14B 啟用參數,正正反映呢種稀疏架構設計。
6
SGLang 將模型描述為有 37 層高度壓縮注意力層,以及 6 層保留完整上下文嘅多頭潛在注意力層,並使用稀疏注意力。文件亦列出 512 個路由專家;每個 MoE 層會選用其中 10 個,另加一個共享專家。 呢啲資訊有助了解模型點樣組成,但單憑架構細節,唔足以證明實際應用一定更快或更平。
百度表示,訓練採用 Muon 優化器及 FP8 混合精度,運行於數以千計嘅 GPU;模型資料亦介紹 FlashMask-4,一款針對較大注意力頭維度設計嘅 kernel。
6
就 FlashMask-4 而言,百度稱它在 SM100 上,相較 FlashAttention-4 MaskMod,前向運算最高快 175%,反向運算最高快 74%。呢啲係廠方公布嘅 kernel 測試數據,唔等於整個模型喺真實服務場景都會快 175%。
4
基準測試:有亮點,但唔係全面勝出
百度公布嘅測試結果顯示,ERNIE 在多項知識及編程評測有不錯成績;以下數字屬發布方列出嘅基準測試結果,並非獨立重複驗證。
4
7
| 基準測試 |
ERNIE-5.5-Flash-Base |
DeepSeek-V4-Flash-Base |
| MMLU-Pro |
78.4 |
69.2 |
| HumanEval+ |
82.3 |
69.5 |
| LiveCodeBench |
40.1 |
31.9 |
| ChineseSimpleQA |
73.0 |
75.3 |
在列出的 MMLU 五樣本(5-shot)測試中,ERNIE 得分 93.3,高於 DeepSeek-V4-Flash-Base 的 89.4、Hy3-preview 的 87.5,以及 MiMo-V2.5 的 87.6。
4 不過,結果並非每項都佔優:DeepSeek 在 ChineseSimpleQA 同 InfiniteBench 嘅相關比較中得分較高。
7
14
較穩妥嘅解讀係:ERNIE 提供高總參數、每個 token 稀疏啟用,以及有文件記錄嘅長上下文部署支援;部分基準測試成績突出,但實際表現仍要按具體任務評估,唔應單靠排行榜決定採用與否。
部署支援同授權要留意
SGLang 列明支援 FP8 同 BF16 checkpoint,並提供部署指引,包括 ECHO 推測解碼(speculative decoding)。 Hugging Face 模型頁列出自訂嘅 ERNIE 5.5 Flash Base Model License Agreement v1.0;協議亦提及可接受使用政策。因此,權重可以下載唔代表可以不受限制地使用,打算將模型用於產品前,應先細閱授權條款。
19