如果這條路線在實際使用中站得住腳,競爭焦點就可能由單純鬥大,轉向成本性能工程:點樣沿用一個基礎模型、揀更有效率的子模型、降低每次計算會啟動的參數,再用後訓練調好行為。ERNIE 5.1 之所以值得留意,就係百度在發布材料中很明確地用這套邏輯講自己的進展 。
百度稱 ERNIE 5.1 將總參數壓縮至約三分之一,活躍參數壓至約一半 。簡單講,總參數可理解為整個模型的體積;活躍參數則係一次計算中實際參與的部分。兩者都降,這個發布自然不只是講能力,也是在講效率。
ERNIE 5.0 技術報告提到一種 elastic training(彈性訓練)方法:單一次預訓練可以產生一組容量與效率取捨不同的模型 。報告稱,訓練會按預設排程動態抽樣不同深度、寬度和路由稀疏度的子模型,並讓子模型從完整模型繼承知識,供後續後訓練階段使用
。
百度亦稱,ERNIE 5.1 借助分離式全異步強化學習及大規模智能體式後訓練,帶來 Agent、推理和創作能力的全面升級 。換句話講,百度不只是說模型變細;它同時主張,後訓練對最終能力輪廓有重要作用
。
這不代表 6% 講法完全無參考價值;但它確實不等於經第三方審計的成本基準。最穩陣的解讀是:百度聲稱 ERNIE 5.1 透過繼承、壓縮、彈性訓練思路和後訓練,在其模型規模上保留領先基礎性能,同時大幅降低預訓練成本 。
ERNIE 5.1 的訊息係:AI 競賽不一定只鬥誰的模型更大,也可以鬥誰更懂得把已有基礎變成高性價比模型。百度稱 ERNIE 5.1 承接 ERNIE 5.0、壓縮總參數與活躍參數,並以約 6% 同類模型預訓練成本達到同規模領先表現 。
但到目前為止,這仍然是一個嚴肅但未完全驗證的效率主張。除非百度或獨立評測方披露更多比較基準、硬件、數據和成本計法,否則 ERNIE 5.1 的 6% 不應被當成一槌定音的行業成本標尺。