另一個要分清楚的重點是:發布材料所講的 6%,指的是預訓練成本 。公開資料並未證明這個數字涵蓋總研發成本、後訓練成本、部署成本、推理成本、硬件效率,或者商業定價 。
百度的 ERNIE Blog 亦稱,ERNIE 5.1 透過分離式全異步強化學習及大規模智能體式後訓練,提升智能體(Agent)、推理和創作能力,並在 Arena Search Arena 這個搜尋相關排行榜上位列中國第一 。
AI 模型競賽經常被講成一場規模戰:更多參數、更多數據、更多算力。ERNIE 5.1 的說法則係另一條路:在縮細模型足跡、避免完整重做預訓練的情況下,仍然保留有競爭力的表現 。
如果這條路線在實際使用中站得住腳,競爭焦點就可能由單純鬥大,轉向成本性能工程:點樣沿用一個基礎模型、揀更有效率的子模型、降低每次計算會啟動的參數,再用後訓練調好行為。ERNIE 5.1 之所以值得留意,就係百度在發布材料中很明確地用這套邏輯講自己的進展 。
百度稱 ERNIE 5.1 繼承 ERNIE 5.0 的預訓練基礎 。這是 6% 成本說法的核心:ERNIE 5.1 被定位為由既有基礎衍生出來的模型,而不是一次全新、全額成本的預訓練工程。
百度稱 ERNIE 5.1 將總參數壓縮至約三分之一,活躍參數壓至約一半 。簡單講,總參數可理解為整個模型的體積;活躍參數則係一次計算中實際參與的部分。兩者都降,這個發布自然不只是講能力,也是在講效率。
ERNIE 5.0 技術報告提到一種 elastic training(彈性訓練)方法:單一次預訓練可以產生一組容量與效率取捨不同的模型 。報告稱,訓練會按預設排程動態抽樣不同深度、寬度和路由稀疏度的子模型,並讓子模型從完整模型繼承知識,供後續後訓練階段使用 。
這有助理解 ERNIE 5.1 背後的模型家族邏輯:重點不是單純做大一個模型,而是先訓練一個可調基礎,再衍生更省成本的配置 。
百度亦稱,ERNIE 5.1 借助分離式全異步強化學習及大規模智能體式後訓練,帶來 Agent、推理和創作能力的全面升級 。換句話講,百度不只是說模型變細;它同時主張,後訓練對最終能力輪廓有重要作用 。
最大問題係驗證。現有公開材料未完整交代訓練預算、硬件配置、數據組成、訓練時間、加速器利用率、後訓練成本,以及 6% 所比較的「同類模型」究竟是哪一組 。
這不代表 6% 講法完全無參考價值;但它確實不等於經第三方審計的成本基準。最穩陣的解讀是:百度聲稱 ERNIE 5.1 透過繼承、壓縮、彈性訓練思路和後訓練,在其模型規模上保留領先基礎性能,同時大幅降低預訓練成本 。
ERNIE 5.1 的訊息係:AI 競賽不一定只鬥誰的模型更大,也可以鬥誰更懂得把已有基礎變成高性價比模型。百度稱 ERNIE 5.1 承接 ERNIE 5.0、壓縮總參數與活躍參數,並以約 6% 同類模型預訓練成本達到同規模領先表現 。
但到目前為止,這仍然是一個嚴肅但未完全驗證的效率主張。除非百度或獨立評測方披露更多比較基準、硬件、數據和成本計法,否則 ERNIE 5.1 的 6% 不應被當成一槌定音的行業成本標尺。