百度 ERNIE 5.1 的 6% 預訓練成本，為何重要？

更重要的是，6% 指的是預訓練成本。百度稱 ERNIE 5.1 只用了同級可比較模型約 6% 的預訓練成本。這不等於公開資料已證明它的完整開發成本、後訓練成本、部署成本、推論成本、硬體效率或商業價格也都只剩 6%。

百度在 ERNIE Blog 中另稱，ERNIE 5.1 透過分離式全非同步強化學習與規模化智能體後訓練，提升 Agent、推理與創作能力，並在 Arena Search Arena 排名中國第一。

為何這個數字會受到關注

大型 AI 模型競賽常被簡化成三件事：更多參數、更多資料、更多運算資源。ERNIE 5.1 的發布則把焦點拉向另一邊：能不能在不重新做一次完整高成本預訓練的情況下，透過繼承、壓縮與後訓練，保留有競爭力的基礎能力。

如果這條路徑在更多外部測試中站得住腳，競爭優勢就不只看誰能訓練最大模型，也會看誰能把成本效益工程做得更好：如何重用基礎模型、如何選出更有效率的子模型、如何減少單次運算真正啟用的參數，以及如何用後訓練改善模型行為。

百度說成本是怎麼壓低的

1. 繼承 ERNIE 5.0 的預訓練基礎

百度發布資料稱，ERNIE 5.1 繼承 ERNIE 5.0 的預訓練基礎。這是整個成本主張的核心：它被定位為從既有基礎延伸出的模型，而不是一次全新的、完整成本的預訓練工程。

2. 同時壓縮總參數與啟用參數

百度稱 ERNIE 5.1 將總參數壓縮到約三分之一，啟用參數壓縮到約二分之一。總參數可以理解為模型整體規模；啟用參數則是單次運算中真正參與計算的那部分。兩者一起下降，才是這次發布被視為效率故事的原因。

3. 延續彈性訓練的模型家族思路

ERNIE 5.0 技術報告提出一套彈性訓練方法，讓單次預訓練可以產生一組不同容量與效率取捨的模型。報告稱，這種方法會動態抽樣不同深度、寬度與路由稀疏度的子模型，並讓子模型從完整模型繼承知識，以便在後續後訓練階段形成較小模型。

這有助於理解 ERNIE 5.1 的邏輯：它不是單純把模型越堆越大，而是先建立較有彈性的基礎，再從中導出更有效率的配置。

4. 用後訓練補強 Agent、推理與創作能力

百度稱 ERNIE 5.1 透過分離式全非同步強化學習與規模化智能體後訓練，帶來 Agent、推理與創作能力的整體升級。也就是說，百度不只是宣稱模型變小；它同時主張，預訓練之後的強化與調整，對最終能力輪廓也有重要作用。

還沒有被證實的部分

最大的未解問題是驗證。百度的公開發布與部落格摘要提出 6% 預訓練成本與能力提升主張，但沒有完整公開訓練預算、硬體配置、資料配方、訓練時長、加速器利用率、後訓練成本，或用來比較的可比較模型清單。

因此，6% 不是沒有意義；它只是還不能被當成獨立審核過的產業基準。就目前公開資料而言，最穩妥的說法是：百度稱 ERNIE 5.1 透過繼承 ERNIE 5.0 基礎、壓縮參數、延續彈性訓練思路，並加上後訓練，在其模型規模上取得領先基礎表現，同時把預訓練成本降到同級可比較模型約 6%。

結論：這是一個值得重視的效率主張，不是已定案的成本神話

放在全球 AI 競賽中，ERNIE 5.1 的重點不是百度宣稱做出更龐大的模型，而是它公開把模型進展敘事轉向成本效益。百度稱 ERNIE 5.1 繼承 ERNIE 5.0 的基礎，削減總參數與啟用參數，並以同級模型約 6% 的預訓練成本取得同規模領先表現。

但在更多基準、硬體、資料與成本會計細節公開之前，這個 6% 應被理解為一個嚴肅且值得追蹤的效率主張，而不是已經完全驗證的成本標竿。