Baidu ERNIE 5.1の「事前学習コスト6%」はなぜ重要か

重要なのは、6%という数字が事前学習コストについての主張である点だ。Baiduは、ERNIE 5.1が比較対象となるモデルの約6%の事前学習コストで性能を達成したと述べている 。この数字が、総開発費、ポストトレーニング費用、推論コスト、商用価格まで含むとは、公開資料からは読み取れない。

またBaiduのブログは、ERNIE 5.1が分離型の完全非同期強化学習と、エージェント的なポストトレーニングの拡張によって、Agent、推論、創作の各能力を強化したと説明している 。同ブログでは、Arena Search Arenaで中国内1位になったとも記載されている 。

なぜ「6%」がニュースになるのか

生成AIの競争は長く、より多くのデータ、より多くの計算資源、より大きなモデルという方向で語られてきた。ERNIE 5.1の発表が面白いのは、Baiduがその流れとは少し違う物語を示しているからだ。

同社が言っているのは、巨大な事前学習を毎回やり直すのではなく、既存の基盤を再利用し、モデルを圧縮し、ポストトレーニングで挙動を磨くことで、性能とコストのバランスを改善できるという考え方だ 。

もしこのアプローチが実運用でも成立するなら、AI開発の競争軸は「誰が最大のモデルを作れるか」だけではなく、「誰がより安く、より扱いやすく、十分に強いモデルを作れるか」に移る。ERNIE 5.1の意義は、Baiduがその論点をかなりはっきり打ち出したことにある。

Baiduはどうやって低コスト化したと説明しているのか

Baiduの説明は、大きく4つの要素に分けられる。

1. ERNIE 5.0の基盤を再利用する

まず中核にあるのは、ERNIE 5.1がERNIE 5.0の事前学習基盤を継承しているという点だ 。これは、ERNIE 5.1が完全に新しい巨大モデルとしてゼロから作られたというより、既存の基盤から派生した効率重視のモデルとして位置づけられていることを意味する。

2. 総パラメータとアクティブパラメータを減らす

Baiduは、ERNIE 5.1で総パラメータを約3分の1、アクティブパラメータを約2分の1に圧縮したとしている 。モデル全体の規模を小さくしつつ、実際の計算に使う部分も減らす。この2つがセットになっているからこそ、同社の発表は「性能」だけでなく「効率」の話として読める。

3. 伸縮的なモデルファミリーを作る

ERNIE 5.0の技術レポートは、1回の事前学習で容量と効率のトレードオフが異なるモデル群を生み出す「elastic training」という考え方を説明している 。

同レポートによれば、この手法では、深さ、幅、ルーティングのスパース性、つまり計算経路の使い方が異なるサブモデルを動的にサンプリングする。また、サブモデルがフルモデルの知識を継承し、その後のポストトレーニング段階で使えるようにするとも説明されている 。

この文脈を踏まえると、ERNIE 5.1の「安さ」は単に小型化したという話ではない。大きな基盤を作り、その中から効率のよい構成を取り出して磨く、というモデルファミリー設計の発想に近い 。

4. 強化学習とポストトレーニングで能力を整える

Baiduは、ERNIE 5.1が分離型の完全非同期強化学習と、エージェント的なポストトレーニングの拡張によって、Agent、推論、創作の各能力を総合的に向上させたと説明している 。

つまり、Baiduの主張は「小さくしたのに性能が残った」というだけではない。事前学習後の調整、特にエージェント的なタスクや推論能力に関わるポストトレーニングが、最終的な性能プロファイルに寄与したという説明になっている 。

まだ分からないこと

最大の未確認点は、6%という数字の中身だ。公開資料だけでは、学習予算の総額、使用ハードウェア、データ構成、学習期間、GPUなどのアクセラレータの利用率、ポストトレーニング費用、そして「比較対象となるモデル」の具体的な範囲までは確認できない 。

だからといって、Baiduの主張が無意味になるわけではない。だが、現時点で最も堅い読み方は、次のようなものだ。Baiduは、ERNIE 5.0の基盤継承、パラメータ圧縮、elastic trainingの考え方、そしてポストトレーニングを組み合わせることで、モデル規模に対する性能と事前学習コストの比率を改善したと主張している 。

まとめ

ERNIE 5.1の重要性は、AI競争の見方を「より大きなモデル」から「より効率のよいモデル」へ引き寄せている点にある。Baiduは、ERNIE 5.1がERNIE 5.0の事前学習基盤を継承し、総パラメータとアクティブパラメータを削減しながら、比較対象モデルの約6%の事前学習コストでリーディングな基盤性能を達成したと説明している 。

一方で、その数字はまだ完全に検証された業界ベンチマークではない。比較条件、ハードウェア、データ、費用計上の詳細がさらに示されるまでは、ERNIE 5.1は「確認済みの新標準」というより、「AIモデル開発がコスト性能の時代に入っていることを示す重要な主張」として受け止めるのが妥当だ。