答え公開済み18 ソース
Baiduの280Bモデル「ERNIE-5.5-Flash-Base」公開、14Bだけを動かすMoEの実力は？
Baiduは2026年11月5日、総パラメーター数280B、トークンごとの有効数14BのMoEモデル「ERNIE 5.5 Flash Base」を公開しました。微調整と推論では最大100万トークンのコンテキストに対応するとされています。
公開者GPT-6 Luna で編集GPT Image 2 で画像を生成
研究の答え
重要なポイント
- Baiduは2026年11月5日、総パラメーター数280B、トークンごとの有効数14BのMoEモデル「ERNIE 5.5 Flash Base」を公開しました。微調整と推論では最大100万トークンのコンテキストに対応するとされています。
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Baiduは2026年11月5日、ERNIE-5.5-Flash-BaseをHugging Faceで公開しました。テキスト専用のMixture-of-Experts（MoE）型「基盤モデル」で、総パラメーター数は2,800億、各トークンの処理に使われるのはそのうち140億です。Baiduによると、3,350兆トークンを使ってゼロから事前学習しました。1
3
6
数字の見方には注意が必要です。2,800億はモデル全体の規模、1トークンあたり140億は実際に有効化される部分を指します。重み全体が140億パラメーターのモデルという意味ではありません。また、公開されたのは指示に従うよう調整済みのチャットAIではなく、追加学習を前提とした基盤モデルです。6
公開されたモデルは「完成品」ではない
SGLangの説明によると、このチェックポイントは事前学習を終えた段階のもので、中間学習や事後学習はまだ行われていません。ドメイン適応や指示チューニング、強化学習の研究に向けた出発点として位置付けられています。
そのため、独自の用途に合わせてモデルを調整したい開発者や研究チームには選択肢となりますが、一般向けアシスタントのような使い勝手をすぐに期待できるモデルとは限りません。利用目的に応じて、追加の学習や評価が必要です。
コンテキスト長は、学習時が最大12万8,000トークン、微調整と推論時が最大100万トークンとされています。SGLangのドキュメントにも、最大100万トークンまでのコンテキストに対応するデプロイ方法が記載されています。
Hugging FaceではFP8版が公開され、別途BF16版も用意されています。SGLangは両方のチェックポイントをサポートしています。5 ただし、大規模なチェックポイントであることに変わりはなく、パラメーター数だけでは実際の運用に必要な計算資源は判断できません。
MoEで「総数」と「有効数」が異なる理由
MoEモデルは、すべてのパラメーターを毎回使うのではなく、入力に応じて一部の専門家（エキスパート）を選んで処理します。ERNIEの「総数2,800億・有効数140億」という差は、この疎な構造によるものです。6
SGLangの説明では、モデルは圧縮率の高い注意機構を持つ層が37層、全コンテキストを扱うマルチヘッド潜在注意（MLA）層が6層で構成され、疎な注意機構も使います。また、MoE層では512のルーティング対象エキスパートから10を選び、共有エキスパートも組み合わせるとされています。
Baiduは、数千基のGPUを使った学習でMuonオプティマイザーとFP8混合精度を採用したと説明しています。モデル資料では、大きなヘッド次元に対応する注意カーネル「FlashMask-4」も紹介されています。6
Baiduの公表値では、SM100上でFlashMask-4はFlashAttention-4 MaskModと比べ、順伝播が最大175％、逆伝播が最大74％高速です。4 これはカーネル単体についてのベンダー公表値であり、実際のサービス運用でモデル全体が同じ割合で高速化するという意味ではありません。
ベンチマークでは知識・コーディング系が優勢
Baiduが公表した比較では、ERNIE-5.5-Flash-Baseは複数の知識・コーディング評価でDeepSeek-V4-Flash-Baseを上回っています。ただし、これらは公表されたベンチマーク結果であり、独立した追試の結果ではありません。4
7
| ベンチマーク | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78.4 | 69.2 |
| HumanEval+ | 82.3 | 69.5 |
| LiveCodeBench | 40.1 | 31.9 |
| ChineseSimpleQA | 73.0 | 75.3 |
MMLUの5-shot評価では、ERNIEが93.3で、DeepSeek-V4-Flash-Baseの89.4、Hy3-previewの87.5、MiMo-V2.5の87.6を上回っています。4 一方で、すべての項目で優位というわけではありません。公表された比較では、ChineseSimpleQAやInfiniteBenchでDeepSeekのスコアが高くなっています。
7
14
導入前に確認したいサービングとライセンス
SGLangはFP8版とBF16版の両方に対応し、デプロイ手順を公開しています。ECHOによる投機的デコードもサポート対象です。
Hugging Faceのモデルページには、独自の「ERNIE 5.5 Flash Base Model License Agreement v1.0」が記載されています。また、利用規約はAcceptable Use Policyにも言及しています。重みをダウンロードできることは、無条件・無制限に使えることを意味しません。製品での利用を検討する場合は、事前にライセンス条件を確認してください。19
まとめると、ERNIE-5.5-Flash-Baseは、総容量の大きさとトークンごとの疎な処理、長文コンテキスト対応が特徴の基盤モデルです。複数の評価で有望な結果を示していますが、実際の適性は用途ごとに確かめる必要があります。導入時は、必要な計算資源だけでなく、追加学習の要否とライセンスもあわせて検討したいところです。
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「Baiduの280Bモデル「ERNIE-5.5-Flash-Base」公開、14Bだけを動かすMoEの実力は？」の短い答えは何ですか?
Baiduは2026年11月5日、総パラメーター数280B、トークンごとの有効数14BのMoEモデル「ERNIE 5.5 Flash Base」を公開しました。微調整と推論では最大100万トークンのコンテキストに対応するとされています。