JawabanDipublikasikan18 sumber
ERNIE 5.5 Flash Base: Model 280 Miliar Parameter dari Baidu
Dirilis pada 5 November 2026, ERNIE 5.5 Flash Base memiliki 280 miliar parameter total, dengan 14 miliar aktif untuk setiap token. Baidu menyebut model ini dilatih dari awal menggunakan 33,5 triliun token.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Dirilis pada 5 November 2026, ERNIE 5.5 Flash Base memiliki 280 miliar parameter total, dengan 14 miliar aktif untuk setiap token.
- Baidu menyebut model ini dilatih dari awal menggunakan 33,5 triliun token. Dukungan konteksnya mencapai 128 ribu token saat pelatihan dan 1 juta token untuk fine tuning serta inferensi.
- Ini adalah checkpoint dasar, bukan asisten siap pakai. Skornya unggul dalam sejumlah benchmark yang dilaporkan, tetapi tidak memimpin di semua pengujian.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Baidu merilis ERNIE-5.5-Flash-Base di Hugging Face pada 5 November 2026. Model bahasa berbasis teks ini menggunakan arsitektur mixture of experts (MoE), dengan 280 miliar parameter secara keseluruhan dan 14 miliar parameter yang aktif untuk memproses setiap token. Baidu menyatakan model tersebut dilatih dari awal menggunakan 33,5 triliun token.1
3
6
Angka 280 miliar menunjukkan kapasitas total model, sedangkan 14 miliar adalah bagian yang aktif pada setiap token—bukan ukuran keseluruhan checkpoint yang diunduh. Yang juga penting: ini adalah model dasar untuk dikembangkan lebih lanjut, bukan asisten yang sudah melalui penyetelan instruksi.6
Apa yang ditawarkan dalam rilis ini?
Checkpoint ERNIE-5.5-Flash-Base merepresentasikan model setelah tahap prapelatihan, sebelum pelatihan menengah maupun pascapelatihan. Dokumentasi SGLang menyebutnya sebagai titik awal untuk adaptasi domain, penyetelan instruksi, dan riset reinforcement learning. Karena masih berupa model dasar, pengguna kemungkinan perlu melatih atau menyesuaikannya lagi untuk kebutuhan aplikasi asisten.
Batas konteksnya berbeda menurut tahap penggunaan: hingga 128 ribu token untuk pelatihan, serta hingga 1 juta token untuk fine-tuning dan inferensi. Dokumentasi SGLang juga mencantumkan dukungan deployment dengan konteks hingga 1 juta token.
Rilis Hugging Face menyediakan checkpoint FP8, sementara versi BF16 tersedia secara terpisah. SGLang mendokumentasikan dukungan untuk kedua format tersebut.5 Namun, besarnya jumlah parameter saja belum cukup untuk menggambarkan kebutuhan infrastruktur saat menjalankan model ini.
Mengapa jumlah parameter aktif lebih kecil?
Pada model MoE, tidak semua parameter digunakan untuk memproses setiap token. Karena itu, angka 280 miliar mencerminkan kapasitas total ERNIE, sementara 14 miliar menunjukkan parameter yang aktif per token.6
Menurut dokumentasi SGLang, arsitekturnya terdiri dari 37 lapisan atensi yang dikompresi secara agresif dan enam lapisan multi-head latent attention dengan konteks penuh, serta menggunakan atensi jarang (sparse attention). Dokumen yang sama menyebut 512 routed experts; pada setiap lapisan MoE, model memilih 10 di antaranya bersama satu shared expert. Rincian arsitektur ini menjelaskan cara model disusun, tetapi dengan sendirinya tidak membuktikan keunggulan tertentu dalam kecepatan atau biaya penggunaan.
Baidu juga menyebut penggunaan optimizer Muon dan presisi campuran FP8 dalam pelatihan yang berjalan pada ribuan GPU. Materi modelnya memperkenalkan FlashMask-4 sebagai kernel atensi untuk dimensi head yang besar.6
Untuk FlashMask-4, Baidu melaporkan bahwa forward pass dapat hingga 175% lebih cepat dan backward pass hingga 74% lebih cepat pada SM100 dibandingkan FlashAttention-4 MaskMod.4 Angka tersebut adalah hasil yang dilaporkan vendor untuk kernel, bukan klaim bahwa layanan model secara keseluruhan akan berjalan 175% lebih cepat dalam penggunaan nyata.
Bagaimana hasil benchmark-nya?
Hasil yang dilaporkan Baidu menunjukkan skor tinggi pada beberapa pengujian pengetahuan dan pemrograman, termasuk jika dibandingkan dengan DeepSeek-V4-Flash-Base. Angka berikut merupakan hasil benchmark yang dilaporkan, bukan replikasi independen.4
7
| Benchmark | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78,4 | 69,2 |
| HumanEval+ | 82,3 | 69,5 |
| LiveCodeBench | 40,1 | 31,9 |
| ChineseSimpleQA | 73,0 | 75,3 |
Pada evaluasi MMLU dengan lima contoh (five-shot), ERNIE mendapat skor 93,3, di atas DeepSeek-V4-Flash-Base yang memperoleh 89,4, Hy3-preview dengan 87,5, dan MiMo-V2.5 dengan 87,6.4 Namun, hasilnya bukan kemenangan di semua pengujian: DeepSeek mencatat skor lebih tinggi pada ChineseSimpleQA dan InfiniteBench dalam perbandingan yang dilaporkan.
7
14
Kesimpulannya, ERNIE-5.5-Flash-Base menawarkan kapasitas total besar, aktivasi parameter yang jarang, dan dukungan deployment untuk konteks panjang. Hasil benchmark-nya menjanjikan di sejumlah bidang, tetapi tetap perlu diuji sesuai kebutuhan penggunaan dan ditinjau berdasarkan ketentuan lisensinya sebelum diterapkan.
Dukungan deployment dan lisensi
SGLang mencantumkan checkpoint FP8 dan BF16 sebagai model yang didukung, serta menyediakan panduan deployment, termasuk penggunaan speculative decoding ECHO. Sementara itu, halaman model Hugging Face mencantumkan ERNIE 5.5 Flash Base Model License Agreement v1.0. Perjanjian tersebut juga merujuk pada kebijakan penggunaan yang dapat diterima. Jadi, ketersediaan bobot model bukan berarti penggunaannya tanpa batas; tinjau ketentuan lisensi sebelum mengandalkannya dalam produk.19
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "ERNIE 5.5 Flash Base: Model 280 Miliar Parameter dari Baidu"?
Dirilis pada 5 November 2026, ERNIE 5.5 Flash Base memiliki 280 miliar parameter total, dengan 14 miliar aktif untuk setiap token.
Apa poin penting yang harus divalidasi terlebih dahulu?
Dirilis pada 5 November 2026, ERNIE 5.5 Flash Base memiliki 280 miliar parameter total, dengan 14 miliar aktif untuk setiap token. Baidu menyebut model ini dilatih dari awal menggunakan 33,5 triliun token. Dukungan konteksnya mencapai 128 ribu token saat pelatihan dan 1 juta token untuk fine tuning serta inferensi.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Ini adalah checkpoint dasar, bukan asisten siap pakai. Skornya unggul dalam sejumlah benchmark yang dilaporkan, tetapi tidak memimpin di semua pengujian.