Câu trả lờiĐã xuất bản18 nguồn
Baidu ra mắt ERNIE-5.5-Flash-Base: 280 tỷ tham số, 14 tỷ kích hoạt mỗi token
ERNIE 5.5 Flash Base được Baidu phát hành trên Hugging Face ngày 5/11/2026; mô hình có tổng cộng 280 tỷ tham số, kích hoạt 14 tỷ tham số cho mỗi token và được huấn luyện trên 33,5 nghìn tỷ token.[1][3][6] Đây là checkpoint nền tảng trước giai đoạn huấn luyện giữa kỳ hoặc hậu huấn luyện, phù hợp làm điểm khởi đầu để...
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- ERNIE 5.5 Flash Base được Baidu phát hành trên Hugging Face ngày 5/11/2026; mô hình có tổng cộng 280 tỷ tham số, kích hoạt 14 tỷ tham số cho mỗi token và được huấn luyện trên 33,5 nghìn tỷ token.[1][3][6]
- Đây là checkpoint nền tảng trước giai đoạn huấn luyện giữa kỳ hoặc hậu huấn luyện, phù hợp làm điểm khởi đầu để tinh chỉnh; giới hạn ngữ cảnh được công bố là 128K khi huấn luyện và tới 1 triệu token khi tinh chỉnh, su...
- Kết quả Baidu công bố nổi bật ở một số bài kiểm tra kiến thức và lập trình, nhưng DeepSeek V4 Flash Base đạt điểm cao hơn ở ChineseSimpleQA và InfiniteBench trong các so sánh được nêu.[4][7][14]
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Baidu phát hành ERNIE-5.5-Flash-Base trên Hugging Face ngày 5/11/2026. Đây là mô hình ngôn ngữ chỉ xử lý văn bản, dùng kiến trúc hỗn hợp chuyên gia (mixture of experts, hay MoE), với tổng cộng 280 tỷ tham số nhưng chỉ kích hoạt 14 tỷ tham số cho mỗi token. Theo Baidu, mô hình được huấn luyện từ đầu trên 33,5 nghìn tỷ token.1
3
6
Điểm cần phân biệt: 280 tỷ là tổng quy mô tham số của mô hình, còn 14 tỷ là phần được sử dụng để xử lý mỗi token — không phải kích thước đầy đủ của bộ trọng số. Quan trọng hơn, đây là mô hình nền tảng (base model), chưa phải một trợ lý đã được tinh chỉnh để làm theo chỉ dẫn.6
Bản phát hành dành cho ai?
Checkpoint được lấy ở giai đoạn kết thúc tiền huấn luyện, trước các bước huấn luyện giữa kỳ hoặc hậu huấn luyện. Tài liệu SGLang giới thiệu nó như điểm khởi đầu cho các nhóm muốn thích nghi mô hình với lĩnh vực riêng, tinh chỉnh theo chỉ dẫn hoặc nghiên cứu học tăng cường. Vì vậy, nếu cần một trợ lý có thể sử dụng ngay, nhà phát triển có thể phải tiếp tục huấn luyện và điều chỉnh mô hình cho mục đích cụ thể.
Thông số ngữ cảnh phân biệt rõ hai giai đoạn: tối đa 128K token khi huấn luyện, và tối đa 1 triệu token khi tinh chỉnh, suy luận. Tài liệu triển khai của SGLang cũng ghi nhận hỗ trợ ngữ cảnh lên tới 1 triệu token.
Bản phát hành trên Hugging Face có trọng số FP8; một biến thể BF16 được đăng riêng. SGLang ghi nhận hỗ trợ cả hai phiên bản.5 Đây vẫn là các checkpoint quy mô lớn: con số tham số hoạt động không tự nó cho biết cần hạ tầng nào để tải và vận hành mô hình.
MoE hoạt động ra sao trong ERNIE?
Ở mô hình MoE, không phải mọi tham số đều được dùng cho từng token. Thiết kế thưa này giúp lý giải vì sao ERNIE có tổng cộng 280 tỷ tham số nhưng chỉ kích hoạt 14 tỷ tham số mỗi token.6
Theo tài liệu SGLang, kiến trúc gồm 37 lớp attention được nén mạnh và 6 lớp multi-head latent attention xử lý ngữ cảnh đầy đủ, kết hợp attention thưa. Mỗi lớp MoE chọn 10 chuyên gia trong số 512 chuyên gia định tuyến, đồng thời có thêm một chuyên gia dùng chung. Những thông tin này mô tả cấu trúc mô hình, nhưng tự chúng chưa chứng minh mô hình sẽ nhanh hơn hoặc rẻ hơn trong mọi tác vụ thực tế.
Baidu cho biết quá trình huấn luyện dùng bộ tối ưu Muon và độ chính xác hỗn hợp FP8 trên hàng nghìn GPU. Tài liệu của hãng cũng giới thiệu FlashMask-4, kernel attention dành cho kích thước head lớn.6
Với kernel này, Baidu báo cáo tốc độ xử lý lượt chạy xuôi nhanh hơn tới 175% và lượt chạy ngược nhanh hơn 74% trên SM100 so với FlashAttention-4 MaskMod.4 Đây là kết quả do nhà cung cấp công bố cho kernel, không đồng nghĩa toàn bộ mô hình sẽ chạy nhanh hơn 175% trong một hệ thống phục vụ thực tế.
Benchmark: điểm mạnh có, nhưng không thắng mọi hạng mục
Các kết quả Baidu công bố cho thấy ERNIE đạt điểm cao ở một số bài kiểm tra kiến thức và lập trình, trong đó có những so sánh với DeepSeek-V4-Flash-Base. Đây là số liệu benchmark được báo cáo, không phải kết quả đã được tái kiểm chứng độc lập.4
7
| Bài kiểm tra | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78,4 | 69,2 |
| HumanEval+ | 82,3 | 69,5 |
| LiveCodeBench | 40,1 | 31,9 |
| ChineseSimpleQA | 73,0 | 75,3 |
Ở bài đánh giá MMLU với thiết lập 5-shot, ERNIE đạt 93,3 điểm, so với 89,4 của DeepSeek-V4-Flash-Base, 87,5 của Hy3-preview và 87,6 của MiMo-V2.5.4 Tuy nhiên, kết quả không phải một chiều: DeepSeek đạt điểm cao hơn ERNIE ở ChineseSimpleQA và InfiniteBench trong các so sánh được công bố.
7
14
Bức tranh tổng thể là một mô hình nền tảng có dung lượng lớn, kích hoạt thưa theo từng token và được tài liệu triển khai xác nhận hỗ trợ ngữ cảnh dài. Điểm benchmark đáng chú ý ở một số lĩnh vực, nhưng vẫn cần được đối chiếu với tác vụ cụ thể trước khi lựa chọn.
Triển khai và giấy phép cần lưu ý
SGLang liệt kê hỗ trợ cả checkpoint FP8 lẫn BF16, đồng thời cung cấp hướng dẫn triển khai, trong đó có giải mã suy đoán ECHO. Trang mô hình trên Hugging Face nêu giấy phép riêng mang tên ERNIE 5.5 Flash Base Model License Agreement v1.0. Thỏa thuận cũng dẫn chiếu chính sách sử dụng chấp nhận được, vì vậy việc tải được trọng số không đồng nghĩa với quyền sử dụng không giới hạn. Hãy đọc điều khoản trước khi đưa mô hình vào sản phẩm.19
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Baidu ra mắt ERNIE-5.5-Flash-Base: 280 tỷ tham số, 14 tỷ kích hoạt mỗi token" là gì?
ERNIE 5.5 Flash Base được Baidu phát hành trên Hugging Face ngày 5/11/2026; mô hình có tổng cộng 280 tỷ tham số, kích hoạt 14 tỷ tham số cho mỗi token và được huấn luyện trên 33,5 nghìn tỷ token.[1][3][6]
Những điểm chính cần xác nhận đầu tiên là gì?
ERNIE 5.5 Flash Base được Baidu phát hành trên Hugging Face ngày 5/11/2026; mô hình có tổng cộng 280 tỷ tham số, kích hoạt 14 tỷ tham số cho mỗi token và được huấn luyện trên 33,5 nghìn tỷ token.[1][3][6] Đây là checkpoint nền tảng trước giai đoạn huấn luyện giữa kỳ hoặc hậu huấn luyện, phù hợp làm điểm khởi đầu để tinh chỉnh; giới hạn ngữ cảnh được công bố là 128K khi huấn luyện và tới 1 triệu token khi tinh chỉnh, su...
Tôi nên làm gì tiếp theo trong thực tế?
Kết quả Baidu công bố nổi bật ở một số bài kiểm tra kiến thức và lập trình, nhưng DeepSeek V4 Flash Base đạt điểm cao hơn ở ChineseSimpleQA và InfiniteBench trong các so sánh được nêu.[4][7][14]