AnswersPublished18 sources
Baidu випустила базову модель ERNIE-5.5-Flash-Base: що означають 280 млрд і 14 млрд параметрів
ERNIE 5.5 Flash Base оприлюднили 5 листопада 2026 року: модель має 280 млрд параметрів загалом, активує 14 млрд на токен і, за даними Baidu, навчена на 33,5 трлн токенів.[1][3][6] Це базовий чекпойнт без проміжного та післянавчання. Для подальшої адаптації й інференсу заявлена підтримка контексту до 1 млн токенів; м...
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- ERNIE 5.5 Flash Base оприлюднили 5 листопада 2026 року: модель має 280 млрд параметрів загалом, активує 14 млрд на токен і, за даними Baidu, навчена на 33,5 трлн токенів.[1][3][6]
- Це базовий чекпойнт без проміжного та післянавчання. Для подальшої адаптації й інференсу заявлена підтримка контексту до 1 млн токенів; максимальний контекст під час навчання — 128 тис.[32][39]
- У тестах, наведених Baidu, модель випереджає DeepSeek V4 Flash Base за MMLU Pro та HumanEval+, але поступається їй за ChineseSimpleQA й InfiniteBench.[4][7][14]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Baidu опублікувала ERNIE-5.5-Flash-Base на Hugging Face 5 листопада 2026 року. Це текстова базова модель типу mixture of experts (MoE): загалом у ній 280 млрд параметрів, але для обробки кожного токена активуються 14 млрд. За словами Baidu, модель навчали з нуля на 33,5 трлн токенів.1
3
6
Ці дві цифри описують різні речі: 280 млрд — загальну кількість параметрів моделі, а 14 млрд — частину, залучену для конкретного токена. Тож 14 млрд — не повний розмір моделі. Важливо й те, що це базовий чекпойнт для подальшої роботи, а не готовий асистент, навчений виконувати інструкції.6
Для чого призначений чекпойнт
У документації SGLang зазначено, що модель збережена наприкінці попереднього навчання — до проміжного та післянавчання. Її можна використовувати як відправну точку для доменної адаптації, навчання за інструкціями й досліджень із навчанням з підкріпленням. Для прикладного асистента, імовірно, знадобляться додаткові етапи налаштування.
Заявлені межі контексту залежать від сценарію: до 128 тис. токенів під час навчання та до 1 млн токенів під час донавчання й інференсу. SGLang також описує розгортання з контекстом до 1 млн токенів.
На Hugging Face доступна версія ваг FP8, а окремо — варіант BF16; обидва формати вказані як підтримувані в документації SGLang.5 Параметри моделі самі по собі не визначають, скільки ресурсів потрібно для її запуску: це масштабні чекпойнти, для роботи з якими потрібна відповідна інфраструктура.
Як працює розріджена архітектура
У MoE-моделях усі параметри не задіюються для кожного токена. У випадку ERNIE-5.5-Flash-Base заявлені 280 млрд загальних і 14 млрд активних параметрів відображають саме такий розріджений принцип роботи.6
Згідно з описом SGLang, архітектура має 37 шарів уваги зі значним стисненням і шість шарів multi-head latent attention, що працюють із повним контекстом і використовують розріджену увагу. Також у документації вказано 512 маршрутизованих експертів: у кожному MoE-шарі вибираються 10 із них і один спільний експерт. Ці характеристики пояснюють будову моделі, але самі по собі не доводять, що вона буде швидшою чи дешевшою в будь-якому прикладному сценарії.
Baidu повідомляє, що під час навчання використовувала оптимізатор Muon і змішану точність FP8 на тисячах GPU. У матеріалах компанії FlashMask-4 описано як ядро уваги для великих розмірностей головок.6
Для FlashMask-4 Baidu заявляє на SM100 до 175% швидше виконання прямого проходу та до 74% швидше зворотного проходу порівняно з FlashAttention-4 MaskMod.4 Це результати компанії для ядра обчислень, а не твердження, що вся модель працюватиме на 175% швидше в реальному сервісному навантаженні.
Що показують бенчмарки
У таблиці Baidu наведено високі результати ERNIE на кількох тестах зі знань і програмування, зокрема в порівнянні з DeepSeek-V4-Flash-Base. Це опубліковані результати бенчмарків, а не незалежно відтворені вимірювання.4
7
| Бенчмарк | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78,4 | 69,2 |
| HumanEval+ | 82,3 | 69,5 |
| LiveCodeBench | 40,1 | 31,9 |
| ChineseSimpleQA | 73,0 | 75,3 |
У наведеному тесті MMLU із п’ятьма прикладами для підказки ERNIE отримала 93,3 бала. Це вище за результат DeepSeek-V4-Flash-Base — 89,4, Hy3-preview — 87,5 і MiMo-V2.5 — 87,6.4 Водночас перевага не поширюється на всі оцінювання: у порівняннях DeepSeek має вищі результати на ChineseSimpleQA та InfiniteBench.
7
14
Практичний висновок: Baidu випустила базову модель із великою загальною кількістю параметрів, розрідженою активацією та задокументованою підтримкою довгого контексту. Її результати в окремих тестах виглядають перспективно, але перед використанням варто перевірити, наскільки вони відповідають конкретному завданню, і ознайомитися з умовами ліцензії.
Розгортання та ліцензія
SGLang зазначає підтримку чекпойнтів FP8 і BF16 та публікує інструкції з розгортання, зокрема з використанням спекулятивного декодування ECHO. На сторінці моделі Hugging Face вказана спеціальна ERNIE 5.5 Flash Base Model License Agreement v1.0. Угода також посилається на політику допустимого використання, тому наявність ваг для завантаження не означає необмеженого дозволу на їх застосування. Перед інтеграцією моделі в продукт варто перевірити умови ліцензії.19
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Baidu випустила базову модель ERNIE-5.5-Flash-Base: що означають 280 млрд і 14 млрд параметрів"?
ERNIE 5.5 Flash Base оприлюднили 5 листопада 2026 року: модель має 280 млрд параметрів загалом, активує 14 млрд на токен і, за даними Baidu, навчена на 33,5 трлн токенів.[1][3][6]
What are the key points to validate first?
ERNIE 5.5 Flash Base оприлюднили 5 листопада 2026 року: модель має 280 млрд параметрів загалом, активує 14 млрд на токен і, за даними Baidu, навчена на 33,5 трлн токенів.[1][3][6] Це базовий чекпойнт без проміжного та післянавчання. Для подальшої адаптації й інференсу заявлена підтримка контексту до 1 млн токенів; максимальний контекст під час навчання — 128 тис.[32][39]
What should I do next in practice?
У тестах, наведених Baidu, модель випереджає DeepSeek V4 Flash Base за MMLU Pro та HumanEval+, але поступається їй за ChineseSimpleQA й InfiniteBench.[4][7][14]