답변게시됨18 소스
바이두 ERNIE 5.5 Flash Base, 280B와 14B는 무엇이 다를까
바이두는 2026년 11월 5일 ERNIE 5.5 Flash Base를 공개했다. 총 280B 파라미터 가운데 토큰마다 14B를 활성화하는 MoE 기반 모델이다. 모델은 33.5조 토큰으로 사전학습됐으며, 학습 문맥은 최대 128K, 파인튜닝과 추론은 최대 1M 토큰까지 지원한다고 안내됐다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- 바이두는 2026년 11월 5일 ERNIE 5.5 Flash Base를 공개했다. 총 280B 파라미터 가운데 토큰마다 14B를 활성화하는 MoE 기반 모델이다.
- 모델은 33.5조 토큰으로 사전학습됐으며, 학습 문맥은 최대 128K, 파인튜닝과 추론은 최대 1M 토큰까지 지원한다고 안내됐다.
- 완성형 대화 비서가 아닌 사전학습 체크포인트다. 벤치마크 성적은 유망하지만, 사용 전 라이선스와 실제 작업에 맞는 성능을 확인해야 한다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Baidu announce on November 5, 2026, with its Hugging Face release of ERNIE-5.5-Flash-Base, and how do its 280B total and 14B active. Article summary: Baidu announced the Hugging Face release of ERNIE-5.5-Flash-Base on November 5, 2026: a downloadable, text-only mixture-of-experts base model with 280 billion total parameters and 14 billion activated per token.[3][4] Th. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
바이두는 2026년 11월 5일 허깅페이스에 ERNIE-5.5-Flash-Base를 공개했다. 텍스트 전용 혼합 전문가(MoE) 기반 모델로, 총 파라미터는 280B이며 토큰 하나를 처리할 때 활성화되는 파라미터는 14B다. 바이두는 이 모델을 처음부터 33.5조 토큰으로 사전학습했다고 밝혔다.1
3
6
여기서 280B는 모델 전체의 규모, 14B는 토큰마다 실제 계산에 참여하는 파라미터의 규모를 뜻한다. 따라서 14B만으로 모델 체크포인트 전체의 크기나 실행에 필요한 인프라를 가늠할 수는 없다. 또 ‘Base’ 모델은 바로 쓸 수 있는 대화형 비서라기보다, 추가 학습과 조정을 위한 출발점에 가깝다.6
공개된 것은 완성형 비서가 아닌 사전학습 모델
SGLang 문서는 이 체크포인트가 사전학습을 마친 시점의 모델이며, 중간 학습이나 후속 학습은 거치지 않았다고 설명한다. 도메인 적응, 지시문 파인튜닝, 강화학습 연구 등을 위한 기반으로 제시됐다. 특정 서비스나 사용자 경험에 맞추려면 별도의 조정 과정이 필요할 수 있다는 뜻이다.
문맥 길이도 사용 단계에 따라 다르다. 안내된 최대 학습 문맥은 128K 토큰이고, 파인튜닝과 추론은 최대 1M 토큰까지 지원한다. SGLang 배포 문서 역시 최대 1M 문맥 지원을 명시하고 있다.
허깅페이스에는 FP8 체크포인트가 공개됐고, BF16 버전도 별도로 올라와 있다. SGLang은 두 형식 모두 지원한다고 안내한다.5 다만 대규모 모델인 만큼, 파라미터 수만 보고 실제 구동에 필요한 하드웨어나 비용을 단정하기는 어렵다.
총 280B인데 토큰당 14B만 활성화되는 이유
MoE 모델은 전체 파라미터를 매번 전부 사용하지 않고, 입력에 따라 일부 전문가 네트워크를 선택해 계산한다. ERNIE의 ‘총 280B, 토큰당 14B 활성’이라는 수치는 이런 희소 구조를 반영한다.6
SGLang 문서에 따르면 모델은 압축형 어텐션 계층 37개와 전체 문맥을 처리하는 다중 헤드 잠재 어텐션 계층 6개로 구성돼 있다. 희소 어텐션도 사용하며, 각 MoE 계층에서는 라우팅된 전문가 512개 중 10개와 공유 전문가를 선택한다고 설명한다. 이 구조 정보만으로 실제 서비스에서의 속도나 비용 우위를 입증할 수 있는 것은 아니다.
바이두는 학습 과정에 Muon 옵티마이저와 FP8 혼합 정밀도를 사용했으며, 수천 개 GPU를 활용했다고 밝혔다. 또 대규모 헤드 차원을 위한 어텐션 커널 FlashMask-4를 소개했다.6
바이두가 공개한 비교에서 FlashMask-4는 SM100에서 FlashAttention-4 MaskMod보다 순전파가 최대 175%, 역전파가 최대 74% 빠르다.4 이는 특정 커널에 관한 업체 측 성능 주장이다. 전체 모델이 실제 서비스 환경에서 그만큼 빨라진다는 의미는 아니다.
벤치마크 성적은 강점과 빈틈이 함께 보인다
바이두가 공개한 비교표에는 지식·코딩 관련 평가에서 ERNIE의 높은 점수가 여럿 포함돼 있다. 다만 이는 공개 자료에 실린 벤치마크 결과이며, 독립적으로 재현된 성적과는 구분해서 볼 필요가 있다.4
7
| 벤치마크 | ERNIE-5.5-Flash-Base | DeepSeek-V4-Flash-Base |
|---|---|---|
| MMLU-Pro | 78.4 | 69.2 |
| HumanEval+ | 82.3 | 69.5 |
| LiveCodeBench | 40.1 | 31.9 |
| ChineseSimpleQA | 73.0 | 75.3 |
MMLU 5-shot 평가에서는 ERNIE가 93.3점으로, DeepSeek-V4-Flash-Base의 89.4점, Hy3-preview의 87.5점, MiMo-V2.5의 87.6점을 앞섰다.4 그러나 모든 항목에서 앞선 것은 아니다. 공개된 비교에서 DeepSeek는 ChineseSimpleQA와 InfiniteBench에서 더 높은 점수를 기록했다.
7
14
도입 전 확인할 점
SGLang은 FP8·BF16 체크포인트의 실행을 지원하고, ECHO 추측 디코딩을 포함한 배포 방법을 제공한다. 허깅페이스 모델 페이지에 기재된 라이선스는 ‘ERNIE 5.5 Flash Base Model License Agreement v1.0’이다. 별도의 허용 사용 정책도 언급돼 있으므로, 가중치를 내려받을 수 있다는 사실만으로 사용에 제한이 없다고 볼 수는 없다. 제품에 적용하기 전 라이선스 조건을 확인해야 한다.19
요약하면 ERNIE-5.5-Flash-Base는 전체 규모가 크면서 토큰당 일부 파라미터만 활성화하는 기반 모델이며, 긴 문맥 배포 지원과 여러 평가에서의 높은 점수를 내세운다. 실제 활용 여부는 필요한 작업에서 성능을 직접 확인하고, 운영 인프라와 라이선스 조건까지 검토한 뒤 판단하는 것이 좋다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"바이두 ERNIE 5.5 Flash Base, 280B와 14B는 무엇이 다를까"에 대한 짧은 대답은 무엇입니까?
바이두는 2026년 11월 5일 ERNIE 5.5 Flash Base를 공개했다. 총 280B 파라미터 가운데 토큰마다 14B를 활성화하는 MoE 기반 모델이다.
먼저 검증할 핵심 포인트는 무엇인가요?
바이두는 2026년 11월 5일 ERNIE 5.5 Flash Base를 공개했다. 총 280B 파라미터 가운데 토큰마다 14B를 활성화하는 MoE 기반 모델이다. 모델은 33.5조 토큰으로 사전학습됐으며, 학습 문맥은 최대 128K, 파인튜닝과 추론은 최대 1M 토큰까지 지원한다고 안내됐다.
실무에서는 다음으로 무엇을 해야 합니까?
완성형 대화 비서가 아닌 사전학습 체크포인트다. 벤치마크 성적은 유망하지만, 사용 전 라이선스와 실제 작업에 맞는 성능을 확인해야 한다.