Nové benchmarky pro Mixture-of-Experts modely

Největší novinkou tohoto kola bylo zavedení dvou zcela nových benchmarků zaměřených na předtrénování modelů s architekturou Mixture-of-Experts (MoE) :

1. DeepSeek-V3 (671 miliard parametrů): Gigantický model, který pro každý token aktivuje „pouze“ 37 miliard parametrů. Využívá pokročilé techniky jako Multi-head Latent Attention (MLA), jemnou segmentaci expertů (160 směrovaných expertů), multi-token predikci a vyvažování zátěže bez pomocné ztrátové funkce .
2. GPT-OSS-20B: Menší, ale stále náročný model pro testování MoE architektur.

Nvidia byla jedinou platformou, která odevzdala výsledky pro obě tyto nové zátěže, a to pomocí systému GB300 NVL72 optimalizovaného vlastními softwarovými nástroji, CUDA grafy a pokročilým směrováním expertů .

CoreWeave trénuje DeepSeek-V3 za 2 minuty

Největší pozornost na sebe strhl cloudový provider CoreWeave, který dosáhl historického rekordu. Na své produkční cloudové infrastruktuře, dostupné i běžným zákazníkům, vytrénoval model DeepSeek-V3 671B za pouhé 2,02 minuty .

Tento ohromující výkon byl dosažen na clust eru čítajícím 8 192 GPU Nvidia GB300 NVL72, což bylo největší nasazení této platformy v celém kole . CoreWeave těžil z komplexních optimalizací napříč celým stackem – od síťové vrstvy přes orchestraci až po úložiště . Pro srovnání, stejný model zvládl vytrénovat na 4 096 GPU za 3,09 minuty a na 2 048 GPU za 5,54 minuty .

GB300 NVL72 vs. GB200 NVL72: Generační skok ve výkonu

Výsledky jasně ukázaly výkonnostní přírůstek nové architektury Blackwell Ultra oproti předchozí generaci.

• Systém GB300 NVL72 (Blackwell Ultra) vykázal v inferenci až 2,77× vyšší propustnost v tokenech za sekundu ve srovnání s GB200 NVL72 .
• Také v trénování byly nárůsty výrazné – při stejném měřítku byl GB300 NVL72 až 1,6× rychlejší .
• Klíčem k úspěchu je nejen výkonnější hardware s větší pamětí a energetickým rozpočtem, ale i softwarové inovace. Nvidia uvedla, že jen díky vylepšením softwaru (např. plně iterativní CUDA grafy a fúze CuTe DSL) se propustnost trénování DeepSeek-V3 zvýšila během tří měsíců o 1,3× na identickém hardwaru .

Další rekordy a technická rozmanitost

Dominance Nvidie a jejích partnerů se propsala i do dalších benchmarků. GB300 NVL72 dosáhl rekordních časů napříč celým spektrem úloh :

• Předtrénování LLM (Llama 3.1 8B): 5,2 minuty
• Doladění LLM (Llama 2 70B LoRA): 0,40 minuty
• Generování obrázků (FLUX.1): 12,5 minut
• Doporučovací systémy (DLRM-DCNv2): 0,71 minuty
• Detekce objektů (RetinaNet): 1,4 minuty

Tyto výsledky byly umožněny i díky pokročilé síťové infrastruktuře. Partneři Nvidie využívali Spectrum-X Ethernet s adaptivním směrováním a kontrolou zahlcení, který je klíčový pro nárazovou komunikaci typu all-to-all, typickou pro MoE modely .

I když Nvidia dominovala, AMD ukázalo, že není bez šance. Jeho akcelerátory Instinct MI355X s přesností MXFP4 dosáhly konkurenceschopných výsledků proti platformě Nvidia B200. V úloze doladění Llama 2-70B zaostaly jen o 5 % a v předtrénování Llama 3.1-8B o 6 % .

Závěr

MLPerf Training v6.0 jasně ukázal, že architektura Nvidia Blackwell Ultra nastavuje nový standard pro trénování AI modelů. Ať už jde o surový výkon na jedno GPU, nebo o škálování na tisíce akcelerátorů, platforma Nvidia v současnosti nemá v těchto benchmarcích konkurenci. Zavedení realistických MoE zátěží, jako je DeepSeek-V3, navíc poskytuje firmám mnohem relevantnější data pro rozhodování o infrastruktuře pro nejnovější generaci AI modelů.

Nové benchmarky pro Mixture-of-Experts modely

Největší novinkou tohoto kola bylo zavedení dvou zcela nových benchmarků zaměřených na předtrénování modelů s architekturou Mixture-of-Experts (MoE) :

1. DeepSeek-V3 (671 miliard parametrů): Gigantický model, který pro každý token aktivuje „pouze“ 37 miliard parametrů. Využívá pokročilé techniky jako Multi-head Latent Attention (MLA), jemnou segmentaci expertů (160 směrovaných expertů), multi-token predikci a vyvažování zátěže bez pomocné ztrátové funkce .
2. GPT-OSS-20B: Menší, ale stále náročný model pro testování MoE architektur.

Nvidia byla jedinou platformou, která odevzdala výsledky pro obě tyto nové zátěže, a to pomocí systému GB300 NVL72 optimalizovaného vlastními softwarovými nástroji, CUDA grafy a pokročilým směrováním expertů .

CoreWeave trénuje DeepSeek-V3 za 2 minuty

Největší pozornost na sebe strhl cloudový provider CoreWeave, který dosáhl historického rekordu. Na své produkční cloudové infrastruktuře, dostupné i běžným zákazníkům, vytrénoval model DeepSeek-V3 671B za pouhé 2,02 minuty .

Tento ohromující výkon byl dosažen na clust eru čítajícím 8 192 GPU Nvidia GB300 NVL72, což bylo největší nasazení této platformy v celém kole . CoreWeave těžil z komplexních optimalizací napříč celým stackem – od síťové vrstvy přes orchestraci až po úložiště . Pro srovnání, stejný model zvládl vytrénovat na 4 096 GPU za 3,09 minuty a na 2 048 GPU za 5,54 minuty .

GB300 NVL72 vs. GB200 NVL72: Generační skok ve výkonu

Výsledky jasně ukázaly výkonnostní přírůstek nové architektury Blackwell Ultra oproti předchozí generaci.

• Systém GB300 NVL72 (Blackwell Ultra) vykázal v inferenci až 2,77× vyšší propustnost v tokenech za sekundu ve srovnání s GB200 NVL72 .
• Také v trénování byly nárůsty výrazné – při stejném měřítku byl GB300 NVL72 až 1,6× rychlejší .
• Klíčem k úspěchu je nejen výkonnější hardware s větší pamětí a energetickým rozpočtem, ale i softwarové inovace. Nvidia uvedla, že jen díky vylepšením softwaru (např. plně iterativní CUDA grafy a fúze CuTe DSL) se propustnost trénování DeepSeek-V3 zvýšila během tří měsíců o 1,3× na identickém hardwaru .

Další rekordy a technická rozmanitost

Dominance Nvidie a jejích partnerů se propsala i do dalších benchmarků. GB300 NVL72 dosáhl rekordních časů napříč celým spektrem úloh :

• Předtrénování LLM (Llama 3.1 8B): 5,2 minuty
• Doladění LLM (Llama 2 70B LoRA): 0,40 minuty
• Generování obrázků (FLUX.1): 12,5 minut
• Doporučovací systémy (DLRM-DCNv2): 0,71 minuty
• Detekce objektů (RetinaNet): 1,4 minuty

Tyto výsledky byly umožněny i díky pokročilé síťové infrastruktuře. Partneři Nvidie využívali Spectrum-X Ethernet s adaptivním směrováním a kontrolou zahlcení, který je klíčový pro nárazovou komunikaci typu all-to-all, typickou pro MoE modely .

I když Nvidia dominovala, AMD ukázalo, že není bez šance. Jeho akcelerátory Instinct MI355X s přesností MXFP4 dosáhly konkurenceschopných výsledků proti platformě Nvidia B200. V úloze doladění Llama 2-70B zaostaly jen o 5 % a v předtrénování Llama 3.1-8B o 6 % .

Závěr

MLPerf Training v6.0 jasně ukázal, že architektura Nvidia Blackwell Ultra nastavuje nový standard pro trénování AI modelů. Ať už jde o surový výkon na jedno GPU, nebo o škálování na tisíce akcelerátorů, platforma Nvidia v současnosti nemá v těchto benchmarcích konkurenci. Zavedení realistických MoE zátěží, jako je DeepSeek-V3, navíc poskytuje firmám mnohem relevantnější data pro rozhodování o infrastruktuře pro nejnovější generaci AI modelů.