NVIDIA zgarnia wszystko w MLPerf Training 6.0: Rekordy na Blackwell Ultra i nowe testy DeepSeek

Architektura DeepSeek-V3 jest wyjątkowo zaawansowana. Oprócz MoE wykorzystuje Multi-head Latent Attention (MLA), precyzyjną segmentację ekspertów (160 trasowanych ekspertów) i przewidywanie wielu tokenów na raz, co czyni ją jednym z najbardziej wymagających testów dla sprzętu AI .

Rekord CoreWeave: DeepSeek-V3 wytrenowany w 2 minuty

Największe wrażenie zrobił wynik dostawcy chmury obliczeniowej CoreWeave. Firma, korzystając z produkcyjnej infrastruktury dostępnej dla swoich klientów, wytrenowała model DeepSeek-V3 671B w zaledwie 2,02 minuty .

Był to nie tylko najszybszy czas dla tego modelu w całym teście, ale także pokaz możliwości ogromnego klastra. CoreWeave użyło 8192 układów GPU NVIDIA GB300 NVL72, co było największą konfiguracją zgłoszoną w tej rundzie . Kluczem do sukcesu była optymalizacja całego stosu technologicznego – od sieci, przez orkiestrację, po warstwę pamięci masowej.

GB300 vs. GB200: Skok generacyjny Blackwell Ultra

Porównanie nowej platformy GB300 NVL72 z poprzednią generacją GB200 NVL72 pokazuje, jak duży jest postęp technologiczny:

• W zadaniach inferencji (wnioskowania) GB300 NVL72, należący do rodziny Blackwell Ultra, osiąga nawet 2,77 razy wyższą przepustowość w tokenach na sekundę niż GB200 NVL72 .
• W treningu, przy tej samej skali, GB300 NVL72 jest do 1,6 raza szybszy od swojego poprzednika .

Przewaga ta wynika z większych zasobów pamięci i budżetu energetycznego, ale to tylko połowa sukcesu. Druga połowa to oprogramowanie. Inżynierowie NVIDII osiągnęli 1,3-krotny wzrost przepustowości treningu DeepSeek-V3 w ciągu zaledwie trzech miesięcy na identycznym sprzęcie, wykorzystując zaawansowane techniki, takie jak pełnoiteracyjne grafy CUDA i fuzje oparte na CuTe DSL . Pokazuje to, jak bardzo optymalizacja stosu programowego (CUDA) wpływa na końcowy wynik.

Różnorodność i konkurencja: AMD depcze po piętach

Choć NVIDIA zdominowała wyniki, runda MLPerf Training 6.0 była rekordowa pod względem różnorodności:

• Swoje wyniki zgłosiły 24 organizacje, testując 95 różnych systemów i 13 typów akceleratorów sprzętowych .
• Coraz większą rolę odgrywają różne warianty precyzji obliczeń. AMD wykorzystało w swoich układach Instinct MI355X format MXFP4, osiągając wyniki konkurencyjne wobec platformy NVIDIA B200. W dostrajaniu modelu Llama 2-70B AMD było w zasięgu 5%, a w treningu wstępnym Llama 3.1-8B – w granicach 6% od wyniku rywala .

Ta techniczna różnorodność, którą doceniła współprzewodnicząca MLPerf Training, Shriya Rishab, pokazuje, że rynek AI staje się coraz bardziej zaawansowany i konkurencyjny .

Sieć i skala: Sekretne składniki rekordów

Osiągnięcie rekordowych czasów na tak dużą skalę nie byłoby możliwe bez innowacji w łączności. Partnerzy NVIDII skalowali swoje klastry do 8192 układów Blackwell, wykorzystując technologię Spectrum-X Ethernet.

Jest to kluczowe dla modeli MoE, które wymagają intensywnej, "wybuchowej" komunikacji wszystkich ze wszystkimi. Funkcje takie jak Adaptive Routing i Congestion Control pozwoliły utrzymać przepustowość sieci bliską teoretycznemu maksimum .

Dzięki połączeniu domen NVLink-switch i sieci scale-out, platforma NVIDII ustanowiła rekordowe czasy we wszystkich kategoriach, od dużych modeli językowych po generowanie obrazów:

• Trening wstępny Llama 3.1 8B: 5,2 minuty
• Dostrajanie Llama 2 70B: 0,40 minuty
• Generowanie obrazów (FLUX.1): 12,5 minuty
• System rekomendacji (DLRM-DCNv2): 0,71 minuty

Te wyniki to nie tylko suche liczby – to dowód na to, że kompleksowa integracja sprzętu i oprogramowania, od pojedynczego GPU po całe centrum danych, jest dziś kluczem do wygrywania wyścigu o coraz potężniejsze modele AI.