AnswersPublished16 sources
MLPerf Inference v6.1 podnosi poprzeczkę dla sprzętu AI i oprogramowania do inferencji
AMD osiągnęło najwyższą łączną przepustowość tokenów w zgłoszeniu Crusoe z 512 akceleratorami Instinct MI355X, ale wynik należy oceniać w odniesieniu do skali całego klastra. NVIDIA po raz pierwszy pokazała wyniki Vera Rubin NVL72 w kategorii preview, deklarując do 3,7 razy wyższą przepustowość od GB300 NVL72 w teśc...
Opublikowane przezEdytowane za pomocą GPT-5.6 TerraObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- AMD osiągnęło najwyższą łączną przepustowość tokenów w zgłoszeniu Crusoe z 512 akceleratorami Instinct MI355X, ale wynik należy oceniać w odniesieniu do skali całego klastra.
- NVIDIA po raz pierwszy pokazała wyniki Vera Rubin NVL72 w kategorii preview, deklarując do 3,7 razy wyższą przepustowość od GB300 NVL72 w teście Qwen3 VL.
- MLCommons dodało testy end to end RAG i agentowej inferencji na brzegu sieci, przy rekordowych 30 zgłaszających i 486 wynikach dla centrów danych oraz urządzeń edge.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 nie jest już prostą tabelą „najszybszych układów”. Najważniejszy wniosek z tej rundy jest praktyczny: o użyteczności platformy do obsługi modeli AI decyduje cały system — akceleratory, oprogramowanie, sieć, skala klastra i dotrzymanie wymagań dotyczących opóźnień.
W wynikach szczególnie wyróżniają się 512-GPU konfiguracja AMD Instinct MI355X, pierwsze dane NVIDIA dla Vera Rubin, większa obecność procesorów i profesjonalnych GPU Intela, a także nowe testy dla aplikacji RAG oraz agentów AI.
AMD: rekord skali, ale nie uniwersalny werdykt
Najgłośniejszy wynik AMD pochodził z konfiguracji Crusoe z 512 GPU Instinct MI355X. System uzyskał najwyższe zgłoszone w rundzie v6.1 łączne wartości przepustowości tokenów. 5 To istotna demonstracja działania inferencji rozproszonej na ogromną skalę: testuje nie tylko same akceleratory, ale również komunikację sieciową, obsługę klastra i integrację całego systemu.
Nie oznacza to jednak automatycznie, że jedna platforma jest najlepsza w każdym wdrożeniu. Wyniku klastra z 512 GPU nie należy zestawiać wprost z pojedynczą szafą rackową ani mniejszym środowiskiem. Trzeba uwzględnić liczbę GPU, użyty model, scenariusz benchmarku, limity opóźnień i poziom obsługi użytkowników. Dla wielkiej floty inferencyjnej kluczowa może być łączna przepustowość, a dla konkretnego wdrożenia — wydajność na akcelerator, gęstość w racku, pobór energii, dostępność oraz złożoność operacyjna.
ROCm pokazuje, dlaczego oprogramowanie staje się częścią wyniku
AMD podkreślało wzrost wydajności na tym samym sprzęcie MI355X względem poprzedniej rundy MLPerf, wiążąc go z optymalizacjami ROCm. Firma informowała też, że siedmiu partnerów uzyskało zbliżone rezultaty, co ma wskazywać na możliwość odtworzenia wyników poza systemem referencyjnym.
To ważne dla kupujących: kompilatory, jądra obliczeniowe, runtime modeli i oprogramowanie do rozproszonego serwowania mogą zwiększać użyteczną pojemność już zainstalowanej infrastruktury bez wymiany GPU. AMD zapowiedziało sześciotygodniowy cykl wydań ROCm. Jeśli przełoży się on na stabilne, wdrażalne usprawnienia, tempo rozwoju oprogramowania może wejść do kalkulacji kosztu wygenerowania tokena.
Nie należy jednak zakładać, że poprawa z benchmarku przejdzie do produkcji w proporcji jeden do jednego. Własny miks modeli, kwantyzacja, framework, charakter ruchu i cele opóźnieniowe mogą dać zupełnie inny rezultat.
NVIDIA Vera Rubin: obiecujący pokaz, jeszcze nie bezpośrednia oferta zakupowa
Vera Rubin NVL72 zadebiutował w MLPerf Inference jako zgłoszenie preview, czyli przedpremierowe. NVIDIA podała przepustowość do 3,7 razy wyższą niż w GB300 NVL72 dla Qwen3-VL. Firma wskazała również 99-procentową efektywność skalowania dla zgłoszenia GB300 NVL72 z 288 GPU w czterech rackach. 2
Kluczowe zastrzeżenie dotyczy dostępności. Wyniki preview pokazują kierunek architektury i dojrzałość oprogramowania, ale nie są automatycznie porównaniem zakupowym „jeden do jednego” z systemami powszechnie dostępnymi. Zgłoszenia preview wykorzystywały też różne rozmiary klastrów, dlatego bardziej miarodajne od łącznej przepustowości bywają wyniki znormalizowane, na przykład na GPU. 8
W perspektywie najbliższych wdrożeń nadal kluczowe pozostają Blackwell i Blackwell Ultra. CoreWeave zgłosiło czołowe wśród dostawców chmurowych wyniki dla kilku konfiguracji Blackwell i Blackwell Ultra w zadaniach Qwen3-VL, DeepSeek-R1 oraz GPT-OSS-120B. 4 W praktyce nie ma zatem jednego zwycięzcy dla wszystkich: inne konfiguracje mogą być korzystniejsze dla masowej obsługi klastra, inne dla serwowania w skali racka, modeli multimodalnych czy interaktywnych zadań o niskich opóźnieniach.
Intel rozszerza obraz inferencji poza hyperskalę
Wyniki Intela zwiększają widoczność inferencji na CPU i GPU klasy stacji roboczej. Węzeł z czterema kartami Arc Pro B70 dysponował łącznie 128 GB VRAM i został zgłoszony w testach Llama, GPT-OSS-120B, Whisper oraz nowym teście end-to-end RAG. Intel odnotował też wzrost wydajności tego samego zestawu Arc Pro B70 względem poprzedniej rundy. 3
Nie czyni to z Arc Pro bezpośredniego zamiennika dla wielkich klastrów akceleratorowych w centrach danych. Poszerza jednak reprezentację mniejszych i potencjalnie bardziej elastycznych wdrożeń — istotnych tam, gdzie znaczenie mają lokalna inferencja, dostępna pamięć GPU lub wykorzystanie istniejącej infrastruktury serwerowej.
RAG i agenci AI zbliżają benchmark do realnych aplikacji
MLCommons podało, że w rundzie v6.1 uczestniczyło rekordowe 30 organizacji, które zgłosiły 486 wyników dla centrów danych i urządzeń edge. Zestaw rozszerzono o test end-to-end RAG dla centrów danych oraz Edge Agentic Inference. 9
RAG, czyli generowanie wspomagane wyszukiwaniem, i aplikacje agentowe są istotne, ponieważ nie działają jak pojedyncze polecenie wysłane do modelu. Dochodzą wieloetapowe interakcje, użycie narzędzi, narzut orkiestracji oraz potrzeba szybkiej odpowiedzi między kolejnymi krokami. Według MLCommons test edge odzwierciedla złożone zadania wieloturowe, takie jak agentowe programowanie. 9
To nadal kontrolowane benchmarki, a nie pełny obraz produkcyjnej usługi. Są jednak bliższe klasie obciążeń, które zespoły coraz częściej próbują wdrażać.
MLPerf Endpoints: możliwy następny krok
MLCommons zapowiedziało także MLPerf Endpoints jako potencjalny kierunek dalszego rozwoju. Różnica byłaby zasadnicza: zamiast okresowych zgłoszeń benchmarkowych większy nacisk mógłby paść na obserwowalną pracę działających endpointów inferencyjnych — pod obciążeniem, z uwzględnieniem stabilności opóźnień, dostępności i powtarzalności działania.
Na razie jest to zapowiedź kierunku, a nie sfinalizowany zamiennik obecnego procesu zgłoszeń. Wyniki v6.1 dobrze jednak pokazują, dlaczego taki pomiar mógłby być wartościowy: maksymalna liczba tokenów na sekundę nie opisuje w pełni jakości wdrożenia.
Wniosek dla kupujących: porównuj stos, nie nagłówek
MLPerf Inference v6.1 pokazuje, że rywalizację w inferencji AI kształtują trzy połączone elementy: możliwości akceleratora, tempo rozwoju oprogramowania i integracja systemu. AMD demonstruje znaczenie ekstremalnej skali, NVIDIA sygnalizuje możliwości następnej generacji przy równoczesnej sile Blackwell, Intel rozszerza zakres reprezentowanego sprzętu, a MLCommons dostosowuje testy do RAG i agentów.
Przy wyborze infrastruktury warto zacząć od własnego obciążenia: modelu, długości kontekstu, liczby równoległych użytkowników, docelowego opóźnienia, limitu mocy, wielkości wdrożenia i kosztu użytecznego wyniku. Dopiero potem należy porównywać systemy o porównywalnej skali i dostępności. To znacznie lepsza metoda niż uznawanie pojedynczego nagłówka MLPerf za uniwersalną odpowiedź.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1 podnosi poprzeczkę dla sprzętu AI i oprogramowania do inferencji"?
AMD osiągnęło najwyższą łączną przepustowość tokenów w zgłoszeniu Crusoe z 512 akceleratorami Instinct MI355X, ale wynik należy oceniać w odniesieniu do skali całego klastra.
What are the key points to validate first?
AMD osiągnęło najwyższą łączną przepustowość tokenów w zgłoszeniu Crusoe z 512 akceleratorami Instinct MI355X, ale wynik należy oceniać w odniesieniu do skali całego klastra. NVIDIA po raz pierwszy pokazała wyniki Vera Rubin NVL72 w kategorii preview, deklarując do 3,7 razy wyższą przepustowość od GB300 NVL72 w teście Qwen3 VL.
What should I do next in practice?
MLCommons dodało testy end to end RAG i agentowej inferencji na brzegu sieci, przy rekordowych 30 zgłaszających i 486 wynikach dla centrów danych oraz urządzeń edge.