AnswersPublished16 sources
MLPerf Inference v6.1: швидкість GPU вже не є єдиним критерієм
MLPerf Inference v6.1 зміщує акцент із «найшвидшого GPU» на повну систему інференсу: AMD показала найбільшу сумарну продуктивність у конфігурації з 512 MI355X, а NVIDIA представила попередні дані Vera Rubin — до 3,7 р... У раунді взяли участь рекордні 30 організацій, які подали 486 результатів для датацентрів і пери...
ОпублікувавВідредаговано за допомогою GPT-5.6 TerraЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- MLPerf Inference v6.1 зміщує акцент із «найшвидшого GPU» на повну систему інференсу: AMD показала найбільшу сумарну продуктивність у конфігурації з 512 MI355X, а NVIDIA представила попередні дані Vera Rubin — до 3,7 р...
- У раунді взяли участь рекордні 30 організацій, які подали 486 результатів для датацентрів і периферійних пристроїв.
- Для покупців інфраструктури важливі не лише характеристики прискорювача: значення мають зрілість ПЗ, відтворюваність результатів, доступність системи, затримка, енергоспоживання та вартість корисного результату.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 — це вже не просто таблиця найшвидших чипів. Новий раунд бенчмарку показує, як змінюється обслуговування ШІ-моделей: вирішальними стають програмний стек, масштаб кластера, мережа та здатність системи працювати з реальними сценаріями — зокрема RAG і ШІ-агентами.
Головний висновок для команд, що обирають інфраструктуру: порівнювати варто не окремий GPU, а доступну систему цілком — на потрібній моделі, за заданої затримки та навантаження.
AMD: рекорд у масштабі, а не універсальна перемога
Найпомітніший результат AMD надійшов від Crusoe: конфігурація з 512 GPU Instinct MI355X показала найбільшу сумарну пропускну здатність у токенах серед подань MLPerf Inference v6.1. 5 Це вагома демонстрація масштабу, адже вона перевіряє не лише можливості прискорювачів, а й розподілений інференс, мережеву взаємодію та інтеграцію системи у дуже великому кластері.
Втім, такий результат не означає беззастережного лідерства платформи в будь-якому сценарії. Показник для 512 GPU некоректно напряму зіставляти з одним стійковим рішенням або меншим кластером без урахування кількості прискорювачів, моделі, сценарію бенчмарку та вимог до рівня сервісу. Для великого парку серверів ключовою метрикою може бути сумарна пропускна здатність; для конкретного розгортання важливішими можуть виявитися продуктивність на один прискорювач, щільність у стійці, енергоспоживання, доступність і складність експлуатації.
Чому прогрес ROCm має стратегічне значення
Аргумент AMD — це також історія про програмне забезпечення. Компанія повідомила про вищу продуктивність того самого обладнання MI355X порівняно з попереднім циклом MLPerf, пов'язуючи це з оптимізаціями ROCm. Практичний сенс очевидний: компілятори, ядра обчислень, середовища виконання моделей і ПЗ для розподіленого інференсу можуть збільшувати корисну місткість уже встановленого парку без заміни «заліза».
AMD також заявила про шеститижневий цикл релізів ROCm. Якщо такий темп даватиме стабільні поліпшення, придатні для production-середовищ, швидкість розвитку ПЗ може стати помітною складовою розрахунку вартості одного токена. Але приріст у MLPerf варто перевіряти на власному наборі моделей, квантизації, фреймворках, профілі трафіку та цільових затримках: перевага в одному бенчмарку не переноситься автоматично на робочий сервіс.
NVIDIA: Vera Rubin показує потенціал наступної платформи
NVIDIA Vera Rubin NVL72 уперше з'явилася в MLPerf Inference як попередня система. NVIDIA заявила про пропускну здатність до 3,7 раза вищу, ніж у GB300 NVL72, на Qwen3-VL, а також про 99% ефективності масштабування для подання з 288 GPU GB300 NVL72 у чотирьох стійках. 2
Тут критично важливий статус доступності. Попередні результати корисні як індикатор архітектурного напряму й зрілості ПЗ, але їх не слід автоматично трактувати як рівнозначне порівняння з системами, що вже доступні для закупівлі. До того ж попередні подання використовували різні розміри кластерів, тому інформативніше дивитися на показники на один GPU або інші нормалізовані метрики, а не лише на загальний результат системи. 8
Blackwell і Blackwell Ultra водночас залишаються центральними для найближчих розгортань. Наприклад, CoreWeave повідомила про найкращі серед хмарних провайдерів результати на кількох конфігураціях Blackwell і Blackwell Ultra у навантаженнях Qwen3-VL, DeepSeek-R1 та GPT-OSS-120B. 4 Практичний висновок тут не про одного абсолютного переможця, а про спеціалізацію: великі кластери, стійкове обслуговування моделей, мультимодальний інференс та інтерактивна затримка можуть вимагати різних конфігурацій.
Intel розширила представлення доступніших систем інференсу
Подання Intel зробили в MLPerf помітнішими CPU- та робочі GPU-системи. Вузол із чотирма Arc Pro B70 має сукупно 128 ГБ відеопам'яті та подав результати для Llama, GPT-OSS-120B, Whisper і нового наскрізного RAG-навантаження. Intel також повідомила про приріст, зумовлений ПЗ, на тій самій конфігурації Arc Pro B70 порівняно з попереднім раундом. 3
Це не робить Arc Pro прямою заміною гіпермасштабним кластерам прискорювачів. Проте такі результати краще представляють потреби організацій, які оцінюють менші, дешевші або гнучкіші розгортання — особливо коли рішення визначають місткість пам'яті, локальний інференс або наявна серверна інфраструктура.
RAG і агентні тести наближають MLPerf до робочих сценаріїв
MLCommons повідомила про рекордні 30 організацій-учасниць і 486 результатів для датацентрів та edge-систем у версії v6.1. Набір тестів отримав наскрізний датацентровий бенчмарк RAG — генерації з доповненим пошуком — і Edge Agentic Inference, що відображає перехід від одиничних запитів до багатокрокових ШІ-застосунків. 9
Це важливо, бо агентні навантаження створюють вузькі місця, які звичайний офлайн-тест пропускної здатності в токенах може не показати: багатоходові взаємодії, виклики інструментів, накладні витрати оркестрації та вимоги до швидкої відповіді між кроками. MLCommons описує edge-бенчмарк як такий, що відображає складні багатоходові завдання, зокрема агентне програмування. 9
Звісно, це все ще контрольовані бенчмарки, а не повна копія поведінки production-сервісів. Проте вони наближають оцінювання до класу завдань, які команди дедалі частіше намагаються впровадити на практиці.
Що може змінити MLPerf Endpoints
MLCommons також попередньо представила MLPerf Endpoints як можливий наступний напрям. Різниця принципова: періодичні подання результатів вимірюють фіксований запуск бенчмарку, тоді як оцінювання робочих endpoint'ів могло б більше зосередитися на поведінці під навантаженням, стабільності затримки, доступності та відтворюваності роботи системи.
Поки що це варто сприймати як напрям розвитку вимірювань, а не як остаточно затверджену заміну чинному процесу подань. Водночас v6.1 добре пояснює, чому такий підхід може бути корисним: якість розгортання визначає значно більше чинників, ніж пікове число токенів за секунду.
Що перевіряти перед закупівлею
MLPerf v6.1 переконливо показує, що конкуренцію в інференсі формують три пов'язані складові: можливості прискорювача, темп розвитку ПЗ і системна інтеграція. Масштабне подання AMD MI355X демонструє цінність кластера; попередні дані NVIDIA Vera Rubin сигналізують про наступний крок продуктивності, тоді як Blackwell обслуговує поточні розгортання; результати Intel Arc Pro B70 розширюють спектр представленого обладнання; а нові тести MLCommons визнають, що RAG і агенти мають інші вимоги до швидкодії.
Починати оцінювання слід із робочого навантаження й цільових параметрів: моделі, довжини контексту, паралельності, SLO затримки, енергетичного ліміту, масштабу розгортання та вартості корисного результату. Лише після цього варто зіставляти системи однакового масштабу та однакового статусу доступності. Це значно корисніше, ніж сприймати будь-який один заголовок MLPerf як універсальну відповідь.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1: швидкість GPU вже не є єдиним критерієм"?
MLPerf Inference v6.1 зміщує акцент із «найшвидшого GPU» на повну систему інференсу: AMD показала найбільшу сумарну продуктивність у конфігурації з 512 MI355X, а NVIDIA представила попередні дані Vera Rubin — до 3,7 р...
What are the key points to validate first?
MLPerf Inference v6.1 зміщує акцент із «найшвидшого GPU» на повну систему інференсу: AMD показала найбільшу сумарну продуктивність у конфігурації з 512 MI355X, а NVIDIA представила попередні дані Vera Rubin — до 3,7 р... У раунді взяли участь рекордні 30 організацій, які подали 486 результатів для датацентрів і периферійних пристроїв.
What should I do next in practice?
Для покупців інфраструктури важливі не лише характеристики прискорювача: значення мають зрілість ПЗ, відтворюваність результатів, доступність системи, затримка, енергоспоживання та вартість корисного результату.