AnswersPublished16 sources
MLPerf Inference v6.1: Software, skala og AI-agenter vejer nu lige så tungt som GPU-hastighed
MLPerf Inference v6.1 understreger, at AI inference i stigende grad er et spørgsmål om hele systemet: AMD leverede den største samlede 512 GPU MI355X måling, mens NVIDIA viste Vera Rubin med op til 3,7 gange højere th... Runden samlede rekordhøje 30 indsendere og 486 resultater fra datacentre og edge systemer samt n...
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- MLPerf Inference v6.1 understreger, at AI inference i stigende grad er et spørgsmål om hele systemet: AMD leverede den største samlede 512 GPU MI355X måling, mens NVIDIA viste Vera Rubin med op til 3,7 gange højere th...
- Runden samlede rekordhøje 30 indsendere og 486 resultater fra datacentre og edge systemer samt nye end to end tests for RAG og agentisk AI.
- For købere af AI infrastruktur tæller softwareforbedringer på eksisterende hardware, sammenlignelige systemstørrelser og driftssikker implementering lige så meget som acceleratorens specifikationer.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 er mindre en rangliste over enkeltchips og mere et øjebliksbillede af, hvordan AI-servering ændrer sig. De tydeligste signaler i runden var AMD’s MI355X-resultat i ekstrem skala, NVIDIAs første forhåndsvisningstal for Vera Rubin, Intels bredere dækning af mere tilgængelige inference-systemer samt nye tests for retrieval-augmented generation (RAG) og AI-agenter.
Den vigtigste konklusion er enkel: Den relevante sammenligningsenhed er ikke længere kun en GPU. Det er et komplet, tilgængeligt serveringssystem, som kører en relevant arbejdsbelastning inden for de krævede latenstidsgrænser.
AMD’s MI355X-resultat flytter fokus til samlet skala
AMD’s mest opsigtsvækkende resultat kom fra Crusoes konfiguration med 512 Instinct MI355X-GPU’er. Den leverede de højeste samlede token-throughput-tal, der blev rapporteret i v6.1-runden. 5 Det er en vigtig demonstration af skala, fordi den ikke kun tester acceleratorernes ydelse, men også distribueret inference, netværk og systemintegration på tværs af en meget stor installation.
Det er dog ikke det samme som en universel erklæring om platformsoverlegenhed. Et samlet resultat fra 512 GPU’er kan ikke sammenlignes direkte med ét rack eller en mindre klynge uden at korrigere for antal GPU’er, model, benchmarkscenarie og krav til serviceniveau. Samlet throughput kan være det rette mål for en stor inference-flåde, mens ydelse pr. accelerator, racktæthed, strømforbrug, tilgængelighed og driftskompleksitet kan være vigtigere i en konkret implementering.
Derfor er fremskridt i ROCm strategisk vigtige
AMD’s argument handler også om software. Virksomheden fremhævede højere ydelse fra den samme MI355X-hardware end i den foregående MLPerf-runde og tilskrev fremgangen ROCm-optimeringer.
Den bredere betydning er ligetil: Compilere, kerner, modelruntimes og software til distribueret servering kan øge den brugbare kapacitet i en eksisterende GPU-flåde uden et hardwareskifte.
AMD har desuden forpligtet sig til en udgivelsescyklus på seks uger for ROCm. Hvis den rytme giver vedvarende forbedringer, som også kan tages i drift, kan softwarehastighed blive en reel faktor i beregningen af pris pr. token. Men MLPerf-fremskridt bør afprøves mod køberens egen modelportefølje, kvantiseringsvalg, framework, trafikmønster og latenstidsmål. En forbedring i ét benchmark overføres ikke automatisk én til én til produktion.
NVIDIA brugte Vera Rubin til at vise potentialet i den næste platform
NVIDIAs Vera Rubin NVL72 optrådte for første gang i MLPerf Inference som en forhåndsvisning. NVIDIA rapporterede op til 3,7 gange højere throughput end GB300 NVL72 på Qwen3-VL og beskrev en indsendelse med 288 GB300 NVL72-GPU’er, der nåede 99 % skaleringsgrad på tværs af fire racks. 2
Det afgørende forbehold er tilgængelighed. Resultater fra forhåndsvisningssystemer er nyttige tegn på arkitekturens retning og softwaremodenhed, men de er ikke automatisk en direkte indkøbssammenligning med systemer, der allerede er almindeligt tilgængelige. Klyngestørrelserne i forhåndsvisningsindsendelserne varierede også, så sammenligninger pr. GPU eller andre normaliserede mål er mere oplysende end samlet system-throughput alene. 8
Blackwell og Blackwell Ultra er fortsat centrale for implementeringer på kort sigt. CoreWeave rapporterede eksempelvis førende cloududbyderresultater på flere Blackwell- og Blackwell Ultra-konfigurationer på tværs af Qwen3-VL-, DeepSeek-R1- og GPT-OSS-120B-arbejdsbelastninger. 4
Den praktiske læsning er derfor segmentering frem for én samlet vinder: Samlet kapacitet i store klynger, servering i rackskala, multimodal inference og interaktiv latenstid kan favorisere forskellige konfigurationer.
Intel udvider feltet af repræsenterede inference-systemer
Intels indsendelser gjorde CPU- og workstation-GPU-baseret inference mere synlig. Virksomhedens node med fire Arc Pro B70-GPU’er kombinerede 128 GB VRAM og indsendte resultater for Llama, GPT-OSS-120B, Whisper og den nye end-to-end-RAG-arbejdsbelastning. Intel rapporterede også softwaredrevne fremskridt på den samme Arc Pro B70-konfiguration sammenlignet med forrige runde. 3
Det placerer ikke Arc Pro som en direkte erstatning for hyperskala-klynger med datacenteracceleratorer. Til gengæld gør det benchmarken mere repræsentativ for organisationer, der vurderer mindre, billigere eller mere fleksible installationer — særligt hvor hukommelseskapacitet, lokal inference eller eksisterende serverinfrastruktur er afgørende.
Nye RAG- og agenttests bringer MLPerf tættere på faktisk drift
MLCommons rapporterede rekordhøje 30 indsendende organisationer og 486 resultater fra datacentre og edge-miljøer i v6.1. Testpakken fik både en end-to-end-RAG-benchmark til datacentre og en benchmark for agentisk inference på edge-enheder, hvilket afspejler skiftet fra enkeltstående modelprompter til AI-applikationer i flere trin. 9
Udvidelsen betyder noget, fordi agentiske arbejdsbelastninger kan skabe flaskehalse, som en traditionel offline-test af token-throughput ikke nødvendigvis afslører: flertrinsinteraktioner, brug af værktøjer, orkestreringsomkostninger og krav til hurtige svar mellem hvert trin. MLCommons beskriver edge-testen som et billede på komplekse opgaver over flere omgange, eksempelvis agentisk kodning. 9
Det er stadig kontrollerede benchmarks og ikke en fuld gengivelse af levende produktionstjenester. Men de bringer evalueringen nærmere de arbejdsbelastninger, mange teams nu forsøger at sætte i drift.
Hvad MLPerf Endpoints kan komme til at betyde
MLCommons viste også MLPerf Endpoints som en mulig næste retning. Den vigtige forskel går mellem periodiske benchmarkindsendelser og observerbar ydelse fra kørende serveringsendepunkter.
Et modent, endpoint-orienteret program kan lægge større vægt på adfærd under belastning, stabil latenstid, tilgængelighed og gentagelig drift — ikke kun et topresultat fra en fast benchmarkkørsel.
Indtil videre bør købere betragte det som en fremvoksende måleretning, ikke som en færdig erstatning for den nuværende indsendelsesproces. Resultaterne i v6.1 viser netop, hvorfor retningen kan være værdifuld: Kvaliteten af en implementering afhænger af langt mere end det maksimale antal tokens pr. sekund.
Købsrådet: Sammenlign hele stakken, ikke overskriften
MLPerf v6.1 peger tydeligt på, at konkurrencen om AI-inference formes af tre tæt forbundne faktorer: acceleratorernes kapacitet, softwareforbedringer og systemintegration.
AMD’s store MI355X-indsendelse viser betydningen af skala. NVIDIAs Vera Rubin-forhåndsvisning signalerer næste ydelsestrin, mens Blackwell dækker de aktuelle implementeringer. Intels Arc Pro B70-resultater udvider hardwarefeltet. Og MLCommons’ nye tests anerkender, at RAG og AI-agenter stiller andre krav til ydelse.
Ved vurdering af en platform bør man begynde med arbejdsbelastningen og driftsmålet: model, kontekstlængde, samtidighed, latenstids-SLO, strømramme, implementeringsstørrelse og pris pr. brugbart output. Sammenlign derefter systemer med tilsvarende skala og tilgængelighed. Det er langt mere brugbart end at behandle én MLPerf-overskrift som et universelt svar.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1: Software, skala og AI-agenter vejer nu lige så tungt som GPU-hastighed"?
MLPerf Inference v6.1 understreger, at AI inference i stigende grad er et spørgsmål om hele systemet: AMD leverede den største samlede 512 GPU MI355X måling, mens NVIDIA viste Vera Rubin med op til 3,7 gange højere th...
What are the key points to validate first?
MLPerf Inference v6.1 understreger, at AI inference i stigende grad er et spørgsmål om hele systemet: AMD leverede den største samlede 512 GPU MI355X måling, mens NVIDIA viste Vera Rubin med op til 3,7 gange højere th... Runden samlede rekordhøje 30 indsendere og 486 resultater fra datacentre og edge systemer samt nye end to end tests for RAG og agentisk AI.
What should I do next in practice?
For købere af AI infrastruktur tæller softwareforbedringer på eksisterende hardware, sammenlignelige systemstørrelser og driftssikker implementering lige så meget som acceleratorens specifikationer.