AnswersPublished16 sources
MLPerf Inference v6.1: Programvare, skala og KI-agenter teller nå like mye som GPU-fart
AMD oppnådde rundens høyeste samlede token gjennomstrømming med et system på 512 Instinct MI355X GPU er, mens NVIDIA viste de første forhåndsresultatene for Vera Rubin. MLPerf runden hadde rekordhøye 30 deltakende organisasjoner og 486 resultater for datasenter og edge, og innførte tester for ende til ende RAG og ag...
Publisert avRedigert med GPT-5.6 TerraBilder generert med GPT Image 2
Research answer
Key takeaways
- AMD oppnådde rundens høyeste samlede token gjennomstrømming med et system på 512 Instinct MI355X GPU er, mens NVIDIA viste de første forhåndsresultatene for Vera Rubin.
- MLPerf runden hadde rekordhøye 30 deltakende organisasjoner og 486 resultater for datasenter og edge, og innførte tester for ende til ende RAG og agentisk inferens.
- For kjøpere av KI infrastruktur blir programvareforbedringer, tilgjengelighet, skalerbarhet og faktisk driftsatferd stadig viktigere ved siden av GPU spesifikasjonene.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 er mindre en rangering av én enkelt KI-brikke og mer et øyeblikksbilde av hvordan KI-tjenester er i ferd med å endres. AMD viste ekstrem skala med MI355X, NVIDIA presenterte de første tallene for Vera Rubin, Intel utvidet dekningen av mer tilgjengelige inferenssystemer, og MLCommons la til tester for RAG og KI-agenter.
Hovedpoenget er enkelt: Det er ikke lenger nok å sammenligne GPU-er isolert. Det relevante er et komplett, tilgjengelig system som kjører en relevant arbeidslast innenfor kravene til responstid.
AMD flyttet oppmerksomheten mot samlet skala
AMDs mest iøynefallende resultat kom fra Crusoe, med en konfigurasjon på 512 Instinct MI355X-GPU-er. Systemet leverte de høyeste samlede tallene for token-gjennomstrømming i v6.1-runden. 5 Det er en viktig demonstrasjon av skala, fordi resultatet også tester distribuert inferens, nettverk og systemintegrasjon i en svært stor installasjon.
Men dette er ikke automatisk en generell seier for én plattform. Et samlet resultat fra 512 GPU-er kan ikke sammenlignes direkte med ett rack eller en mindre klynge uten å justere for antall GPU-er, modell, benchmarksituasjon og tjenestenivåkrav. For en stor inferensflåte kan total gjennomstrømming være avgjørende. For en konkret installasjon kan ytelse per akselerator, tetthet i racket, strømforbruk, tilgjengelighet og driftskompleksitet bety mer.
ROCm gjør programvare til en konkurransefaktor
AMDs argument handler også om programvare. Selskapet fremhevet bedre ytelse på den samme MI355X-maskinvaren enn i forrige MLPerf-runde, og tilskrev fremgangen optimaliseringer i ROCm. Det viser hvorfor kompilatorer, kjerner, modellkjøretider og programvare for distribuert serving kan øke den nyttige kapasiteten i en eksisterende maskinpark uten at maskinvaren byttes ut.
AMD har dessuten forpliktet seg til en utgivelsestakt for ROCm på seks uker. Dersom dette gir vedvarende forbedringer som faktisk kan tas i bruk, kan programvaretempoet få betydning for kjøpernes beregning av kostnad per token. Samtidig bør MLPerf-fremgang valideres mot egen modellportefølje, kvantisering, rammeverk, trafikkmønster og krav til responstid. En benchmarkforbedring flytter ikke nødvendigvis direkte over til produksjon.
NVIDIA brukte Vera Rubin til å vise hva som kan komme
NVIDIAs Vera Rubin NVL72 dukket opp i MLPerf Inference for første gang som en forhåndsinnsending. NVIDIA oppga opptil 3,7 ganger høyere gjennomstrømming enn GB300 NVL72 på Qwen3-VL, og beskrev også en innsending med 288 GB300-GPU-er på tvers av fire rack som nådde 99 % skaleringsgrad. 2
Det avgjørende forbeholdet er tilgjengelighet. Forhåndsresultater kan gi nyttig informasjon om arkitektur og programvaremodenhet, men er ikke automatisk et direkte innkjøpsgrunnlag opp mot systemer som er allment tilgjengelige. Klyngestørrelsene i forhåndsinnsendingene var også forskjellige, noe som gjør tall per GPU – eller andre normaliserte sammenligninger – mer opplysende enn total systemgjennomstrømming alene. 8
Blackwell og Blackwell Ultra er fortsatt sentrale i markedet her og nå. CoreWeave rapporterte for eksempel ledende resultater blant skyleverandører på flere Blackwell- og Blackwell Ultra-konfigurasjoner for arbeidslaster som Qwen3-VL, DeepSeek-R1 og GPT-OSS-120B. 4 Den praktiske tolkningen er derfor ikke én universell vinner, men segmentering: Stor samlet kapasitet, rackbasert serving, multimodal inferens og lav responstid kan favorisere ulike systemoppsett.
Intel utvidet bredden av systemer i benchmarken
Intels innsendelser gjorde CPU- og arbeidsstasjonsbasert GPU-inferens mer synlig. En node med fire Arc Pro B70-GPU-er kombinerte 128 GB VRAM og leverte resultater for Llama, GPT-OSS-120B, Whisper og den nye ende-til-ende-RAG-arbeidslasten. Intel rapporterte også programvaredrevne forbedringer på samme Arc Pro B70-konfigurasjon sammenlignet med forrige runde. 3
Dette gjør ikke Arc Pro til en direkte erstatning for hyperskala-klynger med dedikerte akseleratorer. Det gjør derimot MLPerf mer representativ for virksomheter som vurderer mindre, rimeligere eller mer fleksible implementeringer – særlig der minnekapasitet, lokal inferens eller eksisterende serverinfrastruktur påvirker valget.
Nye RAG- og agenttester gjør MLPerf mer driftsnær
MLCommons oppga rekordhøye 30 deltakende organisasjoner og 486 resultater for datasenter og edge i v6.1. Testpakken fikk en ende-til-ende-RAG-benchmark for datasentre og en benchmark for agentisk inferens på edge-enheter. Begge reflekterer overgangen fra engangsspørsmål til KI-applikasjoner med flere trinn. 9
Dette er viktig fordi agentiske arbeidslaster kan avdekke flaskehalser som en vanlig test av token-gjennomstrømming ikke fanger opp: flertrinnsinteraksjoner, bruk av verktøy, orkestrering og responstid mellom hvert steg. MLCommons beskriver edge-testen som et mål på komplekse oppgaver med flere runder, som agentbasert programmering. 9
Testene er fortsatt kontrollerte benchmarks, ikke en fullstendig kopi av en tjeneste i produksjon. Likevel bringer de evalueringen nærmere arbeidslastene mange team nå prøver å sette i drift.
MLPerf Endpoints kan endre hva som måles
MLCommons har også varslet MLPerf Endpoints som en mulig videre retning. Forskjellen er vesentlig: I stedet for periodiske benchmarkinnsendinger kan det dreie seg om observerbar ytelse fra kjørende serving-endepunkter.
Et modent, endepunktorientert program kan legge større vekt på oppførsel under belastning, jevn responstid, tilgjengelighet og repeterbar drift – ikke bare maksimal ytelse i en fast benchmarkkjøring. Foreløpig bør dette ses som en utviklingsretning, ikke en ferdigstilt erstatning for dagens innsendingsmodell.
Innkjøpsrådet: Sammenlign stakken, ikke overskriften
MLPerf v6.1 viser at konkurransen om KI-inferens formes av tre tett sammenvevde forhold: akseleratorkapasitet, programvareforbedringer og systemintegrasjon. AMDs store MI355X-innsending demonstrerer betydningen av skala. NVIDIAs Vera Rubin-forhåndsvisning peker mot neste ytelsestrinn, mens Blackwell dekker dagens utrullinger. Intels Arc Pro B70-resultater gjør flere typer maskinvare synlige, og de nye testene erkjenner at RAG og agenter stiller andre ytelseskrav.
Ved vurdering av en plattform bør virksomheter starte med egen arbeidslast og driftsmål: modell, kontekstlengde, samtidighet, SLO-er for responstid, strømramme, utrullingsstørrelse og kostnad per nyttige resultat. Deretter bør systemer sammenlignes ved tilsvarende skala og tilgjengelighet. Det er langt mer nyttig enn å behandle én MLPerf-overskrift som et fasitsvar.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1: Programvare, skala og KI-agenter teller nå like mye som GPU-fart"?
AMD oppnådde rundens høyeste samlede token gjennomstrømming med et system på 512 Instinct MI355X GPU er, mens NVIDIA viste de første forhåndsresultatene for Vera Rubin.
What are the key points to validate first?
AMD oppnådde rundens høyeste samlede token gjennomstrømming med et system på 512 Instinct MI355X GPU er, mens NVIDIA viste de første forhåndsresultatene for Vera Rubin. MLPerf runden hadde rekordhøye 30 deltakende organisasjoner og 486 resultater for datasenter og edge, og innførte tester for ende til ende RAG og agentisk inferens.
What should I do next in practice?
For kjøpere av KI infrastruktur blir programvareforbedringer, tilgjengelighet, skalerbarhet og faktisk driftsatferd stadig viktigere ved siden av GPU spesifikasjonene.