AnswersPublished16 sources
MLPerf Inference v6.1: Därför väger mjukvara, skala och AI-agenter nu lika tungt som GPU-hastighet
AMD:s 512 GPU stora Instinct MI355X konfiguration från Crusoe noterade omgångens högsta samlade tokenkapacitet, men resultatet måste jämföras med likvärdig skala och samma tjänstekrav. MLPerf Inference v6.1 satte rekord med 30 deltagande organisationer och 486 resultat för datacenter och edge, samtidigt som tester f...
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- AMD:s 512 GPU stora Instinct MI355X konfiguration från Crusoe noterade omgångens högsta samlade tokenkapacitet, men resultatet måste jämföras med likvärdig skala och samma tjänstekrav.
- MLPerf Inference v6.1 satte rekord med 30 deltagande organisationer och 486 resultat för datacenter och edge, samtidigt som tester för RAG och agentbaserad inferens tillkom.
- För köpare av AI infrastruktur blir mjukvarans utveckling, systemintegration, tillgänglighet och reproducerbar drift minst lika viktiga som acceleratorns råa specifikationer.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 är mindre en topplista över enskilda chip och mer en ögonblicksbild av hur AI-inferens håller på att förändras. De tydligaste signalerna är AMD:s storskaliga MI355X-körning, NVIDIAs första förhandsdata för Vera Rubin, Intels bredare täckning av mer tillgängliga inferenssystem samt nya tester för RAG och AI-agenter.
Slutsatsen är enkel: den relevanta jämförelseenheten är inte längre bara en GPU. Det är ett komplett, tillgängligt system som kör ett relevant arbetsflöde inom givna svarstidskrav.
AMD:s MI355X-resultat sätter fokus på total skala
AMD:s mest uppmärksammade resultat kom från Crusoes konfiguration med 512 Instinct MI355X-GPU:er. Den redovisade de högsta samlade siffrorna för tokenkapacitet i v6.1-rundan. 5 Det är en viktig demonstration av skala, eftersom testet omfattar betydligt mer än acceleratorernas prestanda: distribuerad inferens, nätverk och systemintegration måste fungera i en mycket stor installation.
Det är däremot inte ett universellt bevis på att en plattform är bäst i alla lägen. Ett resultat från 512 GPU:er kan inte jämföras rakt av med ett enskilt rack eller ett mindre kluster utan att man tar hänsyn till antal GPU:er, modell, benchmarkscenario och tjänstenivåkrav. Total kapacitet kan vara rätt mått för en stor inferensflotta, medan kapacitet per accelerator, täthet per rack, energianvändning, tillgänglighet och driftkomplexitet kan väga tyngre i ett specifikt projekt.
Därför är ROCm-utvecklingen strategiskt viktig
AMD:s argument handlar också om mjukvara. Bolaget lyfte högre prestanda från samma MI355X-hårdvara jämfört med föregående MLPerf-omgång och kopplade förbättringen till optimeringar i ROCm. Den bredare innebörden är tydlig: kompilatorer, kernels, modellruntime och programvara för distribuerad inferens kan höja den användbara kapaciteten i en befintlig serverpark utan att hårdvaran byts ut.
AMD har dessutom sagt att ROCm ska släppas i en sexveckorscykel. Om den takten ger varaktiga förbättringar som går att sätta i produktion kan mjukvarans utvecklingshastighet bli en konkret del av kalkylen för kostnad per token. Benchmarkvinster bör dock alltid verifieras mot den egna modellportföljen, kvantiseringsvalen, ramverket, trafikmönstret och latensmålen. En förbättring i ett benchmark överförs inte automatiskt fullt ut till produktion.
NVIDIA använder Vera Rubin för att visa nästa plattforms potential
NVIDIAs Vera Rubin NVL72 syntes i MLPerf Inference för första gången som en förhandsvisning. NVIDIA uppgav upp till 3,7 gånger högre genomströmning än GB300 NVL72 i Qwen3-VL och beskrev en GB300 NVL72-konfiguration med 288 GPU:er som nådde 99 procents skalningseffektivitet över fyra rack. 2
Den avgörande reservationen är tillgängligheten. Förhandsresultat ger användbar information om arkitekturens inriktning och mjukvarans mognad, men är inte automatiskt ett jämförbart inköpsunderlag mot system som finns allmänt tillgängliga. Klusterstorlekarna varierade också mellan förhandsbidragen, vilket gör jämförelser per GPU eller andra normaliserade mått mer upplysande än enbart systemets totala genomströmning. 8
Blackwell och Blackwell Ultra är samtidigt fortsatt centrala för de närmaste årens installationer. CoreWeave redovisade exempelvis ledande resultat bland molnleverantörer för flera Blackwell- och Blackwell Ultra-konfigurationer i arbetslaster med Qwen3-VL, DeepSeek-R1 och GPT-OSS-120B. 4 Den praktiska slutsatsen är alltså segmentering snarare än en enda vinnare: kapacitet i mycket stora kluster, inferens i rackskala, multimodala modeller och interaktiv svarstid kan gynna olika konfigurationer.
Intel breddar bilden av vilka inferenssystem som testas
Intels bidrag gav större synlighet åt CPU-baserad inferens och GPU-system i arbetsstationsklass. En nod med fyra Arc Pro B70 hade sammanlagt 128 GB VRAM och redovisade resultat för Llama, GPT-OSS-120B, Whisper och det nya kompletta RAG-testet. Intel rapporterade också mjukvarudrivna förbättringar för samma Arc Pro B70-konfiguration jämfört med föregående omgång. 3
Det innebär inte att Arc Pro ska ses som en direkt ersättare för accelerator-kluster i hyperskala. Däremot blir benchmarken mer representativ för organisationer som utvärderar mindre, billigare eller mer flexibla installationer – särskilt när minneskapacitet, lokal inferens eller befintlig serverinfrastruktur styr beslutet.
Nya RAG- och agenttester för MLPerf närmare verklig drift
MLCommons rapporterade rekordhöga 30 deltagande organisationer och 486 resultat för datacenter och edge i v6.1. Sviten fick ett heltäckande RAG-benchmark för datacenter samt ett benchmark för agentbaserad inferens på edge-enheter. Det speglar förflyttningen från enstaka modellfrågor till AI-applikationer i flera steg. 9
RAG, eller retrieval-augmented generation, kombinerar en språkmodell med hämtning av relevant information. Agentbaserade arbetslaster tillför ytterligare flaskhalsar som ett traditionellt test av tokenkapacitet i offline-läge kan missa: flerstegsinteraktioner, verktygsanrop, orkestrering och behovet av respons mellan varje steg. MLCommons beskriver edge-testet som ett mått på komplexa uppgifter över flera turer, exempelvis agentbaserad programmering. 9
Det här är fortfarande kontrollerade benchmarktester, inte en fullständig avbildning av en produktionsmiljö. Men de för utvärderingen närmare de typer av arbetslaster som många team nu försöker driftsätta.
Vad MLPerf Endpoints kan innebära
MLCommons har också förhandsvisat MLPerf Endpoints som en möjlig kommande inriktning. Den viktiga skillnaden går mellan periodiska benchmarkinlämningar och mätbar prestanda från körande tjänsteendpoints. Ett moget, endpointbaserat program skulle kunna lägga större vikt vid beteende under last, jämn svarstid, tillgänglighet och repeterbar drift – inte enbart ett toppresultat i en fast benchmarkkörning.
Än så länge bör köpare betrakta det som en framväxande mätriktning, inte som en färdig ersättare för nuvarande inlämningsprocess. Just v6.1-resultaten visar varför idén kan vara värdefull: kvalitet i drift avgörs av långt mer än högsta möjliga antal token per sekund.
Inköpslärdomen: jämför hela stacken, inte rubriksiffran
MLPerf v6.1 ger starka belägg för att konkurrensen inom AI-inferens formas av tre sammanlänkade faktorer: acceleratorernas kapacitet, mjukvaruförbättringar och systemintegration. AMD:s stora MI355X-bidrag visar skalans betydelse. NVIDIAs Vera Rubin-förhandsvisning signalerar nästa prestandasteg, medan Blackwell betjänar dagens installationer. Intels Arc Pro B70-resultat breddar vilken hårdvara som finns representerad. Och MLCommons nya tester erkänner att RAG och AI-agenter skapar andra prestandakrav.
Vid val av plattform bör man därför börja med arbetslasten och driftsmålet: modell, kontextlängd, samtidighet, latens-SLO, energibudget, installationsstorlek och kostnad per användbart resultat. Först därefter bör system jämföras vid likvärdig skala och tillgänglighet. Det är betydligt mer användbart än att behandla en enskild MLPerf-rubrik som ett slutgiltigt svar.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1: Därför väger mjukvara, skala och AI-agenter nu lika tungt som GPU-hastighet"?
AMD:s 512 GPU stora Instinct MI355X konfiguration från Crusoe noterade omgångens högsta samlade tokenkapacitet, men resultatet måste jämföras med likvärdig skala och samma tjänstekrav.
What are the key points to validate first?
AMD:s 512 GPU stora Instinct MI355X konfiguration från Crusoe noterade omgångens högsta samlade tokenkapacitet, men resultatet måste jämföras med likvärdig skala och samma tjänstekrav. MLPerf Inference v6.1 satte rekord med 30 deltagande organisationer och 486 resultat för datacenter och edge, samtidigt som tester för RAG och agentbaserad inferens tillkom.
What should I do next in practice?
För köpare av AI infrastruktur blir mjukvarans utveckling, systemintegration, tillgänglighet och reproducerbar drift minst lika viktiga som acceleratorns råa specifikationer.