AnswersPublished16 sources
MLPerf Inference v6.1: AI-inference draait niet meer alleen om de snelste GPU
AMD’s 512 GPU Instinct MI355X opstelling van Crusoe leverde de hoogste totale tokenthroughput van deze MLPerf ronde, maar dat is geen rechtstreekse vergelijking met een enkel rack of kleiner cluster. NVIDIA liet Vera Rubin NVL72 voor het eerst zien als previewplatform, met volgens NVIDIA tot 3,7 keer hogere throughp...
Gepubliceerd doorBewerkt met GPT-5.6 TerraAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- AMD’s 512 GPU Instinct MI355X opstelling van Crusoe leverde de hoogste totale tokenthroughput van deze MLPerf ronde, maar dat is geen rechtstreekse vergelijking met een enkel rack of kleiner cluster.
- NVIDIA liet Vera Rubin NVL72 voor het eerst zien als previewplatform, met volgens NVIDIA tot 3,7 keer hogere throughput dan GB300 NVL72 op Qwen3 VL.
- MLCommons voegde end to end RAG en Edge Agentic Inference toe. Daarmee verschuift de benchmark richting toepassingen met meerdere stappen, interactie en strikte responstijdeisen.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 is minder een ranglijst van losse chips dan een momentopname van een veranderende markt voor AI-inference: het daadwerkelijk draaien en bedienen van modellen. De opvallendste signalen zijn AMD’s extreme MI355X-schaaltest, NVIDIA’s eerste previewresultaten voor Vera Rubin, Intels bredere deelname met toegankelijkere inferentiehardware en nieuwe tests voor retrieval-augmented generation (RAG) en AI-agents.
De kernboodschap is helder: een GPU alleen is niet langer de meest bruikbare meeteenheid. Voor organisaties die AI willen uitrollen, telt het complete, beschikbare systeem — inclusief software, netwerk, schaalbaarheid en prestaties binnen de vereiste responstijd.
AMD legt de nadruk op totale schaal
AMD’s belangrijkste resultaat kwam van Crusoe, dat een configuratie met 512 Instinct MI355X-GPU’s inzette. Die behaalde de hoogste totale tokenthroughput die in deze v6.1-ronde is gemeld. 5 Het is vooral een demonstratie van schaal: naast de accelerators worden ook gedistribueerde inference, netwerken en systeemintegratie in een zeer groot cluster getest.
Dat is echter geen algemene verklaring dat één platform overal de beste keuze is. Een totaalresultaat met 512 GPU’s is niet direct vergelijkbaar met één rack of een kleiner cluster. Daarvoor moeten onder meer het aantal GPU’s, het gebruikte model, het benchmarksysteem en de latency-eisen gelijkgetrokken worden. Totale throughput kan de juiste maatstaf zijn voor een enorme inferencevloot; per-acceleratorprestaties, rackdichtheid, energieverbruik, beschikbaarheid en beheercomplexiteit kunnen zwaarder wegen bij een concrete implementatie.
ROCm maakt software een strategische factor
Bij AMD gaat het verhaal ook nadrukkelijk over software. Het bedrijf wees op hogere prestaties op dezelfde MI355X-hardware dan in de vorige MLPerf-cyclus, dankzij optimalisaties in ROCm. De bredere betekenis: compilers, kernels, modelruntimes en software voor gedistribueerde serving kunnen de bruikbare capaciteit van bestaande hardware vergroten, zonder dat daar nieuwe GPU’s voor nodig zijn.
AMD heeft bovendien een releasecadans van zes weken voor ROCm toegezegd. Als die regelmaat leidt tot blijvende verbeteringen die ook in productie inzetbaar zijn, kan de snelheid van softwareontwikkeling meetellen in de kostenberekening per gegenereerde token. Benchmarkwinst moet wel altijd worden getoetst aan de eigen praktijk: modelmix, kwantisatie, framework, verkeerspatroon en latencydoelen bepalen of een verbetering ook in de eigen omgeving terugkomt.
NVIDIA toont het potentieel van Vera Rubin, maar nog als preview
NVIDIA’s Vera Rubin NVL72 verscheen voor het eerst in MLPerf Inference als preview. NVIDIA meldt tot 3,7 keer hogere throughput dan GB300 NVL72 op Qwen3-VL. Een GB300 NVL72-inzending met 288 GPU’s over vier racks bereikte volgens NVIDIA 99% schaalefficiëntie. 2
De kanttekening is belangrijk: een previewresultaat laat zien welke architectuur en softwaremogelijkheden eraan komen, maar is niet automatisch een aankoopvergelijking met algemeen beschikbare systemen. Ook verschilden de clustergroottes van previewinzendingen. Daardoor zijn prestaties per GPU, of anderszins genormaliseerde cijfers, informatiever dan alleen de totale systeemsnelheid. 8
Blackwell en Blackwell Ultra blijven ondertussen relevant voor implementaties op korte termijn. CoreWeave rapporteerde bijvoorbeeld toonaangevende cloudproviderresultaten voor verschillende Blackwell- en Blackwell Ultra-configuraties op Qwen3-VL, DeepSeek-R1 en GPT-OSS-120B. 4 De praktische conclusie is daarom niet één universele winnaar, maar segmentatie: maximale clustercapaciteit, serving op rackschaal, multimodale modellen en interactieve latency kunnen elk een andere configuratie bevoordelen.
Intel verbreedt het beeld van inferencehardware
Intels inzendingen maken CPU-inference en GPU-inference op workstationniveau beter zichtbaar. Een node met vier Arc Pro B70-GPU’s beschikte samen over 128 GB VRAM en leverde resultaten voor Llama, GPT-OSS-120B, Whisper en de nieuwe end-to-end-RAG-test. Intel rapporteerde ook softwaregedreven verbeteringen op diezelfde Arc Pro B70-configuratie ten opzichte van de vorige ronde. 3
Dat maakt Arc Pro niet tot een directe vervanger voor hyperscaleclusters met datacenteraccelerators. Het maakt MLPerf wel relevanter voor organisaties die kleinere, voordeligere of flexibelere implementaties onderzoeken — bijvoorbeeld wanneer lokaal draaien, beschikbare geheugencapaciteit of bestaande serverinfrastructuur doorslaggevend is.
Nieuwe RAG- en agenttests brengen MLPerf dichter bij de praktijk
MLCommons meldde een record van 30 deelnemende organisaties en 486 datacenter- en edgeresultaten in v6.1. De suite kreeg een end-to-end-RAG-benchmark voor datacenters en een Edge Agentic Inference-benchmark. Daarmee speelt MLCommons in op de verschuiving van losse prompts naar AI-toepassingen met meerdere stappen. 9
Dat is relevant omdat agentachtige toepassingen knelpunten introduceren die een klassieke offlinetest voor tokenthroughput niet altijd blootlegt: meerbeurtengesprekken, toolgebruik, orchestration-overhead en responsiviteit tussen afzonderlijke stappen. Volgens MLCommons weerspiegelt de edgetest complexe taken met meerdere beurten, zoals agentic coding. 9
Het blijven gecontroleerde benchmarks en geen volledige afspiegeling van een live productiedienst. Maar ze brengen de evaluatie wel dichter bij de toepassingen die veel teams nu proberen uit te rollen.
Waarom MLPerf Endpoints een volgende stap kan zijn
MLCommons heeft MLPerf Endpoints alvast als mogelijke vervolgrichting getoond. Het onderscheid is wezenlijk: periodieke benchmarkinzendingen meten een vaste test, terwijl endpointgerichte metingen zicht kunnen geven op draaiende serving-endpoints. In een volwassen vorm zou dat meer nadruk kunnen leggen op gedrag onder belasting, consistente latency, beschikbaarheid en operationele reproduceerbaarheid — niet alleen op een piekresultaat uit één benchmarkrun.
Voorlopig is dit een richting in ontwikkeling, geen definitieve vervanger van de huidige inzendprocedure. Juist de v6.1-resultaten maken duidelijk waarom zo’n aanpak nuttig kan zijn: kwaliteit in productie hangt van veel meer af dan het maximale aantal tokens per seconde.
De les voor inkopers: vergelijk de hele stack
MLPerf v6.1 laat zien dat de strijd om AI-inference door drie verbonden factoren wordt bepaald: accelerators, softwareverbetering en systeemintegratie. AMD onderstreept met de grote MI355X-inzending het belang van schaal. NVIDIA gebruikt de Vera Rubin-preview om de volgende prestatiesprong te schetsen, terwijl Blackwell de huidige implementaties bedient. Intel vergroot de zichtbaarheid van alternatieven voor kleinere systemen. En MLCommons erkent met zijn nieuwe tests dat RAG en AI-agents andere prestatie-eisen stellen.
Begin daarom niet met de vraag welke GPU de hoogste kopregel scoort. Begin met de beoogde toepassing: het model, de contextlengte, gelijktijdige gebruikers, latency-SLO, energiebudget, implementatiegrootte en kosten per bruikbare output. Vergelijk daarna systemen met gelijke schaal en vergelijkbare beschikbaarheid. Dat levert een veel bruikbaarder oordeel op dan één MLPerf-record als algemeen antwoord te behandelen.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1: AI-inference draait niet meer alleen om de snelste GPU"?
AMD’s 512 GPU Instinct MI355X opstelling van Crusoe leverde de hoogste totale tokenthroughput van deze MLPerf ronde, maar dat is geen rechtstreekse vergelijking met een enkel rack of kleiner cluster.
What are the key points to validate first?
AMD’s 512 GPU Instinct MI355X opstelling van Crusoe leverde de hoogste totale tokenthroughput van deze MLPerf ronde, maar dat is geen rechtstreekse vergelijking met een enkel rack of kleiner cluster. NVIDIA liet Vera Rubin NVL72 voor het eerst zien als previewplatform, met volgens NVIDIA tot 3,7 keer hogere throughput dan GB300 NVL72 op Qwen3 VL.
What should I do next in practice?
MLCommons voegde end to end RAG en Edge Agentic Inference toe. Daarmee verschuift de benchmark richting toepassingen met meerdere stappen, interactie en strikte responstijdeisen.