AnswersPublished16 sources
MLPerf Inference v6.1 nostaa ohjelmiston ja kokonaisen palvelujärjestelmän GPU-nopeuden rinnalle
AMD:n Crusoe kumppanin 512 GPU:n Instinct MI355X kokoonpano kirjasi kierroksen suurimmat yhteenlasketut tokenien läpimenoluvut, mutta tulosta on verrattava järjestelmän kokoon ja käyttötapaukseen suhteutettuna. Kierroksella oli ennätykselliset 30 osallistujaorganisaatiota ja 486 datakeskus ja reunalaskentatulosta.
JulkaisijaMuokattu mallilla GPT-5.6 TerraKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- AMD:n Crusoe kumppanin 512 GPU:n Instinct MI355X kokoonpano kirjasi kierroksen suurimmat yhteenlasketut tokenien läpimenoluvut, mutta tulosta on verrattava järjestelmän kokoon ja käyttötapaukseen suhteutettuna.
- Kierroksella oli ennätykselliset 30 osallistujaorganisaatiota ja 486 datakeskus ja reunalaskentatulosta.
- Ostajalle keskeisiä ovat kiihdyttimen teknisten tietojen lisäksi ohjelmiston kehitys, palvelun toistettavuus, viivevaatimukset, energiankulutus ja kustannus hyödyllistä tuotosta kohti.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 ei ole enää vain yksittäisten piirien tulostaulukko. Se näyttää, miten tekoälymallien palveleminen eli inferenssi on muuttumassa: AMD esitteli erittäin suuren MI355X-klusterin, NVIDIA julkaisi ensimmäiset Vera Rubin -esikatselutuloksensa, Intel laajensi pienempien ja helpommin saavutettavien inferenssijärjestelmien näkyvyyttä, ja testiohjelmaan tuli RAG- ja agenttityökuormia.
Ydinviesti on selkeä: vertailun kohde ei ole enää pelkkä GPU, vaan saatavilla oleva kokonainen palvelujärjestelmä, joka suorittaa olennaista työkuormaa vaadituissa viiverajoissa.
AMD:n MI355X-tulos nosti kokonaismittakaavan esiin
AMD:n näkyvin tulos tuli Crusoe-kumppanin 512 GPU:n Instinct MI355X -kokoonpanosta. Se saavutti v6.1-kierroksen suurimmat raportoidut yhteenlasketut tokenien läpimenoluvut. 5 Kyse on merkittävästä mittakaavademosta: se mittaa kiihdyttimien suorituskyvyn ohella hajautettua inferenssiä, verkkoyhteyksiä ja järjestelmäintegraatiota erittäin laajassa käyttöönotossa.
Tulos ei silti tarkoita yleispätevää julistusta yhden alustan ylivertaisuudesta. 512 GPU:n kokonaistulosta ei voi verrata suoraan yhteen räkkijärjestelmään tai pienempään klusteriin ilman GPU-määrän, mallin, testiskenaarion ja palvelutasovaatimusten normalisointia. Suuri kokonaisläpäisy voi olla oikea mittari laajalle inferenssipalvelulle, kun taas yksittäisen kiihdyttimen suorituskyky, räkkitiheys, sähkönkulutus, saatavuus ja ylläpidon monimutkaisuus voivat ratkaista yksittäisen hankinnan.
ROCm-ohjelmiston kehitys on strategisesti tärkeää
AMD:n viesti on myös ohjelmistoviesti. Yhtiö korosti, että sama MI355X-laitteisto suoriutui edellistä MLPerf-kierrosta paremmin ROCm-optimointien ansiosta. Laajempi johtopäätös on suoraviivainen: kääntäjät, laskentaytimet, mallien ajonaikaiset ympäristöt ja hajautetun palvelun ohjelmistot voivat kasvattaa jo asennetun laitekannan hyödyllistä kapasiteettia ilman laitteistopäivitystä.
AMD on lisäksi sitoutunut ROCm:n kuuden viikon julkaisutahtiin. Jos rytmi tuottaa jatkuvia ja tuotantokelpoisia parannuksia, ohjelmiston kehitysnopeudesta voi tulla merkittävä osa ostajien token-kohtaista kustannuslaskelmaa. MLPerf-parannukset on silti syytä validoida omalla mallivalikoimalla, kvantisointivalinnoilla, kehyksillä, liikenneprofiililla ja viivetavoitteilla: yhden testin hyöty ei siirry automaattisesti samansuuruisena tuotantoon.
NVIDIA käytti Vera Rubinia seuraavan alustan potentiaalin näyttämiseen
NVIDIAn Vera Rubin NVL72 nähtiin MLPerf Inference -vertailussa ensimmäistä kertaa esikatseluluokan tuloksena. NVIDIA raportoi Qwen3-VL-työkuormassa jopa 3,7-kertaisen läpimenon verrattuna GB300 NVL72:een. Yhtiön mukaan neljään räkkijärjestelmään jakautunut 288 GPU:n GB300 NVL72 -kokoonpano saavutti 99 prosentin skaalautumistehokkuuden. 2
Olennainen varaus koskee saatavuutta. Esikatselutulokset kertovat arkkitehtuurin suunnasta ja ohjelmiston kypsyydestä, mutta ne eivät ole automaattisesti tasavertainen hankintavertailu yleisesti saatavilla olevien järjestelmien kanssa. Myös esikatselutoimitusten klusterikoot vaihtelivat, joten GPU-kohtainen tai muu normalisoitu vertailu on informatiivisempi kuin pelkkä järjestelmän kokonaisläpäisy. 8
Blackwell ja Blackwell Ultra ovat edelleen keskeisiä lähiajan käyttöönotossa. CoreWeave raportoi esimerkiksi pilvipalveluntarjoajien kärkituloksia useilla Blackwell- ja Blackwell Ultra -kokoonpanoilla Qwen3-VL-, DeepSeek-R1- ja GPT-OSS-120B-työkuormissa. 4 Käytännön johtopäätös ei siis ole yksi voittaja, vaan työnjako: suuri klusterikapasiteetti, räkkitason palvelu, multimodaalinen inferenssi ja interaktiivinen viive voivat suosia eri kokoonpanoja.
Intel laajensi testattujen inferenssijärjestelmien kirjoa
Intel kasvatti CPU- ja työasemaluokan GPU-inferenssin näkyvyyttä. Sen neljän Arc Pro B70 -GPU:n solmussa oli yhteensä 128 Gt VRAM-muistia, ja sillä toimitettiin tuloksia Llama-, GPT-OSS-120B-, Whisper- sekä uudesta päästä päähän -RAG-työkuormasta. Intel raportoi myös ohjelmistopohjaisia parannuksia samalla Arc Pro B70 -kokoonpanolla edelliseen kierrokseen verrattuna. 3
Tämä ei tee Arc Prosta suoraa korvaajaa hyperskaalan kiihdytinklusterille. Se tekee vertailusta kuitenkin edustavamman organisaatioille, jotka arvioivat pienempiä, edullisempia tai joustavampia toteutuksia – erityisesti silloin, kun muistikapasiteetti, paikallinen inferenssi tai olemassa oleva palvelininfrastruktuuri vaikuttavat päätökseen.
Uudet RAG- ja agenttitestit tuovat benchmarkia lähemmäs käyttöönottoa
MLCommons ilmoitti v6.1-kierrokselle ennätykselliset 30 osallistujaorganisaatiota ja 486 datakeskus- ja reunalaskentatulosta. Testisarjaan lisättiin datakeskusten päästä päähän -RAG-vertailu sekä Edge Agentic Inference -vertailu. Ne heijastavat siirtymää yksittäisistä mallikyselyistä monivaiheisiin tekoälysovelluksiin. 9
Laajennus on tärkeä, koska agenttityökuormat tuovat esiin pullonkauloja, joita tavallinen offline-tokeniläpimenotesti ei välttämättä näytä. Näitä ovat monivaiheiset vuorovaikutukset, työkalukutsut, orkestroinnin kuormitus ja vaiheiden välinen reagointikyky. MLCommons kuvaa reunalaitteiden testiä monimutkaisia, usean vuoron tehtäviä – kuten agenttipohjaista koodausta – vastaavaksi. 9
Kyse on edelleen hallituista testeistä, ei täydellisestä kuvasta tuotannossa toimivasta palvelusta. Ne kuitenkin vievät arviointia lähemmäs työkuormia, joita monet tiimit ovat nyt ottamassa käyttöön.
Mitä MLPerf Endpoints voisi muuttaa
MLCommons esitteli myös MLPerf Endpointsin mahdollisena seuraavana suuntana. Ratkaiseva ero olisi määräajoin toimitettavien benchmark-tulosten ja käynnissä olevien palvelupäätepisteiden havaittavan suorituskyvyn välillä. Kypsä päätepistepainotteinen ohjelma voisi korostaa kuormituskäyttäytymistä, viiveen tasaisuutta, saatavuutta ja toiminnan toistettavuutta – ei vain kiinteässä testiajossa saavutettua huippulukemaa.
Toistaiseksi ostajien kannattaa nähdä tämä kehittyvänä mittaussuuntana, ei nykyisen tulostoimitusmallin valmiina korvaajana. V6.1-tulokset osoittavat, miksi tällainen mittaus voisi olla arvokasta: käyttöönoton laatu riippuu paljon muustakin kuin suurimmasta tokenia sekunnissa -luvusta.
Hankintapäätöksen opetus: vertaa pinoa, älä otsikkolukua
MLPerf v6.1 antaa vahvaa näyttöä siitä, että inferenssikilpailua muovaavat kolme yhteen kytkeytyvää tekijää: kiihdyttimen ominaisuudet, ohjelmiston kehitys ja järjestelmäintegraatio. AMD:n suuri MI355X-toimitus osoittaa mittakaavan merkityksen; NVIDIAn Vera Rubin -esikatselu viestii seuraavasta suorituskykyaskeleesta samalla, kun Blackwell palvelee nykyisiä käyttöönottoja; Intelin Arc Pro B70 -tulokset laajentavat mukana olevan laitteiston kirjoa; ja MLCommonsin uudet testit tunnistavat, että RAG ja agentit asettavat erilaisia suorituskykyvaatimuksia.
Alustaa arvioitaessa kannattaa aloittaa työkuormasta ja toimintatavoitteesta: mallista, kontekstipituudesta, samanaikaisten käyttäjien määrästä, viiveen palvelutasotavoitteesta, tehobudjetista, käyttöönottokoosta ja hyödyllistä tuotosta kohti lasketusta kustannuksesta. Sen jälkeen järjestelmiä on verrattava samalla mittakaavalla ja saatavuustasolla. Se on hyödyllisempi tapa kuin pitää mitä tahansa yksittäistä MLPerf-otsikkotulosta yleispätevänä vastauksena.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1 nostaa ohjelmiston ja kokonaisen palvelujärjestelmän GPU-nopeuden rinnalle"?
AMD:n Crusoe kumppanin 512 GPU:n Instinct MI355X kokoonpano kirjasi kierroksen suurimmat yhteenlasketut tokenien läpimenoluvut, mutta tulosta on verrattava järjestelmän kokoon ja käyttötapaukseen suhteutettuna.
What are the key points to validate first?
AMD:n Crusoe kumppanin 512 GPU:n Instinct MI355X kokoonpano kirjasi kierroksen suurimmat yhteenlasketut tokenien läpimenoluvut, mutta tulosta on verrattava järjestelmän kokoon ja käyttötapaukseen suhteutettuna. Kierroksella oli ennätykselliset 30 osallistujaorganisaatiota ja 486 datakeskus ja reunalaskentatulosta.
What should I do next in practice?
Ostajalle keskeisiä ovat kiihdyttimen teknisten tietojen lisäksi ohjelmiston kehitys, palvelun toistettavuus, viivevaatimukset, energiankulutus ja kustannus hyödyllistä tuotosta kohti.