MLPerf Inference v6.1 alza l’asticella: non basta più la GPU più veloce

MLPerf Inference v6.1 non è semplicemente una classifica di chip: è una fotografia di come sta cambiando il serving dell’IA. I segnali più rilevanti del benchmark sono stati il risultato AMD su scala estrema con MI355X, i primi dati in anteprima di NVIDIA Vera Rubin, una più ampia presenza di sistemi Intel per l’inferenza accessibile e i nuovi test per retrieval-augmented generation (RAG) e agenti edge.

Il messaggio è chiaro: l’unità di confronto utile non è più soltanto la GPU, ma un sistema di serving completo, realmente disponibile, che esegue un carico di lavoro pertinente rispettando i vincoli di latenza richiesti.

AMD MI355X: il throughput aggregato porta l’attenzione sulla scala

Il risultato di maggiore impatto per AMD arriva dalla configurazione Crusoe con 512 GPU Instinct MI355X, che ha registrato i più alti valori di throughput aggregato in token riportati nel round v6.1. 5 È una dimostrazione importante della capacità di operare su vasta scala: non misura soltanto la prestazione degli acceleratori, ma anche l’inferenza distribuita, la rete e l’integrazione dell’intero sistema in un’installazione molto ampia.

Non equivale però a una dichiarazione universale di superiorità della piattaforma. Un risultato aggregato ottenuto con 512 GPU non va confrontato direttamente con un singolo rack o un cluster più piccolo senza normalizzare numero di GPU, modello, scenario del benchmark e requisiti di servizio. Il throughput aggregato è una misura sensata per una grande flotta di inferenza; per un’implementazione concreta possono contare di più le prestazioni per acceleratore, la densità per rack, i consumi, la disponibilità e la complessità operativa.

Perché i progressi di ROCm hanno rilevanza strategica

La tesi AMD è anche una storia di software. L’azienda ha evidenziato prestazioni superiori con lo stesso hardware MI355X rispetto al precedente ciclo MLPerf, attribuendo i miglioramenti alle ottimizzazioni di ROCm. L’implicazione è diretta: compilatori, kernel, runtime dei modelli e software per il serving distribuito possono aumentare la capacità effettivamente utilizzabile di una flotta installata senza sostituire l’hardware.

AMD ha inoltre indicato una cadenza di rilascio di ROCm ogni sei settimane. Se questa frequenza produrrà miglioramenti costanti e utilizzabili in produzione, la velocità di evoluzione del software potrebbe incidere concretamente sul calcolo del costo per token. I guadagni MLPerf andrebbero comunque verificati sul proprio mix di modelli, sulle scelte di quantizzazione, sul framework, sui flussi di traffico e sugli obiettivi di latenza: un miglioramento in un benchmark non si trasferisce automaticamente, nella stessa misura, a un servizio reale.

NVIDIA usa Vera Rubin per indicare il potenziale della prossima piattaforma

Vera Rubin NVL72 di NVIDIA debutta in MLPerf Inference come piattaforma in anteprima. NVIDIA dichiara fino a 3,7 volte il throughput di GB300 NVL72 su Qwen3-VL e descrive una submission GB300 NVL72 da 288 GPU, distribuite su quattro rack, con un’efficienza di scaling del 99%. 2

La precisazione fondamentale riguarda la disponibilità. I risultati preview sono un’indicazione utile della direzione architetturale e della maturità del software, ma non rappresentano automaticamente un confronto d’acquisto alla pari con sistemi generalmente disponibili. Inoltre, le dimensioni dei cluster nelle submission preview erano diverse: per questo il confronto per GPU, o comunque normalizzato, è più informativo del solo throughput totale del sistema. 8

Blackwell e Blackwell Ultra restano invece centrali per le implementazioni nel breve periodo. CoreWeave, per esempio, ha comunicato risultati di vertice tra i cloud provider su varie configurazioni Blackwell e Blackwell Ultra nei carichi Qwen3-VL, DeepSeek-R1 e GPT-OSS-120B. 4 La lettura pratica non è quindi quella di un unico vincitore: capacità aggregata dei grandi cluster, serving a livello di rack, inferenza multimodale e latenza interattiva possono favorire configurazioni differenti.

Intel amplia la gamma dei sistemi di inferenza rappresentati

Le submission Intel rendono più visibili l’inferenza su CPU e su GPU di classe workstation. Il nodo con quattro Arc Pro B70 unisce 128 GB di VRAM e ha presentato risultati per Llama, GPT-OSS-120B, Whisper e il nuovo carico end-to-end RAG. Intel ha anche riportato miglioramenti trainati dal software sulla stessa configurazione Arc Pro B70 rispetto al round precedente. 3

Questo non trasforma Arc Pro in un sostituto diretto dei cluster di acceleratori per hyperscaler. Rende però il benchmark più rappresentativo delle organizzazioni che valutano implementazioni più piccole, economiche o flessibili, soprattutto quando capacità di memoria, inferenza locale o infrastruttura server già presente condizionano la scelta.

I nuovi test RAG e agentici avvicinano MLPerf alla produzione

MLCommons ha segnalato un record di 30 organizzazioni partecipanti e 486 risultati tra datacenter ed edge nella versione 6.1. La suite aggiunge un benchmark RAG end-to-end per datacenter e un benchmark Edge Agentic Inference, riflettendo il passaggio da prompt isolati ad applicazioni IA composte da più fasi. 9

L’espansione conta perché i carichi agentici introducono colli di bottiglia che un classico test di throughput di token offline può non rivelare: interazioni multi-turno, uso di strumenti esterni, overhead di orchestrazione e reattività tra un passaggio e l’altro. MLCommons descrive il benchmark edge come rappresentativo di attività complesse e multi-turno, come la programmazione agentica. 9

Si tratta comunque di benchmark controllati, non della riproduzione completa di un servizio live. Tuttavia, avvicinano la valutazione ai carichi che molte aziende stanno provando a portare in produzione.

Che cosa potrebbe cambiare con MLPerf Endpoints

MLCommons ha anche anticipato MLPerf Endpoints come possibile prossima direzione. La distinzione importante è tra submission periodiche e prestazioni osservabili di endpoint di serving in funzione. Un programma maturo orientato agli endpoint potrebbe dare più peso al comportamento sotto carico, alla costanza della latenza, alla disponibilità e alla ripetibilità operativa, non soltanto al picco ottenuto in una prova a parametri fissi.

Per ora, chi acquista deve considerarla una direzione di misurazione emergente, non un sostituto già definito del processo di submission attuale. I risultati v6.1 mostrano proprio perché potrebbe essere utile: la qualità di un deployment dipende da molto più del massimo numero di token al secondo.

La lezione per chi compra: confrontare lo stack, non il titolo

MLPerf v6.1 mostra che la concorrenza nell’inferenza è modellata da tre fattori collegati: capacità degli acceleratori, miglioramenti software e integrazione dei sistemi. La grande submission MI355X di AMD evidenzia il valore della scala; l’anteprima Vera Rubin di NVIDIA segnala il prossimo salto prestazionale mentre Blackwell serve le installazioni correnti; i risultati Arc Pro B70 di Intel ampliano la varietà dell’hardware rappresentato; i nuovi test MLCommons riconoscono che RAG e agenti impongono esigenze prestazionali differenti.

Per valutare una piattaforma, il punto di partenza dovrebbe essere il carico e l’obiettivo operativo: modello, lunghezza del contesto, concorrenza, SLO di latenza, vincolo energetico, dimensione del deployment e costo per output utile. Solo dopo ha senso confrontare sistemi con scala e disponibilità equivalenti. È un approccio più utile che trasformare un singolo titolo su MLPerf in una risposta valida per tutti.