AgentX dà a Nvidia un grande vantaggio sugli agenti AI a contesto lungo, ma AMD resiste

Il benchmark AgentX 1.0 di SemiAnalysis suggerisce che l’ecosistema hardware e software costruito attorno a CUDA conserva un vantaggio significativo nei carichi realistici degli agenti di coding con contesti molto lunghi. Nelle configurazioni testate con SGLang, il divario ha raggiunto fino a 5 volte più efficienza sui costi per Nvidia con GLM 5.3 e oltre 20 volte le prestazioni con Qwen 3.5, a un obiettivo dichiarato di 90 token generati al secondo per utente. 26

È un risultato importante, ma non equivale a una classifica universale che vede Nvidia sempre davanti ad AMD. AgentX misura una combinazione precisa di modello, acceleratore, runtime, carico di lavoro, concorrenza e obiettivo di reattività. In alcune configurazioni, le GPU AMD MI355X e il motore di serving ATOM hanno ottenuto risultati competitivi, mentre gli aggiornamenti software hanno cambiato l’ordine di alcune piattaforme. 14

Che cosa misura AgentX

AgentX 1.0 fa parte della suite InferenceX v3 di SemiAnalysis. A differenza dei benchmark tradizionali, basati su lunghezze fisse per prompt e risposta, riproduce traffico multi-turno tipico degli agenti di coding, con contesti molto estesi e scenari che si avvicinano a 1 milione di token. 13

Il dataset v1.0 contiene 393 sessioni Claude Code, anonime e raccolte su base volontaria. Le sessioni idonee dovevano includere almeno 20 richieste; il processo di preparazione ha eliminato richieste duplicate, alcune chiamate specifiche del client e input ricostruiti oltre i 990.000 token. La richiesta mediana conteneva 142.000 token in ingresso e 444 token in uscita, mentre il 44% delle sessioni includeva subagenti. 8

Il profilo è rilevante perché un agente di coding invia ripetutamente versioni aggiornate di una conversazione o di una base di codice molto ampia. Il test misura quindi la capacità di mantenere un servizio interattivo sotto carico, non soltanto di elaborare un prompt lungo seguito da una risposta lunga.

Il vantaggio registrato da Nvidia

Il distacco più netto è emerso nei confronti tra configurazioni SGLang ampiamente disponibili:

• Con GLM 5.3, SemiAnalysis ha rilevato per l’hardware Nvidia un’efficienza sui costi fino a circa 5 volte superiore a quella di AMD nel punto operativo testato, che comprendeva un obiettivo di 150 token generati al secondo per utente. 2
• Con Qwen 3.5, un confronto SGLang citato nel rapporto indica per Nvidia oltre 20 volte le prestazioni a 90 token generati al secondo per utente. 6

Questi numeri vanno interpretati come confronti a uno specifico punto operativo, non come un punteggio unico valido per un’intera famiglia di prodotti. InferenceX confronta le piattaforme a determinati livelli di interattività e calcola i costi sulla base dell’ambiente di serving effettivamente osservato per ciascuna piattaforma. 79

La conseguenza pratica è che un benchmark a lunghezza fissa, per esempio con 8.000 token in ingresso e 1.000 in uscita, può non catturare i colli di bottiglia decisivi nel traffico multi-turno degli agenti. Un acceleratore può apparire competitivo nel throughput isolato e poi perdere terreno quando deve mantenere reattivi molti contesti grandi e parzialmente ripetuti nello stesso momento.

Perché i contesti lunghi hanno favorito lo stack Nvidia

Il riutilizzo della prefix cache cambia il carico

I carichi di AgentX riutilizzano gran parte del contesto da una richiesta all’altra. SemiAnalysis descrive, in queste tracce agentiche, tassi di riutilizzo della prefix cache o della KV cache spesso superiori al 95%. 1

Il rapporto tra prefill e decode cambia di conseguenza. Il sistema non elabora ogni volta un prompt completamente nuovo: deve mantenere ed estendere grandi stati già memorizzati, generando risposte relativamente brevi. Archiviare, individuare, trasferire e riutilizzare questi stati diventa quindi centrale per throughput e costi.

La capacità della DRAM determina quanto stato resta in memoria

La capacità effettivamente disponibile della memoria ad alta larghezza di banda stabilisce quanta parte dello stato KV cache può rimanere sull’acceleratore. Quando il working set supera la memoria del dispositivo, il sistema può dover trasferire dati nella memoria di sistema o gestire la cache attraverso un percorso più lento. 1

L’offload verso la memoria host può aumentare il numero di sessioni supportate, ma introduce costi in termini di larghezza di banda e latenza. Una piattaforma che mantiene residente una quota maggiore della cache attiva, oppure gestisce i trasferimenti in modo più efficiente, può garantire una maggiore interattività a parità di costo.

La tokenizzazione pesa quando le risposte sono brevi e frequenti

SemiAnalysis ha inoltre evidenziato la tokenizzazione incrementale basata sui confini di TensorRT-LLM. Invece di tokenizzare nuovamente l’intero prompt in evoluzione, questo approccio individua le porzioni stabili e processa il materiale appena aggiunto. 1

L’ottimizzazione è particolarmente utile per gli agenti di coding: le richieste possono contenere contesti enormi ma produrre soltanto poche centinaia di token. In questo scenario, la pre-elaborazione sul processore e la tokenizzazione ripetuta possono diventare una parte significativa del costo di serving.

La lezione più ampia è che il rapporto prezzo-prestazioni dell’inferenza è il prodotto di hardware × runtime × modello × carico di lavoro × obiettivo di latenza. FLOPS, larghezza di banda della memoria o un singolo dato di throughput non bastano a descrivere il risultato complessivo.

AMD ha comunque ottenuto risultati importanti

AgentX non mostra una vittoria di Nvidia su tutta la linea. SemiAnalysis ha registrato vittorie o risultati vicini alla parità per AMD in specifiche combinazioni di modello, throughput e motore, soprattutto con MI355X abbinata al motore di serving ATOM. 1

I dati separano i risultati della MI355X ottenuti con ATOM, SGLang, vLLM e altre configurazioni. È una distinzione essenziale: il risultato attribuito ad “AMD” dipende in larga misura dal motore di serving, dall’implementazione del modello e dall’ottimizzazione utilizzata nel test. 4

Lo scheduling specializzato di ATOM, la gestione della cache e i kernel ottimizzati per AMD possono offrire buone prestazioni quando il modello e il carico si adattano alla configurazione di memoria della MI355X. In altre parole, AMD può essere molto competitiva quando l’operatore è disposto a utilizzare un runtime ottimizzato appositamente per la piattaforma.

Perché vLLM e SGLang upstream contano di più per molti acquirenti

Un motore specializzato può dimostrare che cosa sia capace di fare l’hardware in condizioni favorevoli. Ma chi acquista infrastruttura AI ha bisogno di qualcosa in più rispetto al miglior risultato di un singolo kernel: servono copertura dei modelli, ritmo degli aggiornamenti, strumenti, competenze di deployment e un percorso operativo sostenibile nel tempo.

SemiAnalysis afferma che le proprie ricette seguono principalmente le indicazioni upstream di vLLM e SGLang, così da misurare configurazioni realisticamente implementabili dai clienti invece di basarsi soltanto su uno stack creato per il benchmark. 1

Per molti potenziali acquirenti di sistemi AMD, questo rende i risultati con vLLM e SGLang upstream più utili per una decisione rispetto a quelli di un runtime altamente specializzato. ATOM resta una prova importante del fatto che l’hardware AMD può raggiungere prestazioni solide in un ambiente software adatto, ma il suo risultato non va considerato automaticamente equivalente alle prestazioni disponibili attraverso un livello di serving comune e ampiamente adottato.

Si tratta di una distinzione legata all’adozione e alla disponibilità del software, non di un giudizio sull’utilità o sulla validità di ATOM.

Gli aggiornamenti software possono ribaltare le classifiche

Il benchmark mostra anche perché i confronti sull’inferenza diventano rapidamente datati. La telemetria include una configurazione AMD MI355X MoRI/SGLang del 21 agosto, insieme ad altre configurazioni AMD misurate in date differenti. 4

Un aggiornamento software del 21 agosto ha modificato l’ordine di almeno un confronto. Il dato illustra come miglioramenti a scheduling, kernel, trasferimento della cache e supporto ai modelli possano cambiare la gerarchia apparente dell’hardware nel giro di pochi giorni. 14

Anche il precedente lavoro di SemiAnalysis sulla MI355X con Qwen 3.5 offre un’avvertenza simile: in un periodo di 13 settimane, versioni successive di SGLang hanno prodotto incrementi sostanziali delle prestazioni. 12

Per chi deve acquistare, la conclusione pratica è registrare sempre la versione esatta del runtime, la configurazione, la quantizzazione del modello, l’intervallo di concorrenza e l’obiettivo di interattività. Un verdetto sull’hardware privo di questo contesto rischia di diventare fuorviante non appena il software di serving migliora.

I limiti del risultato

AgentX è un proxy utile per gli agenti di coding con contesti lunghi, ma non rappresenta ogni carico di produzione. Il dataset deriva da una raccolta interna di tracce, raccolte su base volontaria, e comprende 393 sessioni selezionate, non l’intero traffico degli agenti aziendali. 8

I risultati possono cambiare nel caso di:

• chat con contesti brevi;
• generazione aumentata dal recupero, o RAG;
• inferenza batch;
• carichi di lavoro con immagini o video;
• altri framework per agenti;
• distribuzioni diverse della lunghezza dei contesti;
• requisiti differenti di latenza e throughput.

Inoltre, i Google TPU non erano presenti nel primo set di confronti pubblicato. AgentX v1.0, quindi, non consente di stabilire una conclusione a tre tra Nvidia, AMD e Google. 1

Anche il quadro competitivo è in movimento. SemiAnalysis ha indicato Nvidia Rubin, AMD MI455X UALoE72 e sistemi TPU più recenti come prossime aggiunte o futuri punti di confronto. Il loro ingresso potrebbe modificare nuovamente la situazione. 111

Perché il rilascio open source è importante

SemiAnalysis ha pubblicato dataset, harness, configurazioni, telemetria e materiali correlati con licenza Apache 2.0. 1

L’importanza di AgentX nel lungo periodo potrebbe dipendere meno dal singolo titolo “Nvidia contro AMD” e più dal lavoro di ingegneria che il benchmark stimola. SemiAnalysis ha riferito che AgentX era già diventato un carico di riferimento per oltre 70 pull request upstream distribuite tra progetti come vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache e Mooncake. 1

Per gli sviluppatori dei framework di serving, questo crea un modo riproducibile per ottimizzare il comportamento reale degli agenti: elevato riutilizzo dei prefissi, grandi KV cache, molte interazioni brevi, subagenti, trasferimenti della cache, pressione sullo scheduling e costi di tokenizzazione.

In sintesi

AgentX rafforza l’idea che il software Nvidia e il suo ecosistema di serving rappresentino ancora un vantaggio importante nell’inferenza per gli agenti di coding con contesti lunghi. Nei confronti SGLang analizzati, il vantaggio riportato arriva a 5 volte in termini di efficienza sui costi con GLM 5.3 e supera 20 volte in termini di prestazioni con Qwen 3.5 a uno specifico obiettivo di interattività. 26

Il benchmark, però, non dimostra che Nvidia vinca sempre. MI355X e ATOM hanno mostrato che in configurazioni selezionate e costruite ad hoc AMD può raggiungere un rapporto prezzo-prestazioni competitivo o superiore; inoltre, gli aggiornamenti rapidi dei runtime possono ribaltare le classifiche.

Per i team infrastrutturali, la conclusione più utile non è scegliere un vincitore sulla base di un singolo numero, ma ripetere il confronto usando il proprio modello, runtime, distribuzione dei contesti e obiettivo di latenza.