AgentX place Nvidia loin devant dans l’IA à long contexte, avec plusieurs exceptions en faveur d’AMD

Le benchmark AgentX 1.0 de SemiAnalysis suggère que l’écosystème matériel et logiciel centré sur CUDA conserve un avantage majeur pour les agents de codage capables de gérer de très longs contextes. Dans les configurations SGLang testées, Nvidia a atteint une efficacité-coût jusqu’à 5 fois supérieure sur GLM 5.3 et une performance plus de 20 fois supérieure sur Qwen 3.5, avec une cible annoncée de 90 jetons générés par seconde et par utilisateur. 26

Ce résultat est spectaculaire, mais il ne constitue pas un classement général de Nvidia devant AMD. AgentX évalue une combinaison précise de modèle, d’accélérateur, de moteur d’inférence, de charge, de niveau de concurrence et d’objectif de réactivité. Les MI355X d’AMD et le moteur ATOM ont obtenu des résultats compétitifs dans certaines configurations, tandis que des mises à jour logicielles ont parfois modifié l’ordre du classement. 14

Un benchmark conçu pour les vrais agents de codage

AgentX 1.0 fait partie de la suite de benchmarks InferenceX v3 de SemiAnalysis. Contrairement aux tests classiques fondés sur des longueurs fixes de prompt et de réponse, il rejoue des sessions de codage multi-tours avec des contextes très longs, pouvant approcher le million de jetons. 13

Le jeu de données contient 393 sessions Claude Code anonymisées et fournies sur la base du volontariat. Les sessions retenues comportaient au moins 20 requêtes. Le traitement a supprimé les doublons, certaines requêtes propres au client ainsi que les entrées reconstruites dépassant 990 000 jetons. Une requête médiane contenait 142 000 jetons en entrée et 444 jetons en sortie, et 44 % des sessions faisaient intervenir des sous-agents. 8

Ce profil est important : un agent de codage renvoie régulièrement une version actualisée d’une conversation ou d’une base de code volumineuse. Le test mesure donc davantage la capacité à maintenir une interaction fluide dans la durée que le débit obtenu sur un prompt isolé.

Une avance Nvidia particulièrement nette avec SGLang

Les écarts les plus marqués apparaissent dans les comparaisons réalisées avec des configurations SGLang largement disponibles :

• Sur GLM 5.3, SemiAnalysis rapporte que le matériel Nvidia était jusqu’à environ 5 fois plus efficace en matière de coût que la solution AMD au point de fonctionnement testé, avec notamment une cible de 150 jetons par seconde et par utilisateur. 2
• Sur Qwen 3.5, une comparaison SGLang citée indique que Nvidia atteignait une performance supérieure de plus de 20 fois à 90 jetons par seconde et par utilisateur. 6

Ces chiffres correspondent à des points de fonctionnement précis et non à une note unique attribuée à toute une gamme de produits. InferenceX compare les plateformes à des niveaux d’interactivité définis et calcule le coût à partir de la capacité de service observée pour chacune. 79

L’enjeu pratique est considérable. Un test fixe de type 8 000 jetons en entrée et 1 000 en sortie peut masquer des goulets d’étranglement qui deviennent décisifs lorsqu’un agent traite simultanément de nombreux contextes volumineux et partiellement répétés.

Pourquoi les agents à long contexte favorisent l’écosystème Nvidia

Une forte réutilisation du cache de préfixe

Les requêtes AgentX réutilisent une grande partie du contexte précédent. SemiAnalysis indique que les taux de correspondance du préfixe, ou du cache KV, dépassent souvent 95 % dans ces traces agentiques. 1

Le rapport entre la phase de prefill — l’analyse initiale du contexte — et la phase de décodage s’en trouve modifié. Le système ne traite pas à chaque fois un prompt entièrement nouveau : il conserve de grands états en cache, puis les enrichit en produisant des réponses relativement courtes.

La capacité à stocker, retrouver, transférer et réutiliser efficacement ces états devient donc centrale pour le débit comme pour le coût.

La mémoire DRAM détermine ce qui reste sur l’accélérateur

La capacité réellement exploitable de la mémoire à large bande passante détermine la quantité d’état KV qui peut rester sur l’accélérateur. Lorsque l’ensemble de travail dépasse la mémoire disponible, le système doit déplacer une partie des données vers la mémoire hôte ou gérer le cache sur un chemin plus lent. 1

Le déport vers la mémoire hôte permet de prendre en charge davantage de sessions, mais il entraîne des coûts de bande passante et de latence. Une plateforme qui conserve davantage de cache actif en mémoire locale — ou qui gère plus efficacement ses transferts — peut maintenir une meilleure réactivité au même niveau de coût.

La tokenisation compte lorsque les réponses sont courtes et nombreuses

SemiAnalysis met également en avant la tokenisation incrémentale tenant compte des frontières, proposée par TensorRT-LLM. Au lieu de retraiter à chaque requête l’intégralité d’un prompt qui évolue, cette méthode repère les parties stables et ne traite que les éléments ajoutés. 1

Cette optimisation est particulièrement adaptée aux agents de codage : les requêtes peuvent contenir des contextes immenses tout en générant seulement quelques centaines de jetons. Dans ce scénario, le prétraitement côté processeur et la tokenisation répétée peuvent représenter une part non négligeable de la charge.

La leçon générale est claire : le rapport performance-prix de l’inférence dépend du produit matériel × moteur d’exécution × modèle × charge × objectif de latence. Les FLOPS, la bande passante mémoire ou un seul chiffre de débit ne suffisent pas à expliquer le résultat.

AMD conserve des atouts importants

AgentX ne montre pas une victoire systématique de Nvidia. SemiAnalysis a observé des résultats favorables à AMD, ou proches de la parité, dans certaines combinaisons de modèles, de débits et de moteurs, notamment avec la MI355X associée au moteur de service ATOM. 1

Les données distinguent les résultats de la MI355X avec ATOM, SGLang, vLLM et d’autres configurations. Cette distinction est essentielle : un « résultat AMD » dépend fortement du moteur de service, de l’implémentation du modèle et du niveau d’optimisation retenu. 4

Le planificateur spécialisé d’ATOM, sa gestion du cache et ses noyaux optimisés pour AMD peuvent être très efficaces lorsque le modèle et la charge correspondent à la configuration mémoire de la MI355X. AMD peut donc être particulièrement compétitif lorsqu’un opérateur accepte d’adopter un moteur spécifiquement optimisé pour sa plateforme.

Pourquoi vLLM et SGLang en amont sont plus pertinents pour la plupart des acheteurs

Un moteur spécialisé peut montrer ce qu’un matériel est capable de faire dans des conditions favorables. Les acheteurs d’infrastructure ont toutefois besoin de davantage qu’un résultat maximal obtenu avec un noyau optimisé : couverture des modèles, fréquence des mises à jour, outils, compétences de déploiement et trajectoire de maintenance comptent également.

SemiAnalysis indique que ses recettes suivent principalement les recommandations des versions en amont de vLLM et SGLang, afin de mesurer des configurations que les clients peuvent réellement déployer plutôt qu’une pile conçue uniquement pour le benchmark. 1

Pour la plupart des acheteurs potentiels de solutions AMD, la comparaison la plus utile est donc celle des performances avec vLLM et SGLang en amont, et non le meilleur résultat d’un moteur propriétaire ou très spécialisé. ATOM reste une preuve importante que le matériel AMD peut offrir un excellent rapport performance-prix dans un environnement adapté, mais son résultat ne doit pas être assimilé automatiquement à celui d’une couche de service commune.

Il s’agit d’une différence d’adoption et de disponibilité logicielle, pas d’une remise en cause de la validité d’ATOM.

Une mise à jour logicielle peut renverser le classement

Le benchmark montre aussi à quel point les comparaisons d’inférence vieillissent rapidement. Les données incluent une configuration AMD MI355X MoRI/SGLang datée du 21 août, ainsi que d’autres configurations AMD évaluées à des dates différentes. 4

Une mise à jour logicielle publiée le 21 août a modifié l’ordre d’au moins une comparaison. Elle illustre la vitesse à laquelle une amélioration de la planification, des noyaux, des transferts de cache ou de la prise en charge d’un modèle peut changer la hiérarchie apparente des accélérateurs. 14

Les travaux antérieurs de SemiAnalysis sur la MI355X et Qwen 3.5 livrent le même avertissement : plusieurs versions successives de SGLang ont généré des gains importants en l’espace de 13 semaines. 12

Pour comparer des accélérateurs sérieusement, il faut donc consigner la version exacte du moteur, la configuration, la quantification du modèle, la plage de concurrence et l’objectif d’interactivité. Un verdict matériel privé de ce contexte risque de devenir trompeur dès qu’une nouvelle version logicielle est publiée.

Les limites à garder en tête

AgentX constitue un proxy pertinent pour les agents de codage à long contexte, mais il ne représente pas l’ensemble des charges de production. Le jeu de données provient d’un corpus interne de traces fournies sur la base du volontariat et compte 393 sessions sélectionnées, plutôt qu’un échantillon exhaustif des usages d’agents en entreprise. 8

Les résultats peuvent être différents pour :

• les conversations à contexte court ;
• la génération augmentée par recherche documentaire, ou RAG ;
• l’inférence par lots ;
• les charges liées à l’image ou à la vidéo ;
• d’autres frameworks d’agents ;
• des distributions de longueur de contexte différentes ;
• des exigences différentes en matière de latence et de débit.

Les TPU de Google ne figuraient pas dans cette première série comparative. AgentX 1.0 ne permet donc pas de tirer une conclusion à trois entre Nvidia, AMD et Google. 1

La comparaison reste par ailleurs évolutive. SemiAnalysis a annoncé l’arrivée future de Nvidia Rubin, de l’AMD MI455X UALoE72 et de nouvelles générations de TPU. Leur intégration pourrait modifier le paysage concurrentiel. 111

L’intérêt durable de la publication open source

SemiAnalysis a publié le jeu de données AgentX, le harnais de test, les configurations, la télémétrie et les documents associés sous licence Apache 2.0. 1

L’importance du projet pourrait finalement dépasser la question de savoir qui, de Nvidia ou d’AMD, remporte un graphique. SemiAnalysis affirme qu’AgentX était déjà devenu une charge de référence pour plus de 70 demandes de modification (« pull requests ») dans des projets comme vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache et Mooncake. 1

Les développeurs disposent ainsi d’un scénario reproductible pour optimiser des comportements propres aux agents : réutilisation intensive des préfixes, grands caches KV, succession de tours courts, sous-agents, transferts de cache, pression sur la planification et surcharge liée à la tokenisation.

En résumé

AgentX renforce l’idée que l’avance logicielle et l’écosystème de service de Nvidia restent des avantages majeurs pour l’inférence d’agents de codage à long contexte. Dans les comparaisons SGLang étudiées, SemiAnalysis rapporte jusqu’à 5 fois plus d’efficacité-coût sur GLM 5.3 et plus de 20 fois la performance sur Qwen 3.5 à un niveau d’interactivité défini. 26

Le benchmark ne prouve toutefois pas que Nvidia gagne toujours. La MI355X d’AMD et ATOM ont montré qu’un rapport performance-prix compétitif, voire supérieur, était possible dans certaines configurations spécialement optimisées. Les progrès rapides des logiciels de service peuvent en outre inverser les classements.

Pour les équipes qui conçoivent une infrastructure d’IA, la meilleure conclusion n’est donc pas de choisir un vainqueur sur la foi d’un seul chiffre, mais de reproduire les tests avec leur propre modèle, leur moteur, leur distribution de contextes et leur objectif de latence.