Nvidia loopt ver voor bij AI-agents met lange context, volgens AgentX-benchmark

De CUDA-stack van Nvidia lijkt bij realistische, langlopende programmeeragents nog altijd een flinke voorsprong te bieden. Dat is de belangrijkste conclusie van AgentX 1.0, een nieuwe benchmark van SemiAnalysis die niet werkt met vaste prompts, maar met echte interacties van coding agents.

In de geteste SGLang-configuraties liep het verschil op tot ongeveer vijf keer betere kostenefficiëntie voor Nvidia bij GLM 5.3 en ruim twintig keer hogere prestaties bij Qwen 3.5, bij een doelstelling van 90 gegenereerde tokens per seconde per gebruiker. 26

Dat klinkt als een duidelijke overwinning voor Nvidia, maar zo eenvoudig ligt het niet. AgentX is geen universele ranglijst van Nvidia- en AMD-hardware. De uitkomst hangt af van het model, de accelerator, de servingengine, de werklast, de gelijktijdigheid en de gewenste reactiesnelheid. In bepaalde combinaties bleken AMD’s MI355X en ATOM juist competitief of vrijwel even snel. 14

Wat AgentX precies test

AgentX 1.0 maakt deel uit van SemiAnalysis’ InferenceX v3-benchmark. In plaats van een vaste invoer- en uitvoerlengte te gebruiken, speelt de test meerturnsverkeer van programmeeragents af, met zeer lange contexten die kunnen oplopen tot ongeveer één miljoen tokens. 13

De dataset bevat 393 geanonimiseerde Claude Code-sessies waarvoor gebruikers toestemming hadden gegeven. Een sessie moest minstens twintig verzoeken bevatten. Dubbele verzoeken, bepaalde client-specifieke aanroepen en gereconstrueerde invoer boven 990.000 tokens werden verwijderd. Een gemiddeld verzoek bevatte 142.000 invoertokens en 444 uitvoertokens; in 44 procent van de sessies waren subagents actief. 8

Dat verkeerspatroon is belangrijk. Een coding agent stuurt bij elke nieuwe stap vaak een bijgewerkte versie van dezelfde conversatie of codebase mee. De server moet dus niet alleen één lange prompt verwerken, maar gedurende langere tijd veel grote, deels overlappende contexten interactief beschikbaar houden.

Hoe groot was Nvidia’s voorsprong?

De duidelijkste voorsprong verscheen in vergelijkingen met breed beschikbare SGLang-configuraties:

• Bij GLM 5.3 rapporteerde SemiAnalysis dat Nvidia tot ongeveer vijf keer kostenefficiënter was dan AMD op het geteste AgentX-bedrijfspunt. Daarbij werd onder meer gerekend met een doelstelling van 150 gegenereerde tokens per seconde per gebruiker. 2
• Bij Qwen 3.5 liet een aangehaalde SGLang-vergelijking zien dat Nvidia bij 90 gegenereerde tokens per seconde per gebruiker ruim twintig keer hogere prestaties behaalde. 6

Deze cijfers zijn vergelijkingen op een specifiek bedrijfspunt, geen algemene score voor een volledige productlijn. InferenceX vergelijkt platforms bij vastgelegde niveaus van interactiviteit en berekent de kosten op basis van de servingconfiguratie die voor elk platform werd gemeten. 79

De praktische les: een klassieke test met bijvoorbeeld 8.000 invoertokens en 1.000 uitvoertokens kan knelpunten missen die bij meerturns-agentverkeer doorslaggevend worden. Een accelerator kan op zichzelf een goede doorvoer laten zien, maar toch achteropraken wanneer hij tegelijk veel grote, gedeeltelijk herhaalde contexten responsief moet houden.

Waarom lange contexten Nvidia in deze test hielpen

Veel hergebruik van prefixcaches verandert de werklast

De verzoeken in AgentX hergebruiken een groot deel van de context uit eerdere beurten. SemiAnalysis beschrijft voor deze agenttraces vaak prefix- of KV-cache-hitpercentages van meer dan 95 procent. 1

Daardoor verschuift de balans tussen prefill en decode. Het systeem verwerkt niet telkens een volledig nieuwe prompt, maar onderhoudt en breidt grote gecachte toestanden uit terwijl het relatief korte antwoorden produceert. Het efficiënt opslaan, terugvinden, verplaatsen en hergebruiken van die toestanden wordt dan bepalend voor zowel snelheid als kosten.

DRAM bepaalt hoeveel cache op de accelerator blijft

De bruikbare capaciteit van het snelle acceleratorgeheugen bepaalt hoeveel KV-cache op de chip kan blijven staan. Zodra de actieve dataset groter wordt dan het beschikbare geheugen, kan de servinglaag data naar hostgeheugen moeten verplaatsen of de cache via een tragere route moeten beheren. 1

Offloading naar hostgeheugen maakt het mogelijk om meer sessies te ondersteunen, maar brengt kosten met zich mee in bandbreedte en latency. Een platform dat meer actieve cache lokaal kan houden — of de verplaatsing ervan efficiënter regelt — kan bij dezelfde kosten een hoger interactiviteitsniveau vasthouden.

Tokenisatie telt mee bij korte antwoorden en veel beurten

SemiAnalysis wees daarnaast op de boundary-aware incremental tokenization van TensorRT-LLM. In plaats van een steeds langer wordende prompt telkens volledig opnieuw te tokeniseren, identificeert deze aanpak stabiele grenzen en verwerkt hij alleen het nieuw toegevoegde materiaal. 1

Dat is vooral relevant voor coding agents. Die verwerken soms enorme contexten, maar genereren per beurt slechts enkele honderden tokens. Voorbewerking op de CPU en herhaalde tokenisatie kunnen dan een merkbaar deel van de totale servingoverhead vormen.

De bredere conclusie is dat de prijs-prestatieverhouding bij inferentie het resultaat is van hardware × runtime × model × werklast × latentiendoelstelling. Eén getal voor rekenkracht, geheugenbandbreedte of doorvoer vertelt niet het hele verhaal.

AMD won in bepaalde configuraties wel degelijk

AgentX liet geen algemene overwinning voor Nvidia zien. SemiAnalysis rapporteerde betekenisvolle AMD-overwinningen of prestaties dicht bij Nvidia in bepaalde combinaties van model, doorvoer en servingengine — vooral bij de MI355X in combinatie met AMD’s ATOM-engine. 1

De meetgegevens splitsen de MI355X-resultaten uit naar ATOM, SGLang, vLLM en andere configuraties. Dat onderscheid is cruciaal: een ‘AMD-resultaat’ hangt sterk af van de gebruikte engine, modelimplementatie en tuning. 4

ATOM beschikt over gespecialiseerde scheduling, cachebeheer en kernels die specifiek op AMD zijn gericht. Wanneer het model en de werklast goed aansluiten op de geheugenconfiguratie van de MI355X, kan die combinatie sterk presteren.

AMD kan dus zeer competitief zijn wanneer een exploitant bereid is een runtime te kiezen die specifiek voor het platform is geoptimaliseerd.

Waarom upstream-vLLM en SGLang voor kopers belangrijker zijn

Een gespecialiseerde engine kan aantonen waartoe hardware onder gunstige omstandigheden in staat is. Infrastructuurkopers hebben echter meestal meer nodig dan een uitstekend kernelresultaat. Ook modelondersteuning, releasesnelheid, tooling, implementatiekennis en een beheersbare operationele omgeving tellen mee.

Volgens SemiAnalysis zijn de recepten in de benchmark voornamelijk gebaseerd op de richtlijnen van upstream-vLLM en SGLang. Het doel is configuraties te meten die klanten realistisch kunnen inzetten, in plaats van uitsluitend een benchmark-specifieke stack te gebruiken. 1

Voor veel potentiële AMD-kopers zijn resultaten op upstream-vLLM en SGLang daarom een relevantere vergelijking dan de beste uitkomst van ATOM. ATOM blijft belangrijk als bewijs dat AMD-hardware in een geschikte softwareomgeving sterk kan presteren, maar het resultaat is niet automatisch representatief voor een gangbare servinglaag.

Dat is een onderscheid in adoptie en softwarebeschikbaarheid — geen bewering dat ATOM ongeldig is of dat gespecialiseerde runtimes geen waarde hebben.

Software-updates kunnen de rangorde omdraaien

De benchmark maakt ook duidelijk hoe snel inferentievergelijkingen verouderen. In de telemetrie staat een AMD MI355X-configuratie met MoRI/SGLang van 21 augustus, naast andere AMD-configuraties die op andere dagen zijn gemeten. 4

Een software-update van 21 augustus veranderde de rangorde in ten minste één vergelijking. Dat laat zien hoe verbeteringen in scheduling, kernels, cacheverplaatsing en modelondersteuning de vermeende hardwarehiërarchie binnen enkele dagen kunnen aanpassen. 14

Eerder onderzoek van SemiAnalysis naar de MI355X met Qwen 3.5 gaf een vergelijkbare waarschuwing: opeenvolgende SGLang-releases zorgden in dertien weken tijd voor forse prestatiewinsten. 12

Voor kopers betekent dit dat een vergelijking altijd de exacte runtimeversie, configuratie, modelkwantisatie, concurrency en gewenste interactiviteit moet vermelden. Een hardwareoordeel zonder die context kan snel misleidend worden zodra de servingsoftware verbetert.

Belangrijke beperkingen

AgentX is een waardevolle benadering van lang-contextuele coding agents, maar geen representatieve doorsnede van iedere productiewerklast. De dataset komt uit een interne, opt-in verzameling en bevat 393 geselecteerde sessies — niet al het enterpriseverkeer van AI-agents. 8

De resultaten kunnen anders uitvallen bij:

• chat met korte contexten;
• retrieval-augmented generation (RAG);
• batchinferentie;
• beeld- of videowerklasten;
• andere agentframeworks;
• een andere verdeling van contextlengtes; of
• andere eisen voor latency en doorvoer.

Google TPU’s ontbraken bovendien in deze eerste vergelijkingsset. AgentX 1.0 kan daarom geen volledige conclusie trekken over Nvidia tegenover AMD én Google. 1

Ook de concurrentieverhoudingen blijven in beweging. SemiAnalysis noemt Nvidia Rubin, AMD MI455X UALoE72 en nieuwere TPU-systemen als toekomstige uitbreidingen of vergelijkingspunten. Hun toevoeging kan het beeld opnieuw veranderen. 111

Waarom de open-sourceversie ertoe doet

SemiAnalysis bracht de AgentX-dataset, de testharnas, configuraties, telemetrie en verwante materialen uit onder de Apache 2.0-licentie. 1

De langetermijnwaarde van AgentX ligt mogelijk minder in één Nvidia-versus-AMD-kop en meer in het engineeringwerk dat de benchmark stimuleert. Volgens SemiAnalysis was AgentX al een doelwerklast voor meer dan 70 upstream-pullrequests in projecten zoals vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache en Mooncake. 1

Ontwikkelaars van servingframeworks krijgen daarmee een reproduceerbare test die aansluit bij werkelijk agentgedrag: veel hergebruik van prefixes, grote KV-caches, korte opeenvolgende beurten, subagents, cacheverplaatsingen, druk op de scheduler en tokenisatieoverhead.

De conclusie

AgentX versterkt de indruk dat Nvidia’s software- en servingecosysteem een belangrijk voordeel blijft bij inferentie voor coding agents met lange contexten. In de geteste SGLang-vergelijkingen bedroeg de gemelde voorsprong maximaal vijf keer in kostenefficiëntie bij GLM 5.3 en meer dan twintig keer in prestaties bij Qwen 3.5, bij een vastgelegde interactiviteitsdoelstelling. 26

De benchmark bewijst echter niet dat Nvidia altijd wint. AMD’s MI355X en ATOM lieten zien dat competitieve of betere prijs-prestaties mogelijk zijn in geselecteerde, doelgericht geoptimaliseerde configuraties. Tegelijkertijd kunnen snelle verbeteringen in servingsoftware de rangorde opnieuw omgooien.

Voor infrastructuurteams is de nuttigste conclusie daarom niet dat één fabrikant op basis van één headlinecijfer moet worden gekozen. De juiste vergelijking gebruikt het eigen model, de eigen runtime, de eigen contextverdeling en de eigen latencydoelstelling.