AgentX-Benchmark: Nvidia liegt bei KI-Agenten mit langem Kontext deutlich vor AMD

Der offene AgentX-1.0-Benchmark von SemiAnalysis stärkt die These, dass Nvidia bei der Inferenz für KI-Agenten mit sehr langen Kontexten vom Zusammenspiel aus Hardware, CUDA-Ökosystem und Serving-Software profitiert. In den getesteten SGLang-Konfigurationen lag Nvidia bei GLM 5.3 bei der Kosteneffizienz bis zu fünfmal vorn; bei Qwen 3.5 meldete SemiAnalysis bei einem Zielwert von 90 ausgegebenen Tokens pro Sekunde und Nutzer eine mehr als 20-mal höhere Leistung. 26

Das ist ein deutliches Ergebnis, aber kein allgemeingültiges Ranking zugunsten von Nvidia. AgentX misst eine ganz bestimmte Kombination aus Modell, Beschleuniger, Laufzeitumgebung, Workload, Parallelität und Antwortgeschwindigkeit. AMDs MI355X und die ATOM-Serving-Engine waren in einzelnen Konfigurationen konkurrenzfähig oder überlegen. Zudem veränderten Software-Updates die Reihenfolge mancher Systeme. 14

Was AgentX anders macht

AgentX 1.0 ist Teil der Benchmark-Suite InferenceX v3 von SemiAnalysis. Im Unterschied zu klassischen Inferenztests mit festen Eingabe- und Ausgabelängen spielt AgentX mehrteilige Coding-Agent-Sitzungen aus der Praxis ab – mit sehr langen Kontexten von bis zu annähernd einer Million Tokens. 13

Der Datensatz umfasst 393 freiwillig bereitgestellte und anonymisierte Claude-Code-Sitzungen. Berücksichtigt wurden Sitzungen mit mindestens 20 Anfragen. Doppelte Anfragen, bestimmte clientspezifische Aufrufe und rekonstruierte Eingaben mit mehr als 990.000 Tokens wurden entfernt. Eine typische Anfrage enthielt im Median 142.000 Eingabe- und 444 Ausgabetokens; in 44 Prozent der Sitzungen kamen Subagenten zum Einsatz. 8

Dieses Muster ist entscheidend: Coding-Agenten senden bei jeder neuen Runde große Teile eines wachsenden Dialogs oder einer Codebasis erneut. Der Test bewertet daher vor allem dauerhaft interaktives Serving – nicht nur eine einzelne lange Eingabe mit anschließender Textgenerierung.

Wie groß war Nvidias Vorsprung?

Die klarsten Unterschiede zeigten sich bei Vergleichen mit allgemein verfügbaren SGLang-Konfigurationen:

• Bei GLM 5.3 war Nvidia laut SemiAnalysis am getesteten Betriebspunkt bis zu etwa fünfmal kosteneffizienter als AMD. Dazu gehörte ein Zielwert von 150 Ausgabetokens pro Sekunde und Nutzer. 2
• Bei Qwen 3.5 erreichte Nvidia in einem zitierten SGLang-Vergleich bei 90 Ausgabetokens pro Sekunde und Nutzer eine mehr als 20-mal höhere Leistung. 6

Diese Zahlen sind als Vergleiche an bestimmten Betriebspunkten zu verstehen – nicht als ein einziger Wert für eine komplette Produktfamilie. InferenceX berechnet die Kosten anhand des besten beobachteten Serving-Bereichs der jeweiligen Plattform und berücksichtigt dabei das gewünschte Interaktivitätsniveau. 79

Für Betreiber ist das relevant, weil ein Standardtest mit 8.000 Eingabe- und 1.000 Ausgabetokens zentrale Engpässe übersehen kann. Ein Beschleuniger mag bei isolierter Auslastung konkurrenzfähig wirken, aber zurückfallen, sobald viele große, teilweise wiederholte Kontexte gleichzeitig reaktionsschnell verarbeitet werden müssen.

Warum lange Agenten-Kontexte Nvidia entgegenkamen

Hohe Prefix-Cache-Wiederverwendung

In AgentX werden große Teile des Kontexts von einer Anfrage zur nächsten wiederverwendet. SemiAnalysis beschreibt bei diesen Agenten-Traces häufig Prefix- beziehungsweise KV-Cache-Trefferraten von mehr als 95 Prozent. 1

Damit verschiebt sich das Verhältnis zwischen Prefill und Decode: Das System verarbeitet nicht ständig einen komplett neuen Prompt, sondern hält große zwischengespeicherte Zustände vor und erweitert sie, während es vergleichsweise kurze Antworten erzeugt. Das effiziente Speichern, Auffinden, Verschieben und Wiederverwenden dieser Zustände wird damit zum Kernfaktor für Leistung und Kosten.

DRAM-Kapazität hält mehr Zustände im Speicher

Die nutzbare Kapazität des schnellen Grafikspeichers bestimmt, wie viel KV-Cache direkt auf dem Beschleuniger verbleiben kann. Überschreitet der Arbeitssatz den verfügbaren Gerätespeicher, müssen Serving-Systeme Daten gegebenenfalls in den Hauptspeicher auslagern oder Cache-Zustände über langsamere Speicherpfade verwalten. 1

Eine solche Auslagerung kann zwar mehr Sitzungen ermöglichen, verursacht aber zusätzliche Bandbreiten- und Latenzkosten. Wer mehr aktive Cache-Daten im schnellen Speicher halten oder deren Bewegung effizienter steuern kann, erreicht bei gleichen Kosten meist eine bessere Interaktivität.

Tokenisierung wird bei kurzen Antworten zum Faktor

SemiAnalysis hebt außerdem die grenzbewusste inkrementelle Tokenisierung von TensorRT-LLM hervor. Statt den gesamten, fortlaufend veränderten Prompt immer wieder neu zu tokenisieren, erkennt das Verfahren stabile Grenzen und verarbeitet vor allem das neu angehängte Material. 1

Das ist gerade für Coding-Agenten wichtig: Sie arbeiten mit riesigen Kontexten, erzeugen aber oft nur wenige hundert Tokens. In einem solchen Szenario können CPU-Vorverarbeitung und wiederholte Tokenisierung einen spürbaren Anteil des Serving-Aufwands ausmachen.

Die übergeordnete Lehre lautet: Das Preis-Leistungs-Verhältnis bei der Inferenz ist das Ergebnis von Hardware × Laufzeitumgebung × Modell × Workload × Latenzziel. FLOPS, Speicherbandbreite oder ein einzelner Durchsatzwert reichen für eine belastbare Bewertung nicht aus.

AMD erzielt wichtige Gegenresultate

AgentX zeigte keinen pauschalen Nvidia-Sieg. SemiAnalysis meldete für ausgewählte Kombinationen aus Modell, Durchsatz und Serving-Engine deutliche AMD-Erfolge oder nahezu Gleichstand – besonders bei der MI355X in Verbindung mit AMDs ATOM-Engine. 1

Die Telemetrie unterscheidet zwischen MI355X-Ergebnissen mit ATOM, SGLang, vLLM und weiteren Konfigurationen. Diese Trennung ist entscheidend: Ein „AMD-Ergebnis“ hängt stark von der eingesetzten Engine, der Modellimplementierung und der Optimierung ab. 4

ATOMs spezialisiertes Scheduling, Cache-Management und auf AMD zugeschnittene Kernel können sehr gut abschneiden, wenn Modell und Workload zur Speicherkonfiguration der MI355X passen. AMD kann also durchaus wettbewerbsfähig sein – vor allem dann, wenn ein Betreiber bereit ist, eine gezielt für die Plattform optimierte Laufzeitumgebung einzusetzen.

Warum vLLM und SGLang für Käufer wichtiger sind als ein Spezial-Stack

Eine spezialisierte Engine kann zeigen, was eine Hardware unter günstigen Bedingungen leisten kann. Infrastrukturkäufer brauchen jedoch meist mehr als ein Best-Case-Ergebnis: Dazu gehören Modellunterstützung, regelmäßige Releases, Werkzeuge, Know-how für die Bereitstellung und ein langfristig wartbarer Betrieb.

SemiAnalysis erklärt, dass die eigenen Rezepte überwiegend den Empfehlungen der Upstream-Projekte vLLM und SGLang folgen. So soll gemessen werden, was Kunden realistisch einsetzen können – statt sich ausschließlich auf einen benchmark-spezifischen Stack zu stützen. 1

Für die meisten potenziellen AMD-Käufer sind deshalb Ergebnisse mit Upstream-vLLM und -SGLang die relevantere Vergleichsbasis. ATOM bleibt ein wichtiger Beleg dafür, dass AMD-Hardware in einer passenden Softwareumgebung stark performen kann. Das Ergebnis ist aber nicht ohne Weiteres mit der Leistung gleichzusetzen, die über eine verbreitete, allgemein unterstützte Serving-Schicht verfügbar ist.

Das ist eine Frage der Verfügbarkeit und Akzeptanz von Software – kein Urteil, dass ATOM ungültig oder ein Spezial-Stack grundsätzlich wertlos wäre.

Software-Updates können Hardware-Rankings drehen

Der Benchmark zeigt auch, wie schnell Inferenzvergleiche veralten. Die Telemetrie führt eine AMD-MI355X-Konfiguration mit MoRI/SGLang vom 21. August neben anderen AMD-Konfigurationen auf, die an anderen Tagen gemessen wurden. 4

Ein Software-Update vom 21. August veränderte bei mindestens einem Vergleich die Reihenfolge. Verbesserungen bei Scheduling, Kernel, Cache-Bewegungen oder Modellunterstützung können die scheinbare Hardware-Hierarchie also innerhalb weniger Tage verschieben. 14

Auch frühere MI355X-Messungen von SemiAnalysis mit Qwen 3.5 liefern eine ähnliche Warnung: Neue SGLang-Versionen brachten innerhalb von 13 Wochen deutliche Leistungssteigerungen. 12

Wer Beschleuniger vergleicht, sollte deshalb immer die exakte Laufzeitversion, Konfiguration, Modellquantisierung, Parallelität und das Ziel für die Interaktivität dokumentieren. Ein Hardware-Urteil ohne diesen Kontext kann durch die nächste Software-Version bereits irreführend sein.

Aussagekraft und Grenzen

AgentX ist ein wertvoller Proxy für Coding-Agenten mit langem Kontext, aber keine repräsentative Erhebung sämtlicher Produktions-Workloads. Der Datensatz basiert auf einem internen, freiwillig bereitgestellten Trace-Korpus und umfasst 393 ausgewählte Sitzungen – nicht den gesamten Agentenverkehr in Unternehmen. 8

Andere Ergebnisse sind unter anderem bei folgenden Szenarien möglich:

• Chat mit kurzen Kontexten;
• Retrieval-Augmented Generation (RAG);
• Batch-Inferenz;
• Bild- oder Video-Workloads;
• anderen Agenten-Frameworks;
• einer abweichenden Verteilung der Kontextlängen; oder
• anderen Anforderungen an Latenz und Durchsatz.

Google-TPUs fehlten außerdem in diesem ersten Vergleichssatz. AgentX 1.0 kann daher kein vollständiges Dreiwege-Ranking zwischen Nvidia, AMD und Google begründen. 1

Der Vergleich bleibt zudem in Bewegung. SemiAnalysis nennt Nvidia Rubin, AMDs MI455X UALoE72 und neue TPU-Systeme als kommende Ergänzungen oder künftige Vergleichspunkte. Ihre Aufnahme könnte das Wettbewerbsbild verändern. 111

Warum die offene Veröffentlichung wichtig ist

SemiAnalysis hat Datensatz, Harness, Konfigurationen, Telemetrie und zugehörige Materialien unter der Apache-2.0-Lizenz veröffentlicht. 1

Die langfristige Bedeutung von AgentX könnte deshalb über die Schlagzeile „Nvidia gegen AMD“ hinausgehen. SemiAnalysis zufolge war der Benchmark bereits Ziel von mehr als 70 Upstream-Pull-Requests in Projekten wie vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache und Mooncake. 1

Entwickler von Serving-Frameworks erhalten damit eine reproduzierbare Möglichkeit, Software auf realistischeres Agentenverhalten zu optimieren: hohe Prefix-Wiederverwendung, große KV-Caches, viele kurze Interaktionen, Subagenten, Cache-Transfers, Scheduling-Druck und Tokenisierungsaufwand.

Fazit

AgentX liefert starke Argumente dafür, dass Nvidias Software- und Serving-Ökosystem bei der Inferenz für Coding-Agenten mit langem Kontext weiterhin einen großen Vorteil bietet. In den getesteten SGLang-Vergleichen lag Nvidia bei der Kosteneffizienz von GLM 5.3 bis zu fünfmal vorn und bei der Qwen-3.5-Leistung an einem festgelegten Interaktivitätsziel um mehr als 20-mal. 26

Der Benchmark beweist jedoch nicht, dass Nvidia immer gewinnt. AMDs MI355X und ATOM zeigten in ausgewählten, gezielt optimierten Konfigurationen konkurrenzfähige oder bessere Preis-Leistungs-Werte. Gleichzeitig können schnelle Fortschritte bei Serving-Software Rankings umkehren.

Für Infrastrukturteams ist daher nicht die Suche nach einem Sieger anhand einer einzelnen Schlagzeilenzahl entscheidend. Aussagekräftiger ist ein eigener Test mit dem eingesetzten Modell, der tatsächlichen Laufzeitumgebung, der eigenen Kontextverteilung und dem gewünschten Latenzziel.