Nvidia dominerar första agent-AI-testet: upp till 20 gånger fler agenter per megawatt

Vad AA-AgentPerf faktiskt mäter

AA-AgentPerf är den första öppna, leverantörsoberoende hårdvarubenchmarken som är särskilt utformad för agentiska AI-inferensarbetsbelastningar – alltså inte traditionella enstaka chattkompletteringar .

Benchmarket mäter hur många samtidiga AI-kodningsagenter ett inferenssystem kan understödja samtidigt som det uppfyller definierade servicenivåmål (SLO:er) för output-token-hastighet och time-to-first-token (TTFT). Underlaget kommer från verkliga kodningsagentbanor hämtade från publika repositories i över 12 programmeringsspråk. Dessa banor kedjar samman flera LLM-anrop, verktygsanrop (simulerade med representativa CPU-fördröjningar) och växande kontextfönster . Resultaten normaliseras både per accelerator och per megawatt .

AgentPerf är alltså ett försök att gå bortom syntetiska enstaka frågor och i stället mäta hur infrastrukturen presterar under den typ av komplexa, mångstegsarbetsbelastningar som kännetecknar agent-AI i praktiken.

Nvidias resultat i första omgången

Den 12 juni 2026 publicerade Artificial Analysis de första resultaten från AgentPerf. Nvidia dominerade testet på flera punkter:

• Högst prestanda för GB300 NVL72 (Blackwell Ultra) bland alla testade plattformar på arbetsbelastningen DeepSeek V4 Pro, en stor mixture-of-experts-modell (MoE) som representerar de ledande modellerna för dagens mest kapabla agenter .
• Upp till 20 gånger fler samtidiga agenter per megawatt jämfört med föregående generation Nvidia HGX H200 (Hopper), både vid servicenivån 20 tokens/s och 60 tokens/s .
• Rå genomströmningsdata från Artificial Analysis inlägg på sociala medier visar att en GB300-konfiguration i rack-skala med disaggregerad arkitektur nådde 61 340 samtidiga agenter vid den enklaste SLO-nivån (20 tokens/s, 10s TTFT) .

För perspektiv: I samma test nådde en enskild B300-nod (disaggregerad) 21 053 agenter per megawatt, medan AMD:s MI355X nådde 3 551 och föregående generation H200 stannade på 2 594 .

Hur detta passar in i Nvidias bredare strategi

Dessa resultat är inte en isolerad händelse. De är en del av en medveten, mångsidig satsning för att etablera Blackwell Ultra som den definitiva plattformen för storskalig agent-AI:

Full-stack-optimering som berättelse

Nvidia tillskriver den stora prestandaökningen till extrem samdesign: NVLink skalar upp och knyter samman 72 GPU:er i ett enhetligt tyg, CUDA-kärnor överlappar kommunikation och beräkning för MoE-modeller, och TensorRT LLM-optimeringar (WideEP/DeepEP, DeepGEMM, fused MoE) upprätthåller effektiviteten även när antalet samtidiga agentsessioner ökar kraftigt .

Förlängd benchmarkdominans

AgentPerf lägger till en agentdimension till Nvidias redan breda svit av MLPerf-resultat. I MLPerf Inference v5.1 satte Blackwell Ultra rekord med 1,4 gånger högre DeepSeek-R1-genomströmning jämfört med Blackwell . I MLPerf Training v5.1 sopade Nvidia hem alla sju benchmarktesterna och satte bland annat nytt rekord för Llama 3.1 405B-förträning med 10 minuter på 5 120 Blackwell-GPU:er .

Ekosystembevis

För att visa att plattformen är produktionsredo, inte bara benchmarkstark, lyfter Nvidia fram att partners som Together AI (som driver Cursors agentiska kodning) och DeepInfra (som driver Pam.ai:s AI-arbetsstyrka) redan kör agentarbetsbelastningar på Blackwell . Detta är tydliga signaler till marknaden att hårdvaran är redo för skarp drift.

Framåtblickande färdplan

Blogginlägget antyder också nästa steg: nästa generations Vera Rubin-arkitektur, som nu är i produktion, utlovas bli nästa språng för agent-AI-kapacitet . Den tekniska djupdykningen nämner förväntade förbättringar från 50 PFLOPS NVFP4-beräkningskraft och förbättrad acceleration av LLM-verktygsanrop .

Vad detta betyder för svenska AI-utvecklare

För svenska företag och organisationer som bygger eller planerar att bygga agentbaserade AI-tjänster – från kodassistenter till autonoma arbetsflöden – är riktningen tydlig. Energieffektivitet per agentuppgift blir en allt viktigare måttstock, särskilt i en svensk kontext där hållbarhetskrav och elpriser gör effekt per megawatt till en direkt ekonomisk faktor. Att infrastruktur nu kan hantera tiotusentals samtidiga agenter med bibehållen svarstid öppnar för helt nya tillämpningar i produktionsskala.