Benchmark AgentX Ungkap Keunggulan Besar Nvidia untuk AI Agent Berkonteks Panjang

Benchmark AgentX 1.0 dari SemiAnalysis memperkuat posisi Nvidia dalam melayani AI agent coding dengan konteks sangat panjang. Pada konfigurasi SGLang yang diuji, Nvidia dilaporkan memiliki efisiensi biaya hingga 5× lebih baik pada GLM 5.3 dan performa lebih dari 20× lebih tinggi pada Qwen 3.5 pada target interaktivitas yang ditentukan. 26

Namun, hasil ini bukan berarti Nvidia selalu unggul atas AMD. AgentX mengukur kombinasi yang sangat spesifik: model, akselerator, runtime, pola beban kerja, tingkat konkurensi, serta target kecepatan respons. AMD MI355X dan engine serving ATOM tetap menunjukkan performa kompetitif dalam konfigurasi tertentu, sementara pembaruan perangkat lunak bahkan mengubah urutan beberapa hasil pengujian. 14

Apa yang diuji AgentX?

AgentX 1.0 merupakan bagian dari rangkaian benchmark InferenceX v3 milik SemiAnalysis. Berbeda dari benchmark inferensi konvensional yang menggunakan panjang prompt dan output tetap, AgentX memutar ulang lalu lintas coding agent multi-turn dengan konteks yang sangat panjang—termasuk skenario yang mendekati 1 juta token. 13

Dataset versi 1.0 berisi 393 sesi Claude Code yang dianonimkan dan diikutsertakan secara sukarela. Sesi yang digunakan memiliki sedikitnya 20 permintaan. Data kemudian diproses untuk menghapus permintaan duplikat, panggilan tertentu yang spesifik untuk klien, serta input hasil rekonstruksi yang melebihi 990.000 token. Median setiap permintaan berisi 142.000 token input dan 444 token output, sedangkan 44% sesi melibatkan subagent. 8

Pola ini penting karena coding agent terus mengirim versi percakapan atau basis kode yang telah berubah. Dengan demikian, benchmark ini lebih menilai kemampuan sistem mempertahankan layanan interaktif secara berkelanjutan daripada sekadar mengukur satu prompt panjang dan satu jawaban panjang.

Seberapa besar keunggulan Nvidia?

Keunggulan Nvidia paling jelas terlihat dalam perbandingan yang menggunakan konfigurasi SGLang yang tersedia secara luas:

• Pada GLM 5.3, SemiAnalysis melaporkan hardware Nvidia hingga sekitar 5× lebih efisien dalam biaya dibandingkan AMD pada titik operasi AgentX yang diuji, termasuk target 150 token output per detik per pengguna. 2
• Pada Qwen 3.5, sebuah perbandingan SGLang yang dikutip menunjukkan Nvidia menghasilkan performa lebih dari 20× lebih tinggi pada target 90 token output per detik per pengguna. 6

Angka tersebut sebaiknya dibaca sebagai perbandingan pada titik operasi tertentu, bukan sebagai satu skor yang mewakili seluruh lini produk Nvidia atau AMD. InferenceX membandingkan platform pada tingkat interaktivitas yang ditentukan dan menghitung biaya berdasarkan konfigurasi serving terbaik yang diamati untuk setiap platform. 79

Implikasinya cukup praktis: benchmark dengan format tetap seperti input 8 ribu token dan output 1.000 token dapat melewatkan hambatan yang justru menentukan performa pada lalu lintas agent multi-turn. Sebuah akselerator mungkin terlihat kompetitif dalam throughput terisolasi, tetapi tertinggal ketika harus menjaga banyak konteks besar yang sebagian besar berulang tetap responsif secara bersamaan.

Mengapa beban kerja konteks panjang menguntungkan stack Nvidia?

Penggunaan ulang prefix cache mengubah karakter beban kerja

Beban AgentX menggunakan kembali sebagian besar konteks dari satu permintaan ke permintaan berikutnya. SemiAnalysis menyebut tingkat cache hit pada prefix atau KV cache dalam jejak agent tersebut sering kali berada di atas 95%. 1

Kondisi ini mengubah keseimbangan antara proses prefill dan decode. Sistem tidak terus-menerus memproses prompt yang sepenuhnya baru. Sebaliknya, sistem mempertahankan dan memperluas state yang besar di dalam cache sambil menghasilkan respons yang relatif pendek.

Karena itu, kemampuan menyimpan, menemukan, memindahkan, dan menggunakan kembali state tersebut menjadi faktor utama dalam menentukan throughput sekaligus biaya.

Kapasitas DRAM menentukan seberapa banyak state yang tetap berada di akselerator

Kapasitas memori berkecepatan tinggi yang dapat digunakan menentukan seberapa besar state KV cache yang bisa tetap berada di akselerator. Jika ukuran data kerja melampaui kapasitas memori perangkat, sistem serving mungkin perlu memindahkan data ke memori host atau mengelola cache melalui jalur yang lebih lambat. 1

Pemindahan ke memori host memang dapat memperluas jumlah sesi yang mampu ditangani sebuah platform, tetapi menimbulkan biaya bandwidth dan latensi. Platform yang mampu mempertahankan lebih banyak cache aktif di memori akselerator—atau mengatur perpindahannya dengan lebih efisien—dapat menjaga interaktivitas yang lebih tinggi pada biaya yang sama.

Overhead tokenisasi penting dalam percakapan singkat yang berlangsung berkali-kali

SemiAnalysis juga menyoroti tokenisasi inkremental yang memperhatikan batas konteks di TensorRT-LLM. Alih-alih melakukan tokenisasi ulang terhadap seluruh prompt yang terus berkembang, pendekatan ini mengenali bagian yang stabil dan hanya memproses materi yang baru ditambahkan. 1

Optimasi tersebut sangat relevan untuk coding agent. Permintaan dapat membawa konteks yang sangat besar, tetapi hanya menghasilkan beberapa ratus token. Dalam pola seperti ini, prapemrosesan di CPU dan tokenisasi berulang dapat menjadi bagian yang signifikan dari beban serving.

Pelajaran yang lebih luas adalah bahwa rasio harga terhadap performa inferensi merupakan hasil dari kombinasi hardware × runtime × model × beban kerja × target latensi. FLOPS, bandwidth memori, atau satu angka throughput saja tidak cukup untuk menggambarkan hasil secara utuh.

AMD tetap mencatat kemenangan penting

AgentX tidak menunjukkan kemenangan mutlak Nvidia. SemiAnalysis melaporkan kemenangan atau performa yang mendekati Nvidia untuk AMD dalam sejumlah kombinasi model, throughput, dan engine, terutama ketika MI355X dipasangkan dengan engine serving ATOM milik AMD. 1

Data telemetri memisahkan hasil MI355X untuk ATOM, SGLang, vLLM, dan konfigurasi lainnya. Pembedaan ini penting karena “hasil AMD” sangat bergantung pada engine serving, implementasi model, dan tuning yang digunakan dalam pengujian. 4

Penjadwalan khusus, pengelolaan cache, serta kernel yang dioptimalkan untuk AMD pada ATOM dapat bekerja sangat baik ketika model dan beban kerja sesuai dengan konfigurasi memori MI355X. Dengan kata lain, AMD bisa sangat kompetitif jika operator bersedia menggunakan runtime yang secara khusus dioptimalkan untuk platform tersebut.

Mengapa vLLM dan SGLang upstream lebih relevan bagi pembeli?

Engine khusus dapat menunjukkan kemampuan hardware dalam kondisi yang menguntungkan. Namun, pembeli infrastruktur biasanya membutuhkan lebih dari sekadar hasil kernel terbaik. Mereka juga memerlukan dukungan terhadap berbagai model, siklus rilis, perangkat pengembangan, keahlian deployment, dan jalur operasional yang dapat dipelihara dalam jangka panjang.

SemiAnalysis menyatakan bahwa resep pengujiannya terutama mengikuti panduan upstream vLLM dan SGLang untuk mengukur konfigurasi yang realistis diterapkan pelanggan, bukan hanya stack khusus yang dibuat untuk benchmark. 1

Karena itu, bagi banyak calon pembeli AMD, perbandingan yang lebih relevan adalah hasil pada vLLM dan SGLang upstream. ATOM tetap menjadi bukti penting bahwa hardware AMD dapat memberikan performa kuat dalam lingkungan perangkat lunak yang sesuai, tetapi hasilnya tidak bisa dianggap sama dengan performa yang tersedia melalui lapisan serving upstream yang lebih umum digunakan.

Ini merupakan perbedaan soal adopsi dan ketersediaan perangkat lunak—bukan klaim bahwa ATOM tidak valid atau bahwa runtime khusus tidak memiliki nilai.

Pembaruan software dapat membalikkan peringkat hardware

Benchmark ini juga menunjukkan mengapa perbandingan inferensi cepat menjadi usang. Telemetri mencantumkan konfigurasi AMD MI355X MoRI/SGLang bertanggal 21 Agustus, bersama konfigurasi AMD lain yang diukur pada tanggal berbeda. 4

Sebuah pembaruan perangkat lunak pada 21 Agustus mengubah urutan setidaknya satu perbandingan. Hal ini menunjukkan bahwa peningkatan pada penjadwalan, kernel, perpindahan cache, atau dukungan model dapat mengubah hierarki performa hardware hanya dalam hitungan hari. 14

Riset MI355X sebelumnya dari SemiAnalysis pada Qwen 3.5 memberikan peringatan serupa: rilis SGLang berturut-turut menghasilkan peningkatan performa yang besar dalam periode 13 minggu. 12

Bagi pembeli, kesimpulan praktisnya adalah mencatat versi runtime, konfigurasi, kuantisasi model, rentang konkurensi, serta target interaktivitas secara persis saat membandingkan akselerator. Penilaian hardware tanpa konteks tersebut berisiko menyesatkan ketika perangkat lunak serving terus berkembang.

Batasan penting AgentX

AgentX merupakan proksi yang berguna untuk coding agent berkonteks panjang, tetapi bukan sensus yang mewakili seluruh beban kerja produksi. Dataset ini berasal dari korpus jejak internal yang diikutsertakan secara sukarela dan berisi 393 sesi terpilih, bukan seluruh lalu lintas agent di perusahaan. 8

Hasilnya bisa berbeda untuk:

• Chat dengan konteks pendek;
• Retrieval-augmented generation atau RAG;
• Inferensi batch;
• Beban kerja gambar atau video;
• Framework agent lainnya;
• Distribusi panjang konteks yang berbeda; atau
• Kebutuhan latensi dan throughput yang berbeda.

Google TPU juga belum tercakup dalam hasil perbandingan awal ini. Karena itu, AgentX v1.0 belum dapat menjadi dasar kesimpulan tiga arah antara Nvidia, AMD, dan Google. 1

Perbandingan tersebut juga terus bergerak. SemiAnalysis menyebut Nvidia Rubin, AMD MI455X UALoE72, dan sistem TPU generasi baru sebagai tambahan atau kandidat perbandingan mendatang. Kehadiran sistem-sistem tersebut dapat mengubah peta persaingan. 111

Mengapa rilis open source penting?

SemiAnalysis merilis dataset AgentX, harness, konfigurasi, telemetri, dan materi terkait di bawah lisensi Apache 2.0. 1

Dampak jangka panjang benchmark ini mungkin tidak hanya terletak pada satu berita utama tentang Nvidia versus AMD, tetapi juga pada rekayasa perangkat lunak yang didorongnya. SemiAnalysis melaporkan bahwa AgentX telah menjadi target beban kerja bagi lebih dari 70 pull request upstream pada proyek seperti vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache, dan Mooncake. 1

Hal ini memberi pengembang framework serving cara yang dapat direproduksi untuk mengoptimalkan sistem berdasarkan perilaku agent nyata: penggunaan ulang prefix yang tinggi, cache KV berukuran besar, banyak putaran singkat, subagent, perpindahan cache, tekanan penjadwalan, dan overhead tokenisasi.

Kesimpulan

AgentX memperkuat argumen bahwa ekosistem perangkat lunak dan serving Nvidia masih menjadi keunggulan besar untuk inferensi coding agent berkonteks panjang. Dalam perbandingan SGLang yang diuji, keunggulan Nvidia dilaporkan mencapai 5× dalam efisiensi biaya pada GLM 5.3 dan lebih dari 20× dalam performa pada Qwen 3.5 pada target interaktivitas tertentu. 26

Namun, benchmark ini tidak membuktikan bahwa Nvidia selalu menang. AMD MI355X dan ATOM menunjukkan bahwa rasio harga terhadap performa yang kompetitif—bahkan lebih baik—dimungkinkan dalam konfigurasi khusus. Di saat yang sama, peningkatan cepat pada perangkat lunak serving dapat membalikkan peringkat.

Bagi tim infrastruktur, kesimpulan yang paling berguna bukanlah memilih pemenang berdasarkan satu angka utama. Uji ulang perbandingan dengan model, runtime, distribusi konteks, dan target latensi yang benar-benar digunakan dalam lingkungan mereka sendiri.