AgentX cho thấy Nvidia dẫn trước AMD trong AI agent ngữ cảnh dài

Benchmark AgentX 1.0 của SemiAnalysis cho thấy hệ sinh thái phần cứng và phần mềm xoay quanh CUDA vẫn mang lại lợi thế đáng kể cho Nvidia khi chạy các tác vụ coding agent đa lượt, ngữ cảnh rất dài. Trong những cấu hình SGLang được kiểm thử, Nvidia đạt hiệu quả chi phí cao hơn AMD tới 5 lần trên GLM 5.3 và hiệu năng cao hơn hơn 20 lần trên Qwen 3.5 ở mục tiêu 90 token đầu ra mỗi giây mỗi người dùng. 26

Tuy nhiên, đây không phải bảng xếp hạng tuyệt đối giữa Nvidia và AMD. AgentX đo một tổ hợp cụ thể gồm mô hình, bộ tăng tốc, runtime, loại workload, mức đồng thời và yêu cầu độ phản hồi. MI355X của AMD, đặc biệt khi kết hợp với engine ATOM, vẫn cho kết quả cạnh tranh trong một số cấu hình; ngoài ra, các bản cập nhật phần mềm cũng có thể làm thay đổi thứ tự giữa các hệ thống. 14

AgentX đã kiểm thử điều gì?

AgentX 1.0 là một phần của bộ benchmark InferenceX v3 của SemiAnalysis. Khác với các bài đo suy luận truyền thống dùng độ dài prompt và đầu ra cố định, AgentX phát lại lưu lượng thực tế từ các phiên coding agent đa lượt, với ngữ cảnh có thể tiến gần 1 triệu token. 13

Bộ dữ liệu v1.0 gồm 393 phiên Claude Code được người dùng cho phép thu thập và đã ẩn danh. Các phiên hợp lệ phải có ít nhất 20 yêu cầu; dữ liệu sau đó được xử lý để loại bỏ yêu cầu trùng lặp, một số lệnh riêng của ứng dụng khách và các đầu vào được tái dựng dài hơn 990.000 token. Một yêu cầu điển hình có 142.000 token đầu vào và 444 token đầu ra, trong khi 44% số phiên có sử dụng agent con. 8

Mô hình lưu lượng này quan trọng vì coding agent liên tục gửi lại các phiên bản đang thay đổi của một cuộc hội thoại hoặc một cơ sở mã lớn. Do đó, benchmark tập trung vào khả năng phục vụ tương tác liên tục, thay vì chỉ đo một prompt dài rồi tạo ra một câu trả lời dài.

Nvidia dẫn trước bao xa?

Lợi thế rõ nhất của Nvidia xuất hiện trong các so sánh dùng cấu hình SGLang phổ biến hơn:

• Với GLM 5.3, SemiAnalysis báo cáo phần cứng Nvidia có hiệu quả chi phí cao hơn AMD khoảng 5 lần tại điểm vận hành AgentX được thử nghiệm, trong đó có mục tiêu 150 token đầu ra mỗi giây mỗi người dùng. 2
• Với Qwen 3.5, một so sánh SGLang được trích dẫn cho thấy Nvidia đạt hiệu năng cao hơn 20 lần ở mục tiêu 90 token đầu ra mỗi giây mỗi người dùng. 6

Các con số này nên được hiểu là so sánh tại một điểm vận hành cụ thể, không phải điểm số tổng quát cho toàn bộ dòng sản phẩm. InferenceX so sánh các nền tảng ở những mức độ tương tác nhất định và tính chi phí dựa trên vùng phục vụ tốt nhất được quan sát ở từng nền tảng. 79

Hệ quả thực tế là một bài test cố định kiểu 8k token đầu vào và 1k token đầu ra có thể bỏ qua những nút thắt quyết định trong lưu lượng agent đa lượt. Một bộ tăng tốc có thể trông rất mạnh khi đo thông lượng riêng lẻ, nhưng lại hụt hơi khi phải đồng thời duy trì nhiều ngữ cảnh lớn, có phần trùng lặp và vẫn phản hồi nhanh.

Vì sao workload ngữ cảnh dài có lợi cho hệ sinh thái Nvidia?

Tái sử dụng prefix cache làm thay đổi bài toán

Các workload AgentX tái sử dụng phần lớn ngữ cảnh từ yêu cầu này sang yêu cầu tiếp theo. SemiAnalysis cho biết tỷ lệ trúng prefix cache, hay KV cache, thường vượt 95% trong những dấu vết agent được phân tích. 1

Điều này làm thay đổi sự cân bằng giữa hai giai đoạn prefill và decode. Hệ thống không phải xử lý một prompt hoàn toàn mới ở mỗi lượt; thay vào đó, nó phải duy trì, tìm kiếm, truyền và mở rộng những trạng thái đã được lưu trong cache, rồi chỉ tạo ra các câu trả lời tương đối ngắn.

Dung lượng DRAM quyết định lượng trạng thái có thể giữ lại

Dung lượng bộ nhớ băng thông cao khả dụng quyết định bao nhiêu trạng thái KV cache có thể nằm thường trực trên bộ tăng tốc. Khi working set vượt quá bộ nhớ thiết bị, hệ thống phục vụ có thể phải chuyển dữ liệu sang bộ nhớ máy chủ hoặc quản lý cache qua một đường truyền chậm hơn. 1

Offload sang bộ nhớ máy chủ giúp mở rộng số phiên có thể hỗ trợ, nhưng phải trả giá bằng băng thông và độ trễ. Nền tảng giữ được nhiều cache hoạt động hơn trên thiết bị, hoặc quản lý việc di chuyển dữ liệu hiệu quả hơn, sẽ dễ duy trì mức độ tương tác cao với cùng một ngân sách hơn.

Tokenization cũng trở thành chi phí đáng kể

SemiAnalysis đồng thời nhấn mạnh cơ chế incremental tokenization nhận biết ranh giới của TensorRT-LLM. Thay vì liên tục token hóa lại toàn bộ prompt đang thay đổi, phương pháp này nhận diện các ranh giới ổn định và chỉ xử lý phần nội dung mới được nối thêm. 1

Tối ưu hóa này đặc biệt phù hợp với coding agent: yêu cầu có thể chứa hàng trăm nghìn token nhưng chỉ tạo ra vài trăm token. Trong mô hình nhiều lượt và đầu ra ngắn như vậy, tiền xử lý phía CPU cùng việc token hóa lặp lại có thể chiếm một phần đáng kể chi phí phục vụ.

Bài học rộng hơn là hiệu quả giá trên hiệu năng của suy luận được quyết định bởi tổ hợp phần cứng × runtime × mô hình × workload × mục tiêu độ trễ. Chỉ nhìn vào FLOPS, băng thông bộ nhớ hoặc một con số thông lượng đơn lẻ là chưa đủ.

AMD vẫn có những điểm thắng quan trọng

AgentX không cho thấy Nvidia thắng trong mọi trường hợp. SemiAnalysis ghi nhận AMD có những kết quả thắng hoặc gần ngang bằng ở một số tổ hợp mô hình, thông lượng và engine, nổi bật là MI355X kết hợp với engine ATOM của AMD. 1

Dữ liệu telemetry tách riêng kết quả MI355X chạy trên ATOM, SGLang, vLLM và các cấu hình khác. Đây là khác biệt quan trọng: một “kết quả của AMD” phụ thuộc rất lớn vào engine phục vụ, cách triển khai mô hình và mức độ tinh chỉnh trong bài test. 4

Lịch lập lịch chuyên biệt, cơ chế xử lý cache và các kernel tối ưu cho AMD giúp ATOM hoạt động tốt khi mô hình và workload phù hợp với cấu hình bộ nhớ của MI355X. Nói cách khác, AMD hoàn toàn có thể cạnh tranh mạnh nếu đơn vị vận hành sẵn sàng dùng một runtime được tối ưu riêng cho nền tảng này.

Vì sao vLLM và SGLang upstream quan trọng hơn với phần lớn người mua?

Một engine chuyên biệt có thể cho thấy giới hạn phần cứng trong điều kiện thuận lợi. Nhưng các doanh nghiệp mua hạ tầng thường cần nhiều hơn một kết quả kernel tốt nhất. Họ còn cần độ bao phủ mô hình, tốc độ phát hành, công cụ, năng lực triển khai và một quy trình vận hành có thể duy trì lâu dài.

SemiAnalysis cho biết các công thức triển khai của họ chủ yếu bám theo hướng dẫn của vLLM và SGLang upstream để đo những cấu hình mà khách hàng có thể triển khai thực tế, thay vì chỉ dựa vào một stack được thiết kế riêng cho benchmark. 1

Vì vậy, với phần lớn khách hàng đang cân nhắc AMD, phép so sánh đáng quan tâm hơn là hiệu năng trên vLLM và SGLang upstream — những lớp phục vụ phổ biến hơn, có hệ sinh thái mô hình và quy trình vận hành quen thuộc — chứ không chỉ là kết quả tốt nhất của ATOM.

Đây là khác biệt về mức độ phổ biến và khả năng cung cấp phần mềm, không phải tuyên bố rằng ATOM không hợp lệ hay runtime chuyên biệt không có giá trị.

Một bản cập nhật phần mềm có thể đảo ngược thứ hạng

Benchmark cũng cho thấy các so sánh suy luận có thể lỗi thời rất nhanh. Telemetry bao gồm một cấu hình AMD MI355X MoRI/SGLang được ghi nhận ngày 21 tháng 8, bên cạnh các cấu hình AMD khác được đo vào những ngày khác. 4

Một bản cập nhật phần mềm ngày 21 tháng 8 đã làm thay đổi thứ tự trong ít nhất một phép so sánh. Điều này minh họa cách cải tiến về lập lịch, kernel, di chuyển cache hoặc hỗ trợ mô hình có thể làm thay đổi thứ hạng phần cứng chỉ trong vài ngày. 14

Các kết quả trước đó của SemiAnalysis trên MI355X với Qwen 3.5 cũng đưa ra cảnh báo tương tự: những bản phát hành SGLang liên tiếp đã tạo ra mức tăng hiệu năng lớn trong khoảng 13 tuần. 12

Với các đội ngũ hạ tầng, kết luận thực tế là phải ghi lại chính xác phiên bản runtime, cấu hình, dạng lượng tử hóa của mô hình, khoảng mức đồng thời và mục tiêu tương tác khi so sánh các bộ tăng tốc. Một phán quyết về phần cứng thiếu những thông tin này rất dễ trở nên sai lệch khi phần mềm tiếp tục được cải thiện.

Những giới hạn cần lưu ý

AgentX là đại diện hữu ích cho workload coding agent ngữ cảnh dài, nhưng không phải cuộc điều tra toàn diện về mọi workload sản xuất. Bộ dữ liệu xuất phát từ một kho dấu vết nội bộ, người dùng tự nguyện tham gia, và chỉ gồm 393 phiên được tuyển chọn — không phải toàn bộ lưu lượng agent doanh nghiệp. 8

Kết quả có thể khác với:

• Chat ngữ cảnh ngắn;
• RAG, tức sinh nội dung có tăng cường truy xuất;
• Suy luận theo lô;
• Workload hình ảnh hoặc video;
• Các framework agent khác;
• Phân bố độ dài ngữ cảnh khác; hoặc
• Yêu cầu khác về độ trễ và thông lượng.

Google TPU cũng chưa xuất hiện trong tập kết quả so sánh ban đầu, vì vậy AgentX v1.0 chưa thể đưa ra kết luận ba bên giữa Nvidia, AMD và Google. 1

Cuộc đua này còn tiếp tục thay đổi. SemiAnalysis cho biết Nvidia Rubin, AMD MI455X UALoE72 và các thế hệ TPU mới hơn sẽ được bổ sung hoặc trở thành những mốc so sánh trong tương lai. Sự xuất hiện của chúng có thể làm thay đổi bức tranh cạnh tranh. 111

Ý nghĩa của việc phát hành mã nguồn mở

SemiAnalysis đã phát hành bộ dữ liệu AgentX, harness, cấu hình, telemetry và các tài liệu liên quan theo giấy phép Apache 2.0. 1

Giá trị dài hạn của AgentX có thể không chỉ nằm ở một tiêu đề Nvidia đấu AMD, mà còn ở công việc kỹ thuật mà benchmark này thúc đẩy. SemiAnalysis cho biết AgentX đã trở thành workload mục tiêu của hơn 70 pull request upstream trên các dự án như vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache và Mooncake. 1

Điều đó tạo ra một cách tái lập để các nhà phát triển framework tối ưu cho hành vi thực tế của agent: tái sử dụng prefix ở mức cao, cache KV lớn, nhiều lượt ngắn, agent con, truyền cache, áp lực lập lịch và chi phí tokenization.

Kết luận

AgentX củng cố nhận định rằng phần mềm và hệ sinh thái phục vụ của Nvidia vẫn là lợi thế lớn trong suy luận cho coding agent ngữ cảnh dài. Trong các so sánh SGLang được thử nghiệm, Nvidia có lợi thế được báo cáo lên tới 5 lần về hiệu quả chi phí trên GLM 5.3 và hơn 20 lần về hiệu năng trên Qwen 3.5 tại các mục tiêu tương tác cụ thể. 26

Nhưng benchmark này không chứng minh Nvidia luôn thắng. MI355X và ATOM của AMD cho thấy mức giá trên hiệu năng cạnh tranh, thậm chí tốt hơn, trong một số cấu hình được tối ưu riêng; đồng thời, các cải tiến nhanh của phần mềm phục vụ có thể đảo ngược thứ hạng.

Với các đội ngũ hạ tầng, kết luận hữu ích nhất không phải là chọn người thắng dựa trên một con số nổi bật, mà là tái tạo phép so sánh bằng chính mô hình, runtime, phân bố ngữ cảnh và mục tiêu độ trễ của mình.