AgentX ชี้ Nvidia นำ AMD สูงสุด 20 เท่าในงาน AI Agent ที่ใช้บริบทขนาดยาว แต่ AMD ยังมีจุดแข็ง

ผลทดสอบ AgentX 1.0 ของ SemiAnalysis ชี้ว่า ระบบฮาร์ดแวร์และซอฟต์แวร์ที่มี Nvidia CUDA เป็นศูนย์กลางยังได้เปรียบอย่างมากในการให้บริการ AI coding agent ที่ต้องจัดการบริบทขนาดยาวและการสนทนาหลายรอบ

ในชุดการตั้งค่าที่ใช้ SGLang ช่องว่างดังกล่าวสูงถึง ประมาณ 5 เท่าในด้านประสิทธิภาพต่อต้นทุนบน GLM 5.3 และ มากกว่า 20 เท่าในด้านประสิทธิภาพบน Qwen 3.5 ที่เป้าหมายความเร็ว 90 โทเคนเอาต์พุตต่อวินาทีต่อผู้ใช้ 26

อย่างไรก็ตาม นี่ไม่ใช่การจัดอันดับว่า Nvidia เหนือกว่า AMD ในทุกงาน AgentX วัดการทำงานร่วมกันของโมเดล ชิปเร่งความเร็ว รันไทม์ รูปแบบงาน จำนวนผู้ใช้พร้อมกัน และเป้าหมายด้านการตอบสนองที่กำหนดไว้โดยเฉพาะ ผลลัพธ์ของ AMD MI355X และเอนจิน ATOM ยังแข่งขันได้ดีในบางการตั้งค่า และการอัปเดตซอฟต์แวร์ก็ทำให้อันดับของบางระบบเปลี่ยนแปลงได้ 14

AgentX ทดสอบอะไร

AgentX 1.0 เป็นส่วนหนึ่งของชุดทดสอบ InferenceX v3 ของ SemiAnalysis จุดต่างจากการทดสอบ inference ทั่วไปที่ใช้ความยาวอินพุตและเอาต์พุตตายตัว คือ AgentX นำทราฟฟิกจากการใช้งาน coding agent แบบหลายรอบมาเล่นซ้ำ โดยมีบริบทยาวมากและบางสถานการณ์เข้าใกล้ 1 ล้านโทเคน 13

ชุดข้อมูล v1.0 ประกอบด้วย เซสชัน Claude Code แบบไม่เปิดเผยตัวตนจำนวน 393 เซสชัน ซึ่งผู้เข้าร่วมยินยอมให้ใช้ข้อมูล เซสชันที่ผ่านเกณฑ์ต้องมีคำขออย่างน้อย 20 รายการ จากนั้นจึงนำคำขอซ้ำ การเรียกบางประเภทที่เฉพาะกับไคลเอนต์ และอินพุตที่สร้างขึ้นใหม่ซึ่งมีขนาดเกิน 990,000 โทเคนออกไป

คำขอหนึ่งรายการมีอินพุตค่ามัธยฐาน 142,000 โทเคน และเอาต์พุต 444 โทเคน ขณะที่ 44% ของเซสชันมีการใช้ subagent หรือเอเจนต์ย่อย 8

รูปแบบนี้สำคัญเพราะ coding agent จะส่งบทสนทนาและโค้ดเบสที่มีการเปลี่ยนแปลงไปมาในแต่ละคำขออยู่ซ้ำ ๆ การทดสอบจึงเน้นความสามารถในการให้บริการแบบโต้ตอบต่อเนื่อง มากกว่าการวัดจากพรอมป์ยาวเพียงครั้งเดียวแล้วสร้างคำตอบยาว ๆ

Nvidia นำห่างแค่ไหน

ช่องว่างที่ชัดเจนที่สุดปรากฏในการเปรียบเทียบที่ใช้การตั้งค่า SGLang ซึ่งเปิดให้ใช้งานในวงกว้าง

• บน GLM 5.3 SemiAnalysis รายงานว่าฮาร์ดแวร์ Nvidia มีประสิทธิภาพต่อต้นทุนสูงกว่า AMD ได้ประมาณ 5 เท่า ณ จุดการทำงานของ AgentX ที่ทดสอบ รวมถึงเป้าหมาย 150 โทเคนเอาต์พุตต่อวินาทีต่อผู้ใช้ 2
• บน Qwen 3.5 การเปรียบเทียบผ่าน SGLang ที่มีการอ้างถึงรายงานว่า Nvidia ทำประสิทธิภาพได้ มากกว่า 20 เท่า ที่เป้าหมาย 90 โทเคนเอาต์พุตต่อวินาทีต่อผู้ใช้ 6

ตัวเลขเหล่านี้ควรอ่านในฐานะการเปรียบเทียบ ณ จุดการทำงานที่กำหนด ไม่ใช่คะแนนเดียวที่ใช้ตัดสินผลิตภัณฑ์ทั้งตระกูล InferenceX เปรียบเทียบแพลตฟอร์มภายใต้ระดับความเร็วในการโต้ตอบที่กำหนด และคำนวณต้นทุนจากขอบเขตการให้บริการที่สังเกตได้ของแต่ละแพลตฟอร์ม 79

ผลเชิงปฏิบัติคือ การทดสอบแบบอินพุต 8,000 โทเคนและเอาต์พุต 1,000 โทเคนอาจไม่เห็นคอขวดบางอย่างที่มีความสำคัญมากในทราฟฟิกของ Agent เมื่อระบบต้องรักษาบริบทขนาดใหญ่ที่ถูกนำกลับมาใช้ซ้ำบางส่วนให้ตอบสนองได้พร้อมกันหลายเซสชัน ชิปที่ดูสูสีในงานวัด throughput แบบแยกคำขอ อาจตามหลังอย่างมากเมื่ออยู่ในงานจริงลักษณะนี้

เหตุใดงานบริบทขนาดยาวจึงเข้าทางสแต็กของ Nvidia

การใช้ prefix cache ซ้ำในระดับสูงเปลี่ยนลักษณะงาน

งานของ AgentX นำบริบทเดิมจากคำขอหนึ่งไปใช้ต่อในคำขอถัดไปเป็นจำนวนมาก SemiAnalysis ระบุว่า trace ของ agent มีอัตราการใช้ prefix หรือ KV cache ซ้ำบ่อยครั้งสูงกว่า 95% 1

เมื่อเป็นเช่นนี้ ภาระงานไม่ได้อยู่ที่การประมวลผลพรอมป์ใหม่ทั้งหมดทุกครั้ง แต่เป็นการเก็บ รักษา ค้นหา โอนย้าย และนำสถานะขนาดใหญ่ที่แคชไว้กลับมาใช้ พร้อมกับสร้างคำตอบที่มักมีความยาวไม่มาก

ดังนั้น ความสามารถในการจัดการสถานะเหล่านี้จึงมีผลโดยตรงต่อทั้ง throughput ต้นทุน และความลื่นไหลในการโต้ตอบ

ความจุ DRAM กำหนดปริมาณสถานะที่เก็บไว้บนชิป

ความจุหน่วยความจำแบนด์วิดท์สูงที่ใช้งานได้เป็นตัวกำหนดว่า KV cache จะคงอยู่บนตัวเร่งความเร็วได้มากเพียงใด หากชุดข้อมูลที่กำลังใช้งานมีขนาดเกินหน่วยความจำของอุปกรณ์ ระบบอาจต้องย้ายข้อมูลไปยังหน่วยความจำของโฮสต์ หรือจัดการแคชผ่านเส้นทางที่ช้าลง 1

การ offload ไปยังหน่วยความจำโฮสต์ช่วยเพิ่มจำนวนเซสชันที่แพลตฟอร์มรองรับได้ แต่ต้องแลกกับต้นทุนด้านแบนด์วิดท์และเวลาแฝง แพลตฟอร์มที่เก็บแคชที่กำลังใช้งานไว้บนอุปกรณ์ได้มากกว่า หรือจัดการการเคลื่อนย้ายข้อมูลได้มีประสิทธิภาพกว่า จึงมีโอกาสรักษาความเร็วในการตอบสนองได้ดีกว่าที่ต้นทุนเท่ากัน

การแปลงโทเคนมีผลในงานหลายรอบที่เอาต์พุตสั้น

SemiAnalysis ยังชี้ถึงความสามารถของ TensorRT-LLM ในการทำ incremental tokenization แบบรู้ขอบเขต แทนที่จะนำพรอมป์ที่เปลี่ยนแปลงไปเรื่อย ๆ ทั้งชุดมาแปลงเป็นโทเคนซ้ำ ระบบสามารถระบุส่วนที่คงเดิมและประมวลผลเฉพาะข้อมูลที่ถูกเพิ่มเข้ามา 1

การปรับปรุงนี้มีความสำคัญเป็นพิเศษกับ coding agent เพราะคำขออาจมีบริบทขนาดใหญ่มาก แต่สร้างเอาต์พุตเพียงไม่กี่ร้อยโทเคน ในรูปแบบดังกล่าว ภาระงานฝั่ง CPU และการแปลงโทเคนซ้ำอาจกลายเป็นต้นทุนส่วนสำคัญของการให้บริการ

บทเรียนที่กว้างกว่าคือ ประสิทธิภาพต่อต้นทุนของ inference เป็นผลคูณของ ฮาร์ดแวร์ × รันไทม์ × โมเดล × รูปแบบงาน × เป้าหมายเวลาแฝง ไม่สามารถอธิบายได้ครบด้วยจำนวน FLOPS แบนด์วิดท์หน่วยความจำ หรือค่า throughput เพียงตัวเดียว

AMD ยังมีจุดที่ชนะและสูสี

AgentX ไม่ได้แสดงภาพว่า Nvidia ชนะ AMD แบบขาดลอยทุกกรณี SemiAnalysis รายงานว่า AMD มีผลลัพธ์ที่ชนะหรือใกล้เคียงในบางชุดการเปรียบเทียบ โดยเฉพาะ MI355X ที่ทำงานร่วมกับเอนจิน ATOM ของ AMD 1

ข้อมูล telemetry แยกผลของ MI355X ที่ใช้ ATOM, SGLang, vLLM และการตั้งค่าอื่น ๆ ออกจากกัน ความแตกต่างนี้มีความสำคัญ เพราะคำว่า “ผลลัพธ์ของ AMD” ขึ้นอยู่มากกับเอนจินเสิร์ฟโมเดล การนำโมเดลไปใช้งาน และการปรับแต่งที่เลือกใช้ 4

ATOM มีระบบจัดตารางงาน การจัดการแคช และเคอร์เนลที่ออกแบบโดยเน้นแพลตฟอร์ม AMD จึงทำผลงานได้ดีเมื่อโมเดลและรูปแบบงานสอดคล้องกับการจัดวางหน่วยความจำของ MI355X กล่าวอีกอย่างคือ AMD สามารถแข่งขันได้มาก หากผู้ให้บริการยอมเลือกใช้รันไทม์ที่ปรับแต่งมาเฉพาะสำหรับแพลตฟอร์ม

เหตุใด vLLM และ SGLang รุ่น upstream จึงสำคัญกับผู้ซื้อส่วนใหญ่

เอนจินเฉพาะทางช่วยแสดงให้เห็นว่าฮาร์ดแวร์ทำอะไรได้บ้างภายใต้เงื่อนไขที่เหมาะสม แต่ผู้ซื้อโครงสร้างพื้นฐานมักต้องพิจารณามากกว่าผลลัพธ์ของเคอร์เนลที่ดีที่สุดเพียงจุดเดียว ทั้งการรองรับโมเดล ความถี่ในการออกรุ่น เครื่องมือ ความเชี่ยวชาญด้านการติดตั้ง และแนวทางดูแลระบบในระยะยาว

SemiAnalysis ระบุว่าสูตรการทดสอบส่วนใหญ่ยึดตามคำแนะนำของ vLLM และ SGLang รุ่น upstream เพื่อวัดการตั้งค่าที่ลูกค้าสามารถนำไปใช้งานได้จริง ไม่ได้พึ่งพาเพียงสแต็กที่สร้างขึ้นเฉพาะสำหรับการทดสอบ 1

ด้วยเหตุนี้ สำหรับผู้ที่กำลังพิจารณา AMD การเปรียบเทียบที่เกี่ยวข้องกับการตัดสินใจมากกว่าคือผลบน vLLM และ SGLang รุ่น upstream ไม่ใช่เฉพาะผลสูงสุดจากเอนจินเฉพาะทางอย่าง ATOM

นี่เป็นความแตกต่างด้านการนำไปใช้งานและความพร้อมของซอฟต์แวร์ ไม่ใช่การบอกว่า ATOM ใช้ไม่ได้หรือเอนจินเฉพาะทางไม่มีคุณค่า ATOM ยังคงเป็นหลักฐานว่า AMD สามารถทำประสิทธิภาพได้ดีในสภาพแวดล้อมซอฟต์แวร์ที่เหมาะสม เพียงแต่ผลดังกล่าวไม่ควรถูกนำไปเทียบแทนผลที่ได้จากเลเยอร์เสิร์ฟมาตรฐานซึ่งมีผู้ใช้งานในวงกว้างกว่า

ซอฟต์แวร์อาจเปลี่ยนอันดับฮาร์ดแวร์ได้ในเวลาไม่กี่วัน

ผลทดสอบนี้ยังแสดงให้เห็นว่าการเปรียบเทียบ inference มีอายุสั้น ข้อมูล telemetry ระบุการตั้งค่า AMD MI355X MoRI/SGLang ที่ลงวันที่ 21 สิงหาคม ควบคู่กับการตั้งค่า AMD อื่น ๆ ที่วัดในวันต่างกัน 4

การอัปเดตซอฟต์แวร์ในวันที่ 21 สิงหาคมทำให้อันดับของการเปรียบเทียบอย่างน้อยหนึ่งรายการเปลี่ยนไป สะท้อนว่าการปรับปรุงระบบจัดตาราง เคอร์เนล การเคลื่อนย้ายแคช และการรองรับโมเดล สามารถทำให้ลำดับความสามารถของฮาร์ดแวร์เปลี่ยนได้ภายในเวลาเพียงไม่กี่วัน 14

งานก่อนหน้าของ SemiAnalysis เกี่ยวกับ MI355X และ Qwen 3.5 ก็ให้บทเรียนในทิศทางเดียวกัน โดย SGLang รุ่นใหม่ที่ออกต่อเนื่องทำให้ประสิทธิภาพเพิ่มขึ้นอย่างมากในช่วง 13 สัปดาห์ 12

สำหรับผู้ซื้อ ข้อสรุปเชิงปฏิบัติคือควรบันทึกรุ่นของรันไทม์ การตั้งค่า quantization ของโมเดล ช่วงจำนวนผู้ใช้พร้อมกัน และเป้าหมายด้านการโต้ตอบให้ครบถ้วนเมื่อเปรียบเทียบตัวเร่งความเร็ว การตัดสินฮาร์ดแวร์โดยไม่ระบุบริบทเหล่านี้อาจกลายเป็นข้อสรุปที่ทำให้เข้าใจผิดเมื่อซอฟต์แวร์พัฒนาต่อ

ข้อจำกัดสำคัญของผลลัพธ์

AgentX เป็นตัวแทนที่มีประโยชน์สำหรับงาน coding agent ที่ใช้บริบทขนาดยาว แต่ไม่ใช่ตัวอย่างที่ครอบคลุมงาน production ทุกประเภท ชุดข้อมูลมาจากคลัง trace ภายในที่ผู้เข้าร่วมเลือกให้ใช้ และมี 393 เซสชันที่ผ่านการคัดเลือก ไม่ใช่ข้อมูลทั้งหมดจากการใช้งาน agent ในองค์กร 8

ผลลัพธ์อาจแตกต่างกันในงานต่อไปนี้

• แชตที่ใช้บริบทสั้น
• Retrieval-augmented generation หรือ RAG
• Inference แบบประมวลผลเป็นชุด
• งานภาพหรือวิดีโอ
• เฟรมเวิร์กของ Agent ประเภทอื่น
• การกระจายความยาวบริบทที่แตกต่างกัน
• ข้อกำหนดด้านเวลาแฝงและ throughput ที่แตกต่างกัน

นอกจากนี้ ผลเปรียบเทียบชุดแรกยังไม่มี Google TPU จึงไม่สามารถใช้ AgentX v1.0 สรุปการแข่งขันแบบสามฝ่ายระหว่าง Nvidia, AMD และ Google ได้ 1

การเปรียบเทียบยังเปลี่ยนแปลงได้ตลอดเวลา โดย SemiAnalysis ระบุว่า Nvidia Rubin, AMD MI455X UALoE72 และระบบ TPU รุ่นใหม่เป็นผลิตภัณฑ์หรือแพลตฟอร์มที่จะเข้ามาเพิ่มในอนาคต การนำระบบเหล่านี้เข้ามาทดสอบอาจเปลี่ยนภาพการแข่งขันได้ 111

เหตุใดการเปิดซอร์สจึงมีความสำคัญ

SemiAnalysis เปิดเผยชุดข้อมูล AgentX, harness, การตั้งค่า และข้อมูล telemetry ที่เกี่ยวข้องภายใต้ใบอนุญาต Apache 2.0 1

ความสำคัญในระยะยาวของ AgentX อาจไม่ได้อยู่ที่พาดหัวข่าว Nvidia เทียบกับ AMD เพียงอย่างเดียว แต่อยู่ที่การสร้างโจทย์วิศวกรรมซึ่งผู้พัฒนาเซิร์ฟเวอร์ inference สามารถนำไปปรับปรุงร่วมกันได้

SemiAnalysis รายงานว่า AgentX กลายเป็น workload เป้าหมายของ pull request ในโครงการ upstream แล้วมากกว่า 70 รายการ ครอบคลุม vLLM, SGLang, TensorRT-LLM, ATOM, AITER, Dynamo, LMCache และ Mooncake 1

นั่นทำให้ผู้พัฒนาเฟรมเวิร์กมีวิธีที่ทำซ้ำได้ในการปรับปรุงระบบให้เข้ากับพฤติกรรมของ Agent จริง ทั้งการใช้ prefix cache ซ้ำ การถ่ายโอนและ offload KV cache การจัดตารางงาน แรงกดดันจากการให้บริการหลายรอบ และต้นทุนการแปลงโทเคน

สรุป

AgentX ทำให้ข้อสรุปที่ว่า ระบบซอฟต์แวร์และการให้บริการของ Nvidia ยังคงเป็นข้อได้เปรียบสำคัญในงาน inference สำหรับ coding agent ที่ใช้บริบทขนาดยาวมีน้ำหนักมากขึ้น ในการเปรียบเทียบผ่าน SGLang ที่ทดสอบ SemiAnalysis รายงานว่า Nvidia นำ AMD สูงสุดประมาณ 5 เท่าด้านประสิทธิภาพต่อต้นทุนบน GLM 5.3 และมากกว่า 20 เท่าด้านประสิทธิภาพบน Qwen 3.5 ณ เป้าหมายการโต้ตอบที่กำหนด 26

แต่ผลทดสอบไม่ได้พิสูจน์ว่า Nvidia ชนะเสมอไป MI355X และ ATOM ของ AMD แสดงให้เห็นว่ายังสามารถทำประสิทธิภาพต่อต้นทุนได้ดีหรือดีกว่าในบางการตั้งค่าที่ออกแบบมาเฉพาะ ขณะเดียวกัน การปรับปรุงซอฟต์แวร์อย่างรวดเร็วยังสามารถพลิกอันดับได้

สำหรับทีมโครงสร้างพื้นฐาน ข้อสรุปที่มีประโยชน์ที่สุดจึงไม่ใช่การเลือกผู้ชนะจากตัวเลขพาดหัวเดียว แต่คือการนำการทดสอบกลับไปทำซ้ำด้วยโมเดล รันไทม์ การกระจายความยาวบริบท และเป้าหมายเวลาแฝงที่ตรงกับการใช้งานจริงขององค์กร