คำตอบเผยแพร่แล้ว16 แหล่งที่มา
MLPerf Inference v6.1: วัด AI Serving ต้องดูทั้งสแตก ไม่ใช่แค่ GPU
AMD ทำตัวเลขอัตราส่งผ่านโทเค็นรวมสูงสุดของรอบนี้ด้วยระบบ Instinct MI355X จำนวน 512 GPU แต่การเทียบผลต้องปรับตามจำนวน GPU โมเดล สถานการณ์ทดสอบ และเงื่อนไขด้านเวลาแฝง NVIDIA นำ Vera Rubin NVL72 เข้าสู่ MLPerf เป็นครั้งแรกในสถานะพรีวิว โดยรายงานอัตราส่งผ่านสูงกว่า GB300 NVL72 ได้สูงสุด 3.7 เท่าบน Qwen3 VL MLCommons เพิ...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- AMD ทำตัวเลขอัตราส่งผ่านโทเค็นรวมสูงสุดของรอบนี้ด้วยระบบ Instinct MI355X จำนวน 512 GPU แต่การเทียบผลต้องปรับตามจำนวน GPU โมเดล สถานการณ์ทดสอบ และเงื่อนไขด้านเวลาแฝง
- NVIDIA นำ Vera Rubin NVL72 เข้าสู่ MLPerf เป็นครั้งแรกในสถานะพรีวิว โดยรายงานอัตราส่งผ่านสูงกว่า GB300 NVL72 ได้สูงสุด 3.7 เท่าบน Qwen3 VL
- MLCommons เพิ่มการทดสอบ RAG แบบ end to end และ Edge Agentic Inference สะท้อนว่าเกณฑ์วัดกำลังขยับจากการตอบพรอมป์ต์ครั้งเดียวไปสู่งาน AI หลายขั้นตอน
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 ไม่ใช่ตารางจัดอันดับว่า GPU ตัวใดเร็วที่สุดเพียงอย่างเดียวอีกต่อไป แต่เป็นภาพสะท้อนว่าโลกของการให้บริการโมเดล AI กำลังเปลี่ยนไป ผลสำคัญของรอบนี้มีตั้งแต่ระบบ AMD Instinct MI355X ขนาด 512 GPU, ผลพรีวิวชุดแรกของ NVIDIA Vera Rubin, การมีตัวเลือกสำหรับงาน inference ที่เข้าถึงได้กว้างขึ้นจาก Intel ไปจนถึงการเพิ่มแบบทดสอบสำหรับ RAG และ AI agent
ข้อสรุปสำคัญสำหรับองค์กรที่กำลังเลือกโครงสร้างพื้นฐาน AI คือ หน่วยที่ควรนำมาเปรียบเทียบไม่ใช่ GPU เดี่ยว ๆ แต่คือระบบ serving ทั้งชุดที่หาใช้ได้จริง และทำงานตามภาระงานกับข้อกำหนดเวลาแฝงที่ต้องการ
AMD ดันประเด็น “สเกลรวม” ด้วย MI355X 512 GPU
ผลงานเด่นของ AMD มาจากระบบ Crusoe ที่ใช้ Instinct MI355X จำนวน 512 GPU ซึ่งทำตัวเลขอัตราส่งผ่านโทเค็นรวมสูงสุดที่รายงานในรอบ v6.1 5 ผลลัพธ์นี้มีความหมายมากกว่าแรงประมวลผลของตัวเร่งเดี่ยว เพราะเป็นการทดสอบ inference แบบกระจายงาน เครือข่าย และการผสานระบบในดีพลอยเมนต์ขนาดใหญ่มาก
อย่างไรก็ดี ตัวเลขจาก 512 GPU ไม่ควรถูกนำไปเทียบตรง ๆ กับระบบหนึ่งแร็กหรือคลัสเตอร์ขนาดเล็กกว่า โดยไม่ปรับตามจำนวน GPU โมเดล สถานการณ์ทดสอบ และข้อกำหนดระดับบริการ เช่น เป้าหมายเวลาแฝง สำหรับฟลีต inference ขนาดใหญ่ อัตราส่งผ่านรวมอาจเป็นตัวชี้วัดที่เหมาะสมกว่า แต่เมื่อต้องตัดสินใจใช้งานจริง ประสิทธิภาพต่อ accelerator ความหนาแน่นต่อแร็ก พลังงาน ความพร้อมของสินค้า และความซับซ้อนในการปฏิบัติการก็สำคัญไม่แพ้กัน
ROCm ทำให้การแข่งขันของ AMD เป็นเรื่องซอฟต์แวร์ด้วย
AMD ระบุว่าฮาร์ดแวร์ MI355X ชุดเดิมทำผลงานสูงขึ้นจากรอบ MLPerf ก่อนหน้า อันเป็นผลจากการปรับแต่ง ROCm นัยสำคัญคือ คอมไพเลอร์ เคอร์เนล runtime ของโมเดล และซอฟต์แวร์สำหรับ serving แบบกระจาย สามารถเพิ่มกำลังใช้งานจริงของฟลีตเดิมได้ โดยไม่ต้องรอเปลี่ยนฮาร์ดแวร์
บริษัทยังตั้งเป้าปล่อย ROCm ทุก 6 สัปดาห์ หากจังหวะการออกซอฟต์แวร์นี้แปรเปลี่ยนเป็นการปรับปรุงที่นำไปใช้งานได้อย่างต่อเนื่อง ความเร็วของซอฟต์แวร์ก็อาจกลายเป็นส่วนสำคัญในการคำนวณต้นทุนต่อโทเค็นของผู้ซื้อได้ แต่ไม่ควรสรุปว่าผลบน MLPerf จะถ่ายทอดสู่ระบบจริงแบบหนึ่งต่อหนึ่ง เพราะยังขึ้นอยู่กับโมเดลที่ใช้ การควอนไทซ์ เฟรมเวิร์ก รูปแบบทราฟฟิก และเป้าหมายเวลาแฝงของแต่ละองค์กร
Vera Rubin ของ NVIDIA ส่งสัญญาณแพลตฟอร์มถัดไป แต่ยังเป็นพรีวิว
NVIDIA Vera Rubin NVL72 ปรากฏใน MLPerf Inference เป็นครั้งแรกในฐานะระบบ พรีวิว โดย NVIDIA รายงานว่าให้ throughput สูงกว่า GB300 NVL72 ได้สูงสุด 3.7 เท่าบน Qwen3-VL และรายงานผลการทดสอบ GB300 NVL72 จำนวน 288 GPU ครอบคลุม 4 แร็ก ที่มีประสิทธิภาพการสเกล 99% 2
คำว่า “พรีวิว” คือเงื่อนไขที่ต้องอ่านควบคู่กับตัวเลข ผลลัพธ์ลักษณะนี้มีประโยชน์ในการบอกทิศทางสถาปัตยกรรมและความพร้อมของซอฟต์แวร์ แต่ยังไม่ใช่การเปรียบเทียบเพื่อจัดซื้อแบบเท่าเทียมกับระบบที่วางจำหน่ายทั่วไป อีกทั้งการส่งผลพรีวิวในรอบนี้ใช้ขนาดคลัสเตอร์ต่างกัน จึงควรดูประสิทธิภาพต่อ GPU หรือค่าที่ปรับมาตราส่วนแล้ว มากกว่าดู throughput รวมเพียงตัวเดียว 8
สำหรับการดีพลอยระยะใกล้ Blackwell และ Blackwell Ultra ยังมีบทบาทหลัก ตัวอย่างเช่น CoreWeave รายงานผลเด่นในกลุ่มผู้ให้บริการคลาวด์บนคอนฟิกูเรชัน Blackwell และ Blackwell Ultra หลายแบบ ครอบคลุมงาน Qwen3-VL, DeepSeek-R1 และ GPT-OSS-120B 4 ภาพที่ได้จึงไม่ใช่การมีผู้ชนะหนึ่งรายสำหรับทุกโจทย์ แต่เป็นการแบ่งตามลักษณะงาน: ความจุรวมของคลัสเตอร์ขนาดใหญ่ การให้บริการระดับแร็ก งานมัลติโหมด และความหน่วงต่ำแบบโต้ตอบ อาจเหมาะกับคอนฟิกูเรชันที่ต่างกัน
Intel เพิ่มภาพของ inference ที่เล็กลงและยืดหยุ่นขึ้น
Intel ขยายขอบเขตฮาร์ดแวร์ inference ที่ปรากฏในผลทดสอบ โดยโหนด Arc Pro B70 แบบ 4 GPU มี VRAM รวม 128 GB และส่งผลสำหรับ Llama, GPT-OSS-120B, Whisper รวมถึงงาน RAG แบบ end-to-end รุ่นใหม่ Intel ยังรายงานว่าระบบ Arc Pro B70 ชุดเดิมทำผลงานดีขึ้นจากรอบก่อนด้วยการพัฒนาซอฟต์แวร์ 3
นี่ไม่ได้หมายความว่า Arc Pro จะมาแทนที่คลัสเตอร์ accelerator ระดับไฮเปอร์สเกล แต่ทำให้ MLPerf สะท้อนทางเลือกขององค์กรที่ต้องการระบบขนาดเล็ก ต้นทุนต่ำกว่า หรือยืดหยุ่นกว่า โดยเฉพาะกรณีที่ต้องคำนึงถึงหน่วยความจำ การรันโมเดลภายในองค์กร หรือการใช้ประโยชน์จากโครงสร้างเซิร์ฟเวอร์เดิม
เพิ่ม RAG และ Agentic AI: เกณฑ์วัดเข้าใกล้งานจริงขึ้น
MLCommons ระบุว่ารอบ v6.1 มีองค์กรส่งผลทดสอบสูงสุดเป็นประวัติการณ์ 30 แห่ง และมีผลลัพธ์จากดาต้าเซ็นเตอร์กับอุปกรณ์เอดจ์รวม 486 รายการ พร้อมเพิ่มแบบทดสอบ RAG สำหรับดาต้าเซ็นเตอร์แบบ end-to-end และ Edge Agentic Inference 9
การเปลี่ยนแปลงนี้สำคัญ เพราะแอปพลิเคชัน AI ที่ทำงานเป็น agent ไม่ได้เป็นเพียงการรับพรอมป์ต์แล้วตอบครั้งเดียว แต่มีการโต้ตอบหลายรอบ เรียกใช้เครื่องมือ และมีค่าใช้จ่ายจากการจัดลำดับงานระหว่างขั้นตอน ซึ่งอาจเป็นคอขวดที่การทดสอบ throughput โทเค็นแบบออฟไลน์ทั่วไปมองไม่เห็น MLCommons อธิบายว่าเกณฑ์บนเอดจ์ตั้งใจสะท้อนงานหลายรอบที่ซับซ้อน เช่น agentic coding 9
แน่นอนว่าแบบทดสอบเหล่านี้ยังเป็นสภาพแวดล้อมควบคุม ไม่ใช่ตัวแทนสมบูรณ์ของบริการ production แต่ถือเป็นก้าวที่ทำให้การประเมินใกล้เคียงกับเวิร์กโหลดที่หลายทีมกำลังพยายามนำไปใช้งานจริงมากขึ้น
MLPerf Endpoints อาจเปลี่ยนวิธีวัดการให้บริการ AI
MLCommons ยังพรีวิวแนวคิด MLPerf Endpoints ซึ่งชี้ไปยังความต่างระหว่างการส่งผลเบนช์มาร์กเป็นรอบ ๆ กับการสังเกตประสิทธิภาพของ endpoint ที่ให้บริการอยู่จริง หากโครงการนี้พัฒนาเต็มรูปแบบ การประเมินอาจให้น้ำหนักกับพฤติกรรมเมื่อมีโหลดเข้ามา ความสม่ำเสมอของเวลาแฝง ความพร้อมใช้งาน และความทำซ้ำได้ในการปฏิบัติการ มากกว่าค่าสูงสุดจากการรันเบนช์มาร์กแบบกำหนดเงื่อนไขตายตัว
ในตอนนี้ควรมองว่าเป็นทิศทางการวัดผลที่กำลังก่อตัว ไม่ใช่ระบบทดแทนกระบวนการส่งผลเดิมที่สรุปแล้ว แต่ผล v6.1 เองก็ชี้ชัดว่าคุณภาพการดีพลอยไม่ได้ตัดสินด้วยตัวเลข tokens per second สูงสุดเพียงค่าเดียว
บทเรียนสำหรับผู้ซื้อ: เปรียบเทียบทั้งสแตก ไม่ใช่พาดหัวผลทดสอบ
MLPerf v6.1 แสดงให้เห็นว่าการแข่งขันด้าน inference ถูกกำหนดร่วมกันโดย 3 ปัจจัย ได้แก่ ความสามารถของ accelerator การพัฒนาซอฟต์แวร์ และการผสานระบบ AMD แสดงความสำคัญของการสเกลด้วย MI355X ขนาดใหญ่ ขณะที่ Vera Rubin เป็นสัญญาณของก้าวถัดไปจาก NVIDIA และ Blackwell ยังตอบโจทย์การใช้งานปัจจุบัน ส่วน Intel ทำให้ตัวเลือกสำหรับระบบขนาดเล็กปรากฏชัดขึ้น ขณะที่การทดสอบใหม่ของ MLCommons ยอมรับว่า RAG และ agent มีความต้องการด้านประสิทธิภาพที่แตกต่างออกไป
ก่อนเลือกแพลตฟอร์ม ควรเริ่มจากภาระงานและเป้าหมายการปฏิบัติการของตนเอง ได้แก่ โมเดล ความยาวคอนเท็กซ์ จำนวนผู้ใช้พร้อมกัน เป้าหมายเวลาแฝง งบพลังงาน ขนาดดีพลอยเมนต์ และต้นทุนต่อผลลัพธ์ที่ใช้งานได้ จากนั้นจึงเปรียบเทียบระบบที่มีขนาดและสถานะความพร้อมใช้งานเทียบเคียงกัน วิธีนี้มีประโยชน์กว่าการใช้พาดหัวผล MLPerf รายการใดรายการหนึ่งเป็นคำตอบตายตัว
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "MLPerf Inference v6.1: วัด AI Serving ต้องดูทั้งสแตก ไม่ใช่แค่ GPU" คืออะไร
AMD ทำตัวเลขอัตราส่งผ่านโทเค็นรวมสูงสุดของรอบนี้ด้วยระบบ Instinct MI355X จำนวน 512 GPU แต่การเทียบผลต้องปรับตามจำนวน GPU โมเดล สถานการณ์ทดสอบ และเงื่อนไขด้านเวลาแฝง
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
AMD ทำตัวเลขอัตราส่งผ่านโทเค็นรวมสูงสุดของรอบนี้ด้วยระบบ Instinct MI355X จำนวน 512 GPU แต่การเทียบผลต้องปรับตามจำนวน GPU โมเดล สถานการณ์ทดสอบ และเงื่อนไขด้านเวลาแฝง NVIDIA นำ Vera Rubin NVL72 เข้าสู่ MLPerf เป็นครั้งแรกในสถานะพรีวิว โดยรายงานอัตราส่งผ่านสูงกว่า GB300 NVL72 ได้สูงสุด 3.7 เท่าบน Qwen3 VL
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
MLCommons เพิ่มการทดสอบ RAG แบบ end to end และ Edge Agentic Inference สะท้อนว่าเกณฑ์วัดกำลังขยับจากการตอบพรอมป์ต์ครั้งเดียวไปสู่งาน AI หลายขั้นตอน