NVIDIA กวาดเรียบทุก Benchmark ใน MLPerf Training v6.0 ด้วย Blackwell Ultra พร้อมส่ง DeepSeek-V3 เทรนใน 2 นาที

MLPerf Training v6.0: NVIDIA ทิ้งห่างคู่แข่งแบบไม่เห็นฝุ่น

NVIDIA สร้างประวัติศาสตร์กวาดชัยชนะทุกรายการทดสอบใน MLPerf Training v6.0 ซึ่งเป็นการทดสอบมาตรฐานประสิทธิภาพการเทรน AI จากกลุ่ม MLCommons โดยทำเวลาได้เร็วที่สุดในระดับสเกลใหญ่และมีประสิทธิภาพต่อตัวเร่งความเร็ว (Accelerator) สูงที่สุดในทั้ง 7 เวิร์กโหลด และเป็นผู้ส่งผลทดสอบรายเดียวที่ลงแข่งขันทุกรายการ

---

เจาะลึกเวิร์กโหลด MoE ใหม่: DeepSeek-V3 671B และ GPT-OSS-20B

• MLCommons เพิ่มมาตรฐานการทดสอบ Pretraining แบบ Mixture-of-Experts (MoE) เข้ามา 2 โมเดล ได้แก่ DeepSeek-V3 (พารามิเตอร์รวม 671 พันล้านตัว, เปิดใช้ 37 พันล้านตัวต่อโทเค็น) และ GPT-OSS-20B ที่มีขนาดเล็กกว่า
• NVIDIA เป็นแพลตฟอร์มเดียวที่ส่งผลทดสอบทั้งสองเวิร์กโหลดใหม่ ด้วยระบบ GB300 NVL72 ที่ผ่านการปรับแต่งด้วย Custom Software Stacks, CUDA Graphs และ Advanced MoE Routing
• โมเดล DeepSeek-V3 นั้นมาพร้อมเทคโนโลยีล้ำๆ เช่น Multi-head Latent Attention (MLA), การแบ่ง Expert แบบละเอียด (160 Routed Experts), Multi-token Prediction และ Auxiliary-loss-free load balancing

CoreWeave ทุบสถิติเทรน DeepSeek-V3 ในพริบตา

• CoreWeave สร้างสถิติใหม่ด้วยการเทรนโมเดล DeepSeek-V3 671B เสร็จภายในเวลาเพียง 2.02 นาที บนคลัสเตอร์ GPU NVIDIA GB300 NVL72 จำนวน 8,192 ตัว ซึ่งเป็นคลัสเตอร์ GB300 ที่ใหญ่ที่สุดที่ส่งเข้ามาในรอบนี้ โดยรันบนโครงสร้างพื้นฐานคลาวด์ที่ใช้งานจริง
• นี่คือผลลัพธ์การเทรน DeepSeek-V3 ที่เร็วที่สุดในบรรดาผลทดสอบทั้งหมดที่ส่งเข้ามา โดยได้จากการปรับแต่งประสิทธิภาพเต็มสแตกทั้งระบบเครือข่าย, Orchestration และ Storage

NVIDIA GB300 NVL72 vs. GB200 NVL72: ยกระดับขั้นเทพ

• ระบบ GB300 NVL72 (Blackwell Ultra) มอบความเร็วในการประมวลผลโทเค็นสูงขึ้นถึง 2.77 เท่า เมื่อเทียบกับ GB200 NVL72 ในการใช้งานด้านอินเฟอเรนซ์ และมีทรูพุตในการเทรนที่ สูงกว่าอย่างมีนัยสำคัญ ในการทดสอบรอบนี้
• หัวใจสำคัญของ Blackwell Ultra คือ หน่วยความจำและขีดจำกัดพลังงานที่มากกว่า ทำให้สามารถเก็บโมเดลและเพิ่มทรูพุตได้เหนือกว่า GB200
• นอกจากฮาร์ดแวร์แล้ว ซอฟต์แวร์ของ NVIDIA ยังมีส่วนสำคัญ เมื่อเทรน DeepSeek-V3 บนฮาร์ดแวร์เดิม ทรูพุตสามารถเพิ่มขึ้น 1.3 เท่าภายในเวลาแค่ 3 เดือน ผ่านนวัตกรรมซอฟต์แวร์เช่น Full-iteration CUDA Graphs และ CuTe DSL Fusions

การมีส่วนร่วมสูงสุดเป็นประวัติการณ์และความหลากหลายทางเทคนิค

• การแข่งขันรอบนี้มี 24 องค์กรร่วมส่งผลทดสอบ จาก 95 ระบบที่แตกต่างกัน โดยใช้ ตัวเร่งความเร็วถึง 13 ชนิด
• นอกจากนี้ยังเห็นความหลากหลายทางเทคนิคที่มากขึ้น โดยมีการใช้สูตร Precision แบบ FP4 หลายสูตร (รวมถึง MXFP4 จาก AMD) และซอฟต์แวร์เฟรมเวิร์กต่างๆ ตามที่ Shriya Rishab ประธานร่วมของ MLPerf Training กล่าว
• AMD เองก็โชว์ผลงานกับ Instinct MI355X โดยใช้ MXFP4 แข่งขันได้อย่างคู่คี่กับ NVIDIA B200 ในการ Fine-Tuning Llama 2-70B และ Llama 3.1-8B Pre-training

ขุมพลังเครือข่ายและชัยชนะระดับระบบ

• พาร์ทเนอร์ของ NVIDIA สามารถขยายสเกลไปถึง GPU Blackwell 8,192 ตัว ภายในคลัสเตอร์ระดับไฮเปอร์สเกล โดยใช้ Spectrum-X Ethernet กับ Adaptive Routing และ Congestion Control เพื่อรักษาแบนด์วิดท์ให้ใกล้เคียงค่าทฤษฎีสำหรับแพตเทิร์นการสื่อสารแบบ All-to-all ของ MoE
• การผสานพลังของ NVLink-switch domains และ Scale-out Fabric ทำให้สามารถทำลายสถิติเวลาการเทรนได้ทุกรายการทดสอบ อาทิ Llama 3.1 8B Pretraining (5.2 นาที), Llama 2 70B Fine-Tuning (0.40 นาที), FLUX.1 Image Generation (12.5 นาที), DLRM-DCNv2 (0.71 นาที) และ RetinaNet (1.4 นาที)