คำตอบเผยแพร่แล้ว18 แหล่งที่มา
Cambricon ทำให้ DeepSeek-V4.1-Flash รันบน vLLM ได้ตั้งแต่วันเปิดตัวอย่างไร
Cambricon ระบุว่าสามารถเปิดใช้ DeepSeek V4.1 Flash บน vLLM แบบโอเพนซอร์สได้ตั้งแต่วันเปิดตัว โดยอาศัย NeuWare, Torch MLU Ops และเคอร์เนล BangC ที่ปรับจูนสำหรับ MLU DeepSeek V4.1 Flash เป็นโมเดล MoE แบบมัลติโหมด มีพารามิเตอร์ backbone 552 พันล้านตัว ใช้งานจริงราว 8 พันล้านพารามิเตอร์ในช่วงประมวลผลพรอมป์ต์ และ 16 พันล...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Cambricon ระบุว่าสามารถเปิดใช้ DeepSeek V4.1 Flash บน vLLM แบบโอเพนซอร์สได้ตั้งแต่วันเปิดตัว โดยอาศัย NeuWare, Torch MLU Ops และเคอร์เนล BangC ที่ปรับจูนสำหรับ MLU
- DeepSeek V4.1 Flash เป็นโมเดล MoE แบบมัลติโหมด มีพารามิเตอร์ backbone 552 พันล้านตัว ใช้งานจริงราว 8 พันล้านพารามิเตอร์ในช่วงประมวลผลพรอมป์ต์ และ 16 พันล้านตัวในช่วงสร้างคำตอบ
- DeepSeek รายงานว่า KV cache ส่วน global ใช้หน่วยความจำ 890 ไบต์ต่อโทเค็น หรือราวหนึ่งในสี่ของ DeepSeek V4 Flash แต่ผู้ปฏิบัติการยังต้องทดสอบประสิทธิภาพและความพร้อมใช้งานบนคลัสเตอร์ของตนเอง
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
การที่ Cambricon ระบุว่าสนับสนุน DeepSeek-V4.1-Flash ได้ตั้งแต่วันเปิดตัว หรือ Day-0 enablement ควรมองว่าเป็นความสำเร็จด้านการเชื่อมต่อและความพร้อมของซอฟต์แวร์ มากกว่าจะเป็นการพิสูจน์ประสิทธิภาพของฮาร์ดแวร์เพียงลำพัง บริษัทระบุว่าโมเดลสามารถรันบนตัวเร่งความเร็ว MLU ผ่านระบบอนุมานแบบโอเพนซอร์ส vLLM ได้ในวันเดียวกับที่มีการเผยแพร่ checkpoint โดยใช้ NeuWare, Torch-MLU-Ops และ BangC kernels ที่ปรับแต่งแล้ว 13
การมีน้ำหนักโมเดลให้ดาวน์โหลดไม่ได้หมายความว่านำไปให้บริการได้ทันที ระบบยังต้องมีรันไทม์สำหรับตัวเร่งความเร็ว โอเปอเรเตอร์ของเฟรมเวิร์กที่รองรับส่วนประกอบโมเดล การรันแบบกระจาย และเคอร์เนลที่มีประสิทธิภาพสำหรับจุดคำนวณหนักของโมเดล
ซอฟต์แวร์สามชั้นที่ Cambricon ใช้
เส้นทางที่ Cambricon เปิดเผยประกอบด้วยองค์ประกอบหลัก 3 ชั้น
- NeuWare คือรันไทม์ซอฟต์แวร์สำหรับตัวเร่งความเร็ว MLU ของบริษัท
- Torch-MLU-Ops ให้การรองรับโอเปอเรเตอร์บน MLU สำหรับส่วนประกอบของโมเดล รวมถึงโครงสร้าง Engram และ Compressor ตามรายงานการปรับใช้ครั้งนี้
9
- BangC kernels เป็นเคอร์เนลสำหรับงานสำคัญที่เจาะจงกับสถาปัตยกรรม MLU โดย Cambricon อธิบายว่า BangC เป็นภาษาสำหรับเขียนโปรแกรมขนานแบบเฮเทอโรจีนี เพื่อสร้างโปรแกรมประสิทธิภาพสูงบน MLU
18
เมื่อนำมารวมกัน ชั้นเหล่านี้ทำให้การให้บริการผ่าน vLLM ใช้แบ็กเอนด์สำหรับตัวเร่งความเร็วได้ โดยไม่ต้องเปลี่ยนระบบให้บริการไปเป็นแอปพลิเคชันเฉพาะกิจที่ปิดตายของผู้ผลิตรายเดียว Cambricon ยังระบุว่างานพัฒนา vLLM ของตนครอบคลุมการอนุมานแบบผสมและความแม่นยำต่ำ การปรับการขนาน การประมวลผล expert แบบขนานในสเกลใหญ่ และการแยกระบบ prefill ออกจาก decode 18
เหตุใด DeepSeek-V4.1-Flash จึงเป็นโจทย์ยากสำหรับการให้บริการ
DeepSeek-V4.1-Flash เป็นโมเดล Mixture-of-Experts (MoE) แบบมัลติโหมด รองรับทั้งข้อความและภาพ มีพารามิเตอร์ backbone 552 พันล้านตัว และพารามิเตอร์หน่วยความจำ Engram เพิ่มเติม 196 พันล้านตัว พร้อมรองรับบริบทสูงสุด 1 ล้านโทเค็น 5
8
สิ่งสำคัญสำหรับผู้ดูแลระบบคือความต่างระหว่างจำนวนพารามิเตอร์ทั้งหมดกับจำนวนที่ถูกเรียกใช้จริง DeepSeek ระบุว่าโมเดลใช้พารามิเตอร์ราว 8 พันล้านตัวต่อโทเค็น ในช่วง prefill หรือการอ่านและประมวลผลพรอมป์ต์ และราว 16 พันล้านตัวต่อโทเค็น ในช่วง decode หรือการสร้างคำตอบ 8 การออกแบบที่ไม่สมมาตรนี้อาจลดภาระคำนวณในงานที่มีพรอมป์ต์ยาวได้เมื่อเทียบกับโมเดลที่ใช้ขนาดการประมวลผลเท่ากันในทั้งสองช่วง แต่ต้นทุนจริงยังขึ้นอยู่กับน้ำหนักโมเดล ความละเอียดที่ใช้ ขนาดแบตช์ การสื่อสาร หน่วยความจำ และลักษณะงาน
โครงสร้าง Causal Encoder–Decoder
โมเดลนี้ใช้สถาปัตยกรรม Causal Encoder–Decoder หรือ CED จำนวน 40 ชั้น แบ่งเป็น causal encoder 20 ชั้นและ decoder 20 ชั้น แทนที่ decoder จะคำนวณ global keys และ values แยกกันในทุกชั้น ระบบจะฉายสถานะ global KV จาก hidden states สุดท้ายของ encoder 5
8
จุดนี้เกี่ยวข้องโดยตรงกับการใช้หน่วยความจำระหว่างอนุมานบริบทยาว เพราะการสร้างข้อความต้องเก็บ KV cache ซึ่งเป็นสถานะที่ทำให้โมเดลอ้างอิงโทเค็นก่อนหน้าได้
ตัวเลข KV cache: 890 ไบต์ต่อโทเค็น
DeepSeek ระบุว่าการใช้ KV cache ร่วมกันข้ามชั้นใน Compressed Sparse Attention 2 ร่วมกับการแคช KV แบบ FP4 ทำให้ global KV cache ซึ่งอยู่ในหน่วยความจำแบนด์วิดท์สูงหรือ HBM ใช้พื้นที่ 890 ไบต์ต่อโทเค็น หรือราว หนึ่งในสี่ ของ DeepSeek-V4-Flash 7
8
เอกสารด้านเทคนิคชุดเดียวกันระบุว่าเทคนิค SWA Bounded Replay ลด KV cache แบบถาวรที่เก็บบน SSD หรือหน่วยความจำโฮสต์เหลือราว หนึ่งในแปด ของ V4-Flash 7
สำหรับผู้ให้บริการ ตัวเลขนี้ชี้ว่าข้อจำกัดของงานบริบทยาวและงานมัลติโหมดอาจเปลี่ยนไป: KV state ต่อคำขอน้อยลงย่อมอาจเหลือหน่วยความจำสำหรับเซสชันพร้อมกันมากขึ้น อย่างไรก็ดี นี่คือ ตัวเลขด้านการออกแบบโมเดลที่ DeepSeek รายงาน ไม่ใช่ผลวัด end-to-end ที่ผ่านการทดสอบอิสระบนคลัสเตอร์ Cambricon จึงไม่ควรตีความว่าเป็นหลักฐานของ throughput, latency, ความแม่นยำ, ความพร้อมใช้งาน หรือต้นทุนในทุกสภาพแวดล้อม
การปรับแต่งฝั่ง serving ทำงานร่วมกันอย่างไร
เอกสารซอฟต์แวร์ของ Cambricon ระบุเทคนิคหลายอย่างที่เกี่ยวข้องกับการให้บริการโมเดล MoE ขนาดใหญ่บน vLLM 18
- การอนุมานแบบ mixed precision และ low precision ลดปริมาณการเคลื่อนย้ายข้อมูลและพื้นที่เก็บน้ำหนักโมเดลกับ activation
- การปรับการประมวลผลแบบขนานและ expert parallelism ขนาดใหญ่ ช่วยกระจายงานของโมเดลและการทำงานของ expert ที่ถูกเลือกไปยังตัวเร่งความเร็วหลายตัว
- การซ้อนทับการสื่อสารกับการคำนวณ มีเป้าหมายให้ตัวเร่งความเร็วทำงานต่อเนื่องระหว่างมีการสื่อสารแบบรวมกลุ่มหรือการย้ายข้อมูลสำหรับ routing ของ expert
- การแยก prefill และ decode ทำให้การประมวลผลพรอมป์ต์และการสร้างโทเค็นถูกจัดสรรทรัพยากรและปรับแต่งแยกกันได้
แนวทางเหล่านี้เสริมกันได้: prefill มักหนักด้านแบนด์วิดท์และขนาดพรอมป์ต์ ขณะที่ decode เป็นกระบวนการวนซ้ำซึ่งไวต่อความหน่วง ส่วน MoE ยังเพิ่มภาระการประสานงานข้ามอุปกรณ์ เป้าหมายจึงเป็นการใช้ทรัพยากรให้คุ้มและให้บริการได้คาดการณ์ง่ายขึ้นเมื่อมีคำขอพร้อมกัน ไม่ใช่เพียงการเพิ่มตัวเลข FLOPS ตามทฤษฎี
ข้อมูลสาธารณะที่มีไม่ได้ให้ผลทดสอบ DeepSeek-V4.1-Flash บนฮาร์ดแวร์ Cambricon ที่ทำซ้ำได้ สำหรับ throughput, latency, คุณภาพโมเดล, โทโพโลยีคลัสเตอร์ หรือความพร้อมใช้บริการ ผู้ดูแลระบบจึงควรตีความคำว่า “พร้อมใช้งานจริง” ว่ามีเส้นทางการติดตั้งที่ใช้งานและได้รับการสนับสนุน แต่ยังต้องทำ qualification ของตนเองก่อนตัดสินใจซื้อความจุหรือรับปาก SLA
การเป็นสมาชิก Platinum ของ PyTorch Foundation หมายถึงอะไร
เมื่อวันที่ 8 กันยายน 2026 PyTorch Foundation ประกาศว่า Cambricon เข้าร่วมเป็นสมาชิกระดับ Platinum 49 ขณะที่ PyTorch Foundation ระบุอีกทางหนึ่งว่า Cambricon ทำงานร่วมกับชุมชน vLLM เพื่อรองรับโมเดลโอเพนซอร์สแบบ Day-0 เช่น DeepSeek-V4 และ GLM-5
57
นัยสำคัญคือการวางตัวในระบบนิเวศ: ตัวเร่งความเร็วจะเป็นประโยชน์มากกว่าเมื่อใช้ผ่านเฟรมเวิร์กสาธารณะและชั้นการให้บริการที่คนใช้กันแพร่หลาย แทนที่จะบังคับให้ผู้ใช้ดูแลสแต็กเฉพาะผู้ผลิตแยกต่างหาก การเป็นสมาชิกไม่ได้รับประกันว่าจะมี upstream support สำหรับทุกโมเดลหรือทุกฟีเจอร์ แต่ช่วยตอกย้ำทิศทางที่ Cambricon ประกาศไว้ต่อความเข้ากันได้กับ PyTorch และ vLLM
รองรับโมเดลตระกูลใดบ้าง
เอกสารของ Cambricon ระบุงานที่เกี่ยวข้องกับ DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 และ Hunyuan-Video 18 อย่างไรก็ตาม เอกสารดังกล่าวครอบคลุมทั้งการฝึกโมเดลและการปรับแต่งซอฟต์แวร์ในภาพรวม จึง ไม่ได้ยืนยัน ว่าทุกตระกูลมีสถานะการอนุมานผ่าน vLLM ที่พร้อมใช้งานจริงและ Day-0 เทียบเท่า DeepSeek-V4.1-Flash
ข้อสรุปที่ระมัดระวังกว่าคือ Cambricon มีฐานการรองรับซอฟต์แวร์ในโมเดลจีนหลายตระกูล แต่ต้องตรวจสอบความพร้อมในการอนุมาน รูปแบบ precision การรองรับมัลติโหมด และสถานะ Day-0 เป็นรายรีลีส
เหตุใดการพร้อมใช้ในวันเปิดตัวจึงสำคัญ
สำหรับผู้ดูแลคลัสเตอร์ ความเข้ากันได้ตั้งแต่วันเปิดตัวช่วยลดช่วงเวลาระหว่างการปล่อยโมเดลกับการประเมินผลบนโครงสร้างพื้นฐานเดิมอย่างควบคุมได้ เส้นทางผ่าน vLLM ซึ่งเป็นโอเพนซอร์สยังทำให้ทีมใช้แนวทางที่คุ้นเคยในการวางแผนความจุ การกำหนดเส้นทาง การสังเกตการณ์ระบบ การประเมิน quantization และการทดสอบการเชื่อมต่อ แทนการใช้ serving fork ที่ทำขึ้นเฉพาะทาง
ประเด็นนี้เด่นชัดกับ DeepSeek-V4.1-Flash เพราะการบีบอัดแคชตามที่รายงานไว้พุ่งเป้าไปที่คอขวดหลักของการให้บริการบริบทยาว ได้แก่ ความจุ HBM สำหรับเซสชันที่กำลังทำงาน และความต้องการพื้นที่เก็บถาวรหรือหน่วยความจำโฮสต์เพื่อใช้แคชซ้ำ 7
8
ภาพใหญ่จึงไม่ใช่ว่าประกาศ Day-0 เพียงครั้งเดียวพิสูจน์ประสิทธิภาพจริงได้ในทุกกรณี แต่คือการมีขั้นตอนที่ทำซ้ำได้ ตั้งแต่รันไทม์ โอเปอเรเตอร์ของเฟรมเวิร์ก เคอร์เนล การรันแบบกระจาย ไปจนถึงเครื่องมือ serving ซึ่งอาจทำให้การรองรับตัวเร่งความเร็วเข้าใกล้วันเปิดตัวโมเดลมากขึ้น โดยเฉพาะเมื่อโมเดลโอเพนรุ่นต่อไปมีขนาดใหญ่ขึ้น กระจายตัวมากขึ้น และรองรับข้อมูลหลายรูปแบบมากขึ้น
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "Cambricon ทำให้ DeepSeek-V4.1-Flash รันบน vLLM ได้ตั้งแต่วันเปิดตัวอย่างไร" คืออะไร
Cambricon ระบุว่าสามารถเปิดใช้ DeepSeek V4.1 Flash บน vLLM แบบโอเพนซอร์สได้ตั้งแต่วันเปิดตัว โดยอาศัย NeuWare, Torch MLU Ops และเคอร์เนล BangC ที่ปรับจูนสำหรับ MLU
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Cambricon ระบุว่าสามารถเปิดใช้ DeepSeek V4.1 Flash บน vLLM แบบโอเพนซอร์สได้ตั้งแต่วันเปิดตัว โดยอาศัย NeuWare, Torch MLU Ops และเคอร์เนล BangC ที่ปรับจูนสำหรับ MLU DeepSeek V4.1 Flash เป็นโมเดล MoE แบบมัลติโหมด มีพารามิเตอร์ backbone 552 พันล้านตัว ใช้งานจริงราว 8 พันล้านพารามิเตอร์ในช่วงประมวลผลพรอมป์ต์ และ 16 พันล้านตัวในช่วงสร้างคำตอบ
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
DeepSeek รายงานว่า KV cache ส่วน global ใช้หน่วยความจำ 890 ไบต์ต่อโทเค็น หรือราวหนึ่งในสี่ของ DeepSeek V4 Flash แต่ผู้ปฏิบัติการยังต้องทดสอบประสิทธิภาพและความพร้อมใช้งานบนคลัสเตอร์ของตนเอง