Câu trả lờiĐã xuất bản18 nguồn
Cambricon đưa DeepSeek-V4.1-Flash lên vLLM ngay ngày phát hành như thế nào
Cambricon cho biết đã kích hoạt DeepSeek V4.1 Flash trên ngăn xếp suy luận vLLM mã nguồn mở ngay trong ngày mô hình được phát hành, thông qua NeuWare, Torch MLU Ops và các kernel BangC tối ưu hóa. DeepSeek V4.1 Flash là mô hình MoE đa phương thức với 552 tỷ tham số backbone, kích hoạt khoảng 8 tỷ tham số ở giai đoạn...
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Cambricon cho biết đã kích hoạt DeepSeek V4.1 Flash trên ngăn xếp suy luận vLLM mã nguồn mở ngay trong ngày mô hình được phát hành, thông qua NeuWare, Torch MLU Ops và các kernel BangC tối ưu hóa.
- DeepSeek V4.1 Flash là mô hình MoE đa phương thức với 552 tỷ tham số backbone, kích hoạt khoảng 8 tỷ tham số ở giai đoạn xử lý prompt và 16 tỷ tham số khi sinh đầu ra; mô hình hỗ trợ ngữ cảnh tới 1 triệu token.
- DeepSeek công bố KV cache toàn cục 890 byte mỗi token, bằng khoảng 1/4 DeepSeek V4 Flash.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricon mô tả việc hỗ trợ ngay trong ngày phát hành, hay Day-0, như một cột mốc về tích hợp và mức sẵn sàng của phần mềm. Theo công ty, DeepSeek-V4.1-Flash có thể chạy trên bộ tăng tốc MLU của Cambricon qua ngăn xếp suy luận mã nguồn mở vLLM ngay khi checkpoint được công bố, với runtime NeuWare, Torch-MLU-Ops và các kernel BangC đã tối ưu. 13
Điểm đáng chú ý là việc có trọng số mô hình chưa đồng nghĩa mô hình đã sẵn sàng để vận hành. Một mô hình lớn còn cần runtime hoạt động ổn định trên bộ tăng tốc, toán tử tương thích với framework, cơ chế thực thi phân tán và các kernel hiệu quả cho những phần tính toán nặng nhất.
Ba lớp trong con đường tích hợp của Cambricon
Cambricon cho biết quá trình này gồm ba lớp chính:
- NeuWare là runtime phần mềm cho các bộ tăng tốc MLU của hãng.
- Torch-MLU-Ops cung cấp hỗ trợ toán tử nhận biết MLU cho các thành phần của mô hình, gồm các cấu trúc Engram và Compressor theo thông tin về đợt hỗ trợ này.
9
- BangC là ngôn ngữ lập trình song song dị thể của Cambricon, dùng để viết chương trình hiệu năng cao trực tiếp cho kiến trúc MLU; các kernel BangC nhắm vào những phép toán then chốt.
18
Sự kết hợp này giúp triển khai qua vLLM dùng được backend chuyên biệt cho bộ tăng tốc, thay vì biến đường phục vụ mô hình thành một ứng dụng độc quyền, khó bảo trì. Cambricon cũng cho biết công việc tối ưu vLLM của mình bao gồm suy luận hỗn hợp/độ chính xác thấp, tối ưu song song hóa, song song chuyên gia quy mô lớn và tách rời giai đoạn prefill với decode. 18
Vì sao DeepSeek-V4.1-Flash không phải mục tiêu dễ phục vụ
DeepSeek-V4.1-Flash là mô hình Mixture-of-Experts (MoE) đa phương thức, có 552 tỷ tham số backbone và thêm 196 tỷ tham số bộ nhớ Engram. Mô hình nhận được văn bản lẫn hình ảnh, với ngữ cảnh tối đa 1 triệu token. 5
8
Với đơn vị vận hành hạ tầng, cần phân biệt tổng số tham số và số tham số thực sự được kích hoạt. DeepSeek cho biết mô hình kích hoạt khoảng 8 tỷ tham số cho mỗi token prompt ở giai đoạn prefill và 16 tỷ tham số cho mỗi token được sinh ra ở giai đoạn decode. 8
Thiết kế bất đối xứng này có thể giảm khối lượng tính toán cho các tải xử lý prompt nặng, so với mô hình kích hoạt cùng một năng lực ở cả hai giai đoạn. Tuy nhiên, chi phí phục vụ thực tế vẫn phụ thuộc vào trọng số mô hình, độ chính xác số, kích thước batch, truyền thông giữa các thiết bị, dung lượng bộ nhớ và kiểu tải công việc.
Kiến trúc Causal Encoder–Decoder
Mô hình dùng kiến trúc Causal Encoder–Decoder (CED) gồm 40 lớp: 20 lớp causal encoder và 20 lớp decoder. Thay vì mỗi lớp decoder tự tạo key/value toàn cục độc lập, decoder chiếu trạng thái KV toàn cục từ hidden state cuối cùng của encoder. 5
8
Lựa chọn này đặc biệt quan trọng với bài toán bộ nhớ. Khi suy luận ngữ cảnh dài, KV cache — trạng thái được lưu lại để mô hình chú ý đến token trước đó trong lúc tiếp tục sinh token — thường là một trong các điểm nghẽn chính.
Con số 890 byte KV cache cho mỗi token nói lên điều gì?
DeepSeek cho biết việc tái sử dụng KV cache giữa các lớp trong Compressed Sparse Attention 2, kết hợp với KV cache FP4, giúp giảm phần KV cache toàn cục nằm trong bộ nhớ băng thông cao (HBM) xuống còn 890 byte mỗi token. Đây tương đương khoảng 1/4 mức của DeepSeek-V4-Flash. 7
8
Tài liệu kỹ thuật cũng cho biết cơ chế SWA Bounded Replay giảm phần KV cache lưu bền trên SSD hoặc bộ nhớ máy chủ xuống khoảng 1/8 so với V4-Flash. 7
Với người vận hành, các con số này cho thấy áp lực bộ nhớ có thể chuyển biến đáng kể khi phục vụ tác vụ ngữ cảnh dài và đa phương thức: ít trạng thái KV hơn trên mỗi yêu cầu có thể dành thêm bộ nhớ cho các phiên đồng thời. Nhưng cần lưu ý, đây là số liệu thiết kế do DeepSeek công bố, không phải benchmark đầu-cuối độc lập cho một cụm Cambricon. Chúng không tự chứng minh mức thông lượng, độ trễ, độ chính xác, tính sẵn sàng hay chi phí cụ thể ở mọi cách triển khai.
Các tối ưu phục vụ phối hợp với nhau ra sao?
Tài liệu phần mềm công khai của Cambricon nêu một số kỹ thuật có liên quan đến việc phục vụ các mô hình MoE lớn trên vLLM. 18
- Suy luận hỗn hợp và độ chính xác thấp có thể giảm lưu lượng bộ nhớ cũng như dung lượng lưu trọng số và activation.
- Tối ưu song song hóa và song song chuyên gia quy mô lớn hướng tới phân phối công việc mô hình và quá trình thực thi các expert được định tuyến trên nhiều bộ tăng tốc.
- Chồng lấp truyền thông với tính toán nhằm giữ thiết bị tiếp tục làm việc trong khi dữ liệu phục vụ truyền thông tập thể hoặc định tuyến expert được chuyển giữa các worker.
- Tách rời prefill và decode cho phép bố trí tài nguyên và tinh chỉnh riêng phần xử lý prompt với phần sinh token.
Các kỹ thuật này bổ trợ cho nhau. Prefill thường nặng về prompt và băng thông; decode là quá trình lặp, nhạy với độ trễ; còn định tuyến MoE tạo thêm yêu cầu phối hợp phân tán. Mục tiêu là tận dụng tài nguyên tốt hơn và cung cấp dịch vụ ổn định hơn khi có nhiều yêu cầu đồng thời, chứ không chỉ nâng một chỉ số FLOPS lý thuyết.
Các tài liệu công khai hiện có không nêu bộ số đo tái lập được cho V4.1-Flash trên phần cứng Cambricon về thông lượng, độ trễ, chất lượng mô hình, cấu hình cụm hay mức sẵn sàng dịch vụ. Vì vậy, nên hiểu “sẵn sàng cho sản xuất” là có một lộ trình triển khai khả dụng và được hỗ trợ; các đơn vị vận hành vẫn cần tự thẩm định trước khi cam kết năng lực hay SLA.
Việc gia nhập PyTorch Foundation có ý nghĩa gì?
Ngày 8/9/2026, PyTorch Foundation thông báo Cambricon gia nhập với tư cách thành viên Platinum. 49 Foundation này cũng cho biết Cambricon đã làm việc cùng cộng đồng vLLM để hỗ trợ Day-0 cho những mô hình nguồn mở như DeepSeek-V4 và GLM-5.
57
Ý nghĩa chính nằm ở sự gắn kết với hệ sinh thái. Hỗ trợ phần cứng có giá trị hơn khi hoạt động qua các framework và lớp phục vụ công khai, quen thuộc, thay vì buộc người dùng duy trì một ngăn xếp riêng của nhà cung cấp. Tư cách thành viên không bảo đảm mọi mô hình hay tính năng đều được hỗ trợ upstream, nhưng củng cố định hướng tương thích PyTorch và vLLM mà Cambricon công bố.
Những họ mô hình nào đã nằm trong phạm vi hỗ trợ?
Tài liệu phần mềm của Cambricon đề cập tới DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 và Hunyuan-Video. 18
Dù vậy, tài liệu này bao gồm cả hỗ trợ huấn luyện và tối ưu phần mềm theo nghĩa rộng. Nó không chứng minh mọi họ mô hình kể trên đều có trạng thái suy luận vLLM sẵn sàng cho sản xuất, Day-0 giống DeepSeek-V4.1-Flash. Kết luận thận trọng hơn là Cambricon đã có phạm vi hỗ trợ phần mềm trải trên nhiều họ mô hình Trung Quốc; còn mức sẵn có của suy luận, định dạng độ chính xác, khả năng đa phương thức và trạng thái Day-0 phải được xác minh theo từng bản phát hành.
Vì sao khả năng sẵn sàng cùng ngày lại quan trọng?
Với đơn vị vận hành cụm, tương thích ngay lúc ra mắt giúp rút ngắn thời gian từ khi mô hình được phát hành đến khi có thể đánh giá có kiểm soát trên hạ tầng sẵn có. Một đường triển khai vLLM công khai cũng cho đội ngũ kỹ thuật nền tảng quen thuộc hơn để lập kế hoạch năng lực, định tuyến, giám sát, đánh giá lượng tử hóa và kiểm thử tích hợp, so với một nhánh phục vụ tùy biến.
Điều này đáng chú ý với DeepSeek-V4.1-Flash vì những cải tiến cache mà DeepSeek công bố nhắm trực tiếp vào áp lực chính của phục vụ ngữ cảnh dài: dung lượng HBM cho phiên đang hoạt động, cùng nhu cầu SSD hoặc bộ nhớ máy chủ khi tái sử dụng cache. 7
8
Câu chuyện lớn hơn không phải một tuyên bố Day-0 đủ để chứng minh hiệu năng sản xuất trong mọi điều kiện. Giá trị nằm ở khả năng lặp lại quy trình hỗ trợ xuyên suốt runtime, toán tử framework, kernel, thực thi phân tán và công cụ phục vụ — để việc kích hoạt bộ tăng tốc tiến gần hơn tới thời điểm mô hình ra mắt, nhất là khi các mô hình nguồn mở tiếp tục lớn hơn, thưa hơn và đa phương thức hơn.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Cambricon đưa DeepSeek-V4.1-Flash lên vLLM ngay ngày phát hành như thế nào" là gì?
Cambricon cho biết đã kích hoạt DeepSeek V4.1 Flash trên ngăn xếp suy luận vLLM mã nguồn mở ngay trong ngày mô hình được phát hành, thông qua NeuWare, Torch MLU Ops và các kernel BangC tối ưu hóa.
Những điểm chính cần xác nhận đầu tiên là gì?
Cambricon cho biết đã kích hoạt DeepSeek V4.1 Flash trên ngăn xếp suy luận vLLM mã nguồn mở ngay trong ngày mô hình được phát hành, thông qua NeuWare, Torch MLU Ops và các kernel BangC tối ưu hóa. DeepSeek V4.1 Flash là mô hình MoE đa phương thức với 552 tỷ tham số backbone, kích hoạt khoảng 8 tỷ tham số ở giai đoạn xử lý prompt và 16 tỷ tham số khi sinh đầu ra; mô hình hỗ trợ ngữ cảnh tới 1 triệu token.
Tôi nên làm gì tiếp theo trong thực tế?
DeepSeek công bố KV cache toàn cục 890 byte mỗi token, bằng khoảng 1/4 DeepSeek V4 Flash.