NVIDIA giảm chi phí suy luận DeepSeek V4 xuống 5 lần ngay trong tháng đầu tiên – Tất cả đến từ phần mềm

Bài viết này phân tích chính xác những tối ưu hóa nào NVIDIA đã triển khai, các thông số kỹ thuật của dòng mô hình DeepSeek V4, nhà cung cấp suy luận nào đã sử dụng những cải tiến này và cách NVIDIA định hình logic kinh tế đằng sau sự tập trung cao độ vào chi phí mỗi token.

Các tối ưu hóa phần mềm tạo nên mức giảm 5 lần chi phí

NVIDIA tổ chức stack tối ưu hóa suy luận của mình thành ba lớp: vận hành sản xuất, tăng tốc ứng dụng và truy cập cơ sở hạ tầng . Trong các lớp này, các kỹ thuật cụ thể mang lại mức cải thiện 5 lần bao gồm:

Framework suy luận NVIDIA Dynamo

Dynamo là một framework phục vụ phân tán mã nguồn mở, tách biệt các giai đoạn suy luận trên các GPU khác nhau. Nó phân tách giai đoạn prefill (xử lý đầu vào) và decode (sinh token), định tuyến thông minh các yêu cầu đến đúng GPU để tránh tính toán trùng lặp và mở rộng bộ nhớ GPU thông qua bộ nhớ đệm dựa trên NVLink sang các tầng lưu trữ có chi phí thấp hơn . Dynamo hỗ trợ SGLang, TensorRT-LLM và vLLM, đồng thời tích hợp sẵn với các engine mã nguồn mở này . Framework này có thể tăng số lượng yêu cầu được phục vụ lên tới 7 lần trên NVIDIA Blackwell, như đã được chứng minh trong điểm chuẩn SemiAnalysis InferenceX .

Tối ưu hóa TensorRT-LLM

NVIDIA đã đạt được mức giảm 5 lần chi phí mỗi token chỉ thông qua tối ưu hóa TensorRT-LLM trong vòng hai tháng kể từ khi Blackwell ra mắt, mà không cần thay đổi phần cứng . Ở quy mô trung tâm dữ liệu, mức giảm 5 lần chi phí mỗi token thể hiện sự cải thiện gấp năm lần về năng lực tạo doanh thu từ cùng một khoản đầu tư cơ sở hạ tầng .

Phục vụ phân tách (Disaggregated Serving)

Bằng cách tách biệt các pha prefill và decode trên các GPU khác nhau, kỹ thuật này loại bỏ sự cạnh tranh tài nguyên và cho phép tối ưu hóa từng pha một cách độc lập cho các nhu cầu cụ thể của nó . Đây là một tính năng cốt lõi của framework NVIDIA Dynamo .

Song song hóa chuyên gia quy mô lớn (Large-Scale Expert Parallelism)

DeepSeek V4 sử dụng kiến trúc Mixture-of-Experts (MoE) với 384 chuyên gia phân tán . Định tuyến được tối ưu hóa sẽ phân phối các token qua các chuyên gia này với tính toán trùng lặp giảm đi, cải thiện hiệu quả trên toàn bộ cụm GPU .

Giao tiếp song song dựa trên NVLink

Kết nối liên GPU tốc độ cao của NVIDIA cho phép giao tiếp all-to-all hiệu quả giữa các chuyên gia, điều này rất quan trọng đối với các mô hình MoE, nơi song song hóa chuyên gia yêu cầu trao đổi dữ liệu thường xuyên giữa các GPU .

Độ chính xác NVFP4

Sử dụng độ chính xác dấu phẩy động 4-bit (FP4) cho suy luận giúp giảm yêu cầu băng thông bộ nhớ và tính toán mà không làm giảm độ chính xác đáng kể . Đối với DeepSeek-V3.2, lượng tử hóa NVFP4 của NVIDIA đã giảm dung lượng bộ nhớ xuống 1,7 lần so với định dạng FP8 gốc (415 GB so với 690 GB), dẫn đến sự gia tăng đáng kể về thông lượng và hiệu quả chi phí .

Dự đoán đa token (Multi-Token Prediction - MTP)

MTP tạo ra nhiều token trong mỗi lần chuyển tiếp, tăng thông lượng. Hỗ trợ MTP đầu tiên cho DeepSeek V4 đến từ SGLang vào ngày thứ 3 . Sử dụng MTP, SGLang sau đó đã vượt quá 12.000 token/giây mỗi GPU trên phần cứng GB300 NVL72 .

Hạt nhân CUDA được tối ưu hóa

Không phải tất cả các tối ưu hóa đều đến từ một mình NVIDIA. SemiAnalysis đã phải sửa mã khởi chạy hạt nhân mHC (manifold-constrained hyper-connection) mã nguồn mở của NVIDIA cho kiến trúc mới của DeepSeek V4, vì TensorRT-LLM ban đầu không hoạt động tốt với mô hình này . Sự đóng góp từ cộng đồng này là rất cần thiết cho suy luận chất lượng sản xuất.

Công thức phục vụ SGLang

LMSYS Org đã đạt được mức tăng thông lượng 5 lần đã được xác minh trên phần cứng NVIDIA GB300 NVL72 bằng cách sử dụng SGLang, nhảy từ khoảng 2.200 lên 11.200 token mỗi giây mỗi GPU với tốc độ khoảng 50 token mỗi giây cho mỗi người dùng . Ma trận hỗ trợ Dynamo của NVIDIA liệt kê cụ thể lmsysorg/sglang:deepseek-v4-blackwell như một cấu hình được hỗ trợ .

Kết hợp lại, các tối ưu hóa này mang lại thông lượng cao hơn tới 20 lần mỗi GPU trên Blackwell .

Thông số kỹ thuật của dòng mô hình DeepSeek V4

DeepSeek V4 được phát hành vào ngày 24 tháng 4 năm 2026, theo giấy phép MIT như một dòng mô hình hai cấp .

Nguồn:

Kiến trúc chú ý lai kết hợp Chú ý thưa thớt nén (Compressed Sparse Attention - CSA) và Chú ý nén mạnh (Heavily Compressed Attention - HCA), chỉ đạt 27% FLOP suy luận một token của DeepSeek-V3.2 ở ngữ cảnh 1 triệu token . Hiệu quả này làm cho các khối ngữ cảnh tác nhân dài hàng triệu token trở nên khả thi về mặt tính toán.

Các nhà cung cấp suy luận đã sử dụng các tối ưu hóa này

Một số nhà cung cấp và engine suy luận đã triển khai các tối ưu hóa phần mềm của NVIDIA cho DeepSeek V4 trên Blackwell:

• LMSYS Org (SGLang) — đạt được mức tăng thông lượng 5 lần đã được xác minh trên phần cứng NVIDIA GB300 NVL72 (ngày 23 tháng 6 năm 2026) . Ma trận hỗ trợ Dynamo của NVIDIA liệt kê lmsysorg/sglang:deepseek-v4-blackwell như một cấu hình được hỗ trợ . SGLang cũng vượt quá 12.000 tok/s mỗi GPU trên cùng một phần cứng .
• NVIDIA NIM — stack dịch vụ vi mô suy luận của NVIDIA cung cấp các điểm cuối DeepSeek-V4-Pro thông qua danh mục API NVIDIA .
• vLLM — engine suy luận mã nguồn mở đã hỗ trợ DeepSeek V4 trong vòng vài ngày sau khi ra mắt, tích hợp với NVIDIA Dynamo để suy luận phân tán trên GB200 .
• TensorRT-LLM — runtime tối ưu hóa của NVIDIA, mặc dù việc áp dụng sớm gặp vấn đề với mã hạt nhân mHC mà SemiAnalysis đã giúp sửa .
• DeepInfra — cung cấp các điểm cuối DeepSeek V4 Pro với giá $0,435/M token đầu vào và $0,87/M token đầu ra .
• Together AI, Fireworks AI, Baseten — Blog của NVIDIA ghi nhận việc triển khai rộng rãi thông qua các điểm cuối đám mây tăng tốc GPU, với các nhà cung cấp này giảm chi phí mỗi token tới 10 lần so với Hopper .

Các nhà cung cấp như Together AI và Baseten đã giảm chi phí mỗi token tới 90% so với Hopper sau khi áp dụng Blackwell, theo NVIDIA .

Cách NVIDIA định hình kinh tế cho khối lượng công việc AI tác nhân

NVIDIA xác định chi phí mỗi token là thước đo quan trọng nhất cho tổng chi phí sở hữu (TCO) suy luận — bác bỏ rõ ràng các thước đo cũ hơn như chi phí mỗi giờ GPU hoặc FLOPS trên mỗi đô la . Jensen Huang đã tuyên bố rằng "chi phí mỗi token của NVIDIA là thấp nhất thế giới" vào tháng 4 năm 2026, coi đó là "kết quả trực tiếp của sự xuất sắc trong kiến trúc và thiết kế đồng bộ cực đoan" .

Lý do đằng sau sự thay đổi thước đo này liên quan trực tiếp đến AI tác nhân:

Khối lượng công việc tác nhân đòi hỏi tính toán bùng nổ trong suy luận

Khi AI chuyển từ trả lời một lần sang lý luận nhiều bước — lập kế hoạch, truy xuất ngữ cảnh, gọi công cụ, suy ngẫm và tự sửa lỗi — số lượng token được tạo ra cho mỗi truy vấn có thể nhân lên từ 100 đến 1.000 lần . Một tác vụ tác nhân đa bước duy nhất có thể tiêu tốn từ $0,10 đến $1,00 cho tính toán suy luận . Phân tích của Gartner vào tháng 3 năm 2026 đã xác nhận rằng các mô hình AI tác nhân yêu cầu số token nhiều gấp 5–30 lần cho mỗi tác vụ so với chatbot tiêu chuẩn .

Suy luận hiện là trung tâm chi phí chiếm ưu thế

Các ước tính của ngành cho thấy 55–80% chi tiêu GPU AI của doanh nghiệp dành cho suy luận, không phải huấn luyện . Deloitte ước tính rằng suy luận chiếm khoảng hai phần ba tổng sức mạnh tính toán AI vào năm 2026, tăng từ một phần ba vào năm 2023 . Suy luận cũng chiếm 80 đến 90 phần trăm chi phí vòng đời của một hệ thống AI sản xuất .

Tối ưu hóa phần mềm mở ra giá trị lớn mà không cần phần cứng mới

NVIDIA xác định rõ ràng đây là một lợi thế chiến lược: "NVIDIA đã đạt được mức giảm 5 lần chi phí mỗi token chỉ thông qua tối ưu hóa TensorRT-LLM trong vòng hai tháng kể từ khi Blackwell ra mắt, mà không cần thay đổi phần cứng" . Ở quy mô trung tâm dữ liệu, mức giảm 5 lần chi phí mỗi token quyết định trực tiếp liệu các khối lượng công việc AI tác nhân có trở nên khả thi về mặt kinh tế hay không . Phần mềm suy luận của NVIDIA tiếp tục giảm chi phí token rất lâu sau khi cơ sở hạ tầng AI được triển khai .

Chi phí mỗi token là "thước đo TCO duy nhất có giá trị"

NVIDIA lập luận rằng chi phí mỗi token là thước đo duy nhất trực tiếp tính đến hiệu suất phần cứng, tối ưu hóa phần mềm, hỗ trợ hệ sinh thái và mức sử dụng thực tế . Công ty công bố "chi phí token thấp nhất" như một đề xuất giá trị chính của Blackwell . NVIDIA B200 đạt hai xu cho mỗi triệu token trên GPT-OSS-120B và kiến trúc này đã giảm chi phí mỗi triệu token xuống 15 lần so với thế hệ trước .

Tóm lại, thông điệp của NVIDIA rất rõ ràng: AI tác nhân yêu cầu số lượng token suy luận lớn hơn đáng kể cho mỗi tác vụ; các tối ưu hóa suy luận ở cấp độ phần mềm trên Blackwell có thể cắt giảm chi phí token đó xuống 5 lần mà không cần phần cứng mới, quyết định trực tiếp liệu các triển khai tác nhân quy mô lớn có mang lại lợi nhuận hay không .