Huawei đã làm nên điều lịch sử. Nền tảng Ascend 950DT + CANN đạt được hỗ trợ toàn diện Day-0 ngang bằng với Nvidia — lần đầu tiên một nền tảng phi CUDA bắt kịp Nvidia về mức độ sẵn sàng ngày ra mắt cho một mô hình quy mô biên giới. Các benchmark độc lập trên Ascend 950PR đang xuất xưởng cho thấy hiệu năng FP4 gấp 2,87 lần so với H20 và tốc độ suy luận MoE nhanh hơn tới 1,96 lần trong các bản rollout RL. Tuy nhiên, trần hiệu năng phần cứng của Trung Quốc vẫn bị giới hạn bởi khả năng sản xuất, nên thông lượng tuyệt đối vẫn thua kém những sản phẩm tốt nhất của Nvidia.

AMD ra mắt, nói thẳng ra, là một thảm họa. MI355X vào Ngày 0 chỉ có thể chạy FP8 — checkpoint FP4+FP8 gốc không thể sử dụng được — và chỉ đạt con số khiêm tốn 20,4 tok/s/GPU ở mức 2,4 tok/s/user với khối lượng công việc 8K/1K. ROCm stack khi đó không chỉ là chưa tối ưu; nó chỉ là một giải pháp tạm thời.

Sự phục hồi 110,5x của AMD: Một cuộc chạy đua nước rút về phần mềm

Những gì diễn ra sau đó là màn phục hồi hiệu năng do phần mềm thúc đẩy ấn tượng nhất trong lịch sử hạ tầng AI gần đây. Trong 26 ngày, đội ngũ kỹ thuật AMD SGLang dưới sự lãnh đạo của HaiShaw đã hợp nhất 31 pull request tối ưu hóa hiệu năng trên nhánh amd/deepseek_v4. Mỗi PR giải quyết một tầng của ROCm stack vốn chưa từng được kiểm tra với một mô hình MoE quy mô này.

Đến Ngày thứ 26 (20 tháng 5 năm 2026), MI355X đã đạt 2.256 tok/s/GPU tại 9,4 tok/s/user với khối lượng công việc 8K/1K — cải thiện 110,5 lần về thông lượng trên mỗi GPU, đồng thời cải thiện tương tác lên 3,85 lần. Đây là một kết quả tối ưu hiếm có khi cả hai trục cùng tăng: bạn thường không có được tốc độ phản hồi cho mỗi người dùng nhanh hơn và thông lượng tổng hợp cao hơn từ cùng một phần cứng.

Tại các điểm tương tác có thể so sánh trên InferenceX, MI355X ở Ngày thứ 26 đạt khoảng 1.411 tok/s/GPU, đặt nó vào cùng phân khúc cạnh tranh với B200 của Nvidia ở các thiết lập tương tác thấp. Nó vẫn thua kém GB300 NVL72 của Nvidia (đạt tới 11.474 tok/s/GPU trong điều kiện tối ưu), nhưng quỹ đạo phát triển mới là điều đáng chú ý: MI355X đã đi từ một sản phẩm ra mắt không hoạt động trở thành một SKU suy luận khả thi.

Bảng xếp hạng sau 43 ngày

Chi phí trên mỗi triệu token kể câu chuyện kinh tế. Ở mức tương tác thấp, GB300 NVL72 cung cấp token với giá $0,064/M tok — rẻ hơn khoảng 4,5 lần so với MI355X ở mức $0,291/M tok. Ở mức tương tác cao hơn (độ đồng thời thấp hơn, tốc độ mỗi người dùng cao hơn), MI355X trở nên cạnh tranh về chi phí hơn so với B200, với cả hai cùng ở mức khoảng $1,22–$1,45/M tok tại 23–24 người dùng đồng thời.

Công nghệ nền tảng thực sự: Kiến trúc Hybrid Attention của DeepSeek V4

Các con số benchmark rất ấn tượng, nhưng chúng sẽ vô nghĩa về mặt kinh tế nếu không có đột phá kiến trúc từ phía mô hình của DeepSeek. Attention Transformer tiêu chuẩn mở rộng theo cấp số nhân với độ dài ngữ cảnh. Ở mức 1 triệu token, chi phí tính toán và bộ nhớ khiến việc phục vụ trở nên bất khả thi về mặt kinh tế trên bất kỳ phần cứng nào. DeepSeek V4 thay thế attention tiêu chuẩn bằng sự kết hợp của hai cơ chế bổ sung:

Compressed Sparse Attention (CSA) hoạt động ở cấp độ chi tiết. Nó gộp khoảng 4 token thành một mục KV đã học duy nhất bằng cách sử dụng trọng số phụ thuộc vào dữ liệu với các cửa sổ chồng lấn, sau đó áp dụng lựa chọn thưa — mỗi truy vấn chỉ tương tác với các mục đã nén có liên quan nhất, được lập chỉ mục bởi một thành phần gọi là Lightning Indexer. Một nhánh attention cửa sổ trượt chạy song song để bảo toàn độ chính xác cục bộ.

Heavily Compressed Attention (HCA) đưa ra một dự đoán thô hơn. Nó nén tới 128 token thành một mục KV duy nhất và áp dụng attention dày đặc trên luồng đã được nén mạnh. Điều này đánh đổi độ chính xác truy xuất để có một cái nhìn toàn cảnh toàn diện với chi phí cận biên gần như bằng không. HCA chạy ở các tầng đầu để cung cấp một bức tranh toàn cảnh rẻ tiền; tầng cuối cùng vẫn giữ lại attention đầy đủ để có độ chính xác tối đa.

Hiệu quả kết hợp thật đáng kinh ngạc so với DeepSeek V3.2 ở 1M token:

• FLOP suy luận trên mỗi token: 27% so với V3.2 (giảm 73%)
• Bộ nhớ KV cache: ~10% so với V3.2 (giảm khoảng 90%)
• So với baseline GQA bfloat16: chỉ khoảng 2% dung lượng cache

Đối với mô hình V4 Flash nhỏ hơn, những con số này thậm chí còn thấp hơn: 10% FLOP và 7% KV cache.

Nếu không có CSA và HCA, mô hình Pro 1,6 nghìn tỷ tham số với ngữ cảnh 1M sẽ chỉ là một dự án khoa học — thú vị nhưng không thể phục vụ thương mại. Với chúng, nó là một sản phẩm.

Ý nghĩa của điều này

Dữ liệu 43 ngày từ SemiAnalysis kể ba câu chuyện song song. Đầu tiên, lợi thế hệ sinh thái của Nvidia vẫn là cấu trúc khổng lồ: CUDA hoạt động, Ngày 0, mọi lúc, và phần cứng thực sự đi trước. Thứ hai, Huawei đã thu hẹp hoàn toàn khoảng cách về mức độ sẵn sàng phần mềm — một sự thay đổi lịch sử với các tác động địa chính trị sẽ diễn ra trong thế hệ phần cứng tiếp theo. Thứ ba, phần cứng của AMD có khả năng nhưng ROCm stack phần mềm vẫn là một nút thắt cổ chai đòi hỏi những nỗ lực kỹ thuật xuất thần để vượt qua cho mỗi mô hình biên giới mới — một sự cải thiện 110,5 lần trong 26 ngày là ấn tượng, nhưng nó không nên là điều cần thiết.

Bức tranh lớn hơn thuộc về các kiến trúc sư. Hybrid attention CSA + HCA của DeepSeek không chỉ cải thiện hiệu quả — nó thay đổi về cơ bản những gì khả thi về mặt thương mại để phục vụ. Khi một mô hình 1,6 nghìn tỷ tham số với ngữ cảnh triệu token có giá chỉ vài xu cho mỗi triệu token trên phần cứng phù hợp, cuộc trò chuyện sẽ chuyển từ "chúng ta có thể làm điều này không?" sang "chúng ta sẽ xây dựng gì với nó?"

Huawei đã làm nên điều lịch sử. Nền tảng Ascend 950DT + CANN đạt được hỗ trợ toàn diện Day-0 ngang bằng với Nvidia — lần đầu tiên một nền tảng phi CUDA bắt kịp Nvidia về mức độ sẵn sàng ngày ra mắt cho một mô hình quy mô biên giới. Các benchmark độc lập trên Ascend 950PR đang xuất xưởng cho thấy hiệu năng FP4 gấp 2,87 lần so với H20 và tốc độ suy luận MoE nhanh hơn tới 1,96 lần trong các bản rollout RL. Tuy nhiên, trần hiệu năng phần cứng của Trung Quốc vẫn bị giới hạn bởi khả năng sản xuất, nên thông lượng tuyệt đối vẫn thua kém những sản phẩm tốt nhất của Nvidia.

AMD ra mắt, nói thẳng ra, là một thảm họa. MI355X vào Ngày 0 chỉ có thể chạy FP8 — checkpoint FP4+FP8 gốc không thể sử dụng được — và chỉ đạt con số khiêm tốn 20,4 tok/s/GPU ở mức 2,4 tok/s/user với khối lượng công việc 8K/1K. ROCm stack khi đó không chỉ là chưa tối ưu; nó chỉ là một giải pháp tạm thời.

Sự phục hồi 110,5x của AMD: Một cuộc chạy đua nước rút về phần mềm

Những gì diễn ra sau đó là màn phục hồi hiệu năng do phần mềm thúc đẩy ấn tượng nhất trong lịch sử hạ tầng AI gần đây. Trong 26 ngày, đội ngũ kỹ thuật AMD SGLang dưới sự lãnh đạo của HaiShaw đã hợp nhất 31 pull request tối ưu hóa hiệu năng trên nhánh amd/deepseek_v4. Mỗi PR giải quyết một tầng của ROCm stack vốn chưa từng được kiểm tra với một mô hình MoE quy mô này.

Đến Ngày thứ 26 (20 tháng 5 năm 2026), MI355X đã đạt 2.256 tok/s/GPU tại 9,4 tok/s/user với khối lượng công việc 8K/1K — cải thiện 110,5 lần về thông lượng trên mỗi GPU, đồng thời cải thiện tương tác lên 3,85 lần. Đây là một kết quả tối ưu hiếm có khi cả hai trục cùng tăng: bạn thường không có được tốc độ phản hồi cho mỗi người dùng nhanh hơn và thông lượng tổng hợp cao hơn từ cùng một phần cứng.

Tại các điểm tương tác có thể so sánh trên InferenceX, MI355X ở Ngày thứ 26 đạt khoảng 1.411 tok/s/GPU, đặt nó vào cùng phân khúc cạnh tranh với B200 của Nvidia ở các thiết lập tương tác thấp. Nó vẫn thua kém GB300 NVL72 của Nvidia (đạt tới 11.474 tok/s/GPU trong điều kiện tối ưu), nhưng quỹ đạo phát triển mới là điều đáng chú ý: MI355X đã đi từ một sản phẩm ra mắt không hoạt động trở thành một SKU suy luận khả thi.

Bảng xếp hạng sau 43 ngày

Chi phí trên mỗi triệu token kể câu chuyện kinh tế. Ở mức tương tác thấp, GB300 NVL72 cung cấp token với giá $0,064/M tok — rẻ hơn khoảng 4,5 lần so với MI355X ở mức $0,291/M tok. Ở mức tương tác cao hơn (độ đồng thời thấp hơn, tốc độ mỗi người dùng cao hơn), MI355X trở nên cạnh tranh về chi phí hơn so với B200, với cả hai cùng ở mức khoảng $1,22–$1,45/M tok tại 23–24 người dùng đồng thời.

Công nghệ nền tảng thực sự: Kiến trúc Hybrid Attention của DeepSeek V4

Các con số benchmark rất ấn tượng, nhưng chúng sẽ vô nghĩa về mặt kinh tế nếu không có đột phá kiến trúc từ phía mô hình của DeepSeek. Attention Transformer tiêu chuẩn mở rộng theo cấp số nhân với độ dài ngữ cảnh. Ở mức 1 triệu token, chi phí tính toán và bộ nhớ khiến việc phục vụ trở nên bất khả thi về mặt kinh tế trên bất kỳ phần cứng nào. DeepSeek V4 thay thế attention tiêu chuẩn bằng sự kết hợp của hai cơ chế bổ sung:

Compressed Sparse Attention (CSA) hoạt động ở cấp độ chi tiết. Nó gộp khoảng 4 token thành một mục KV đã học duy nhất bằng cách sử dụng trọng số phụ thuộc vào dữ liệu với các cửa sổ chồng lấn, sau đó áp dụng lựa chọn thưa — mỗi truy vấn chỉ tương tác với các mục đã nén có liên quan nhất, được lập chỉ mục bởi một thành phần gọi là Lightning Indexer. Một nhánh attention cửa sổ trượt chạy song song để bảo toàn độ chính xác cục bộ.

Heavily Compressed Attention (HCA) đưa ra một dự đoán thô hơn. Nó nén tới 128 token thành một mục KV duy nhất và áp dụng attention dày đặc trên luồng đã được nén mạnh. Điều này đánh đổi độ chính xác truy xuất để có một cái nhìn toàn cảnh toàn diện với chi phí cận biên gần như bằng không. HCA chạy ở các tầng đầu để cung cấp một bức tranh toàn cảnh rẻ tiền; tầng cuối cùng vẫn giữ lại attention đầy đủ để có độ chính xác tối đa.

Hiệu quả kết hợp thật đáng kinh ngạc so với DeepSeek V3.2 ở 1M token:

• FLOP suy luận trên mỗi token: 27% so với V3.2 (giảm 73%)
• Bộ nhớ KV cache: ~10% so với V3.2 (giảm khoảng 90%)
• So với baseline GQA bfloat16: chỉ khoảng 2% dung lượng cache

Đối với mô hình V4 Flash nhỏ hơn, những con số này thậm chí còn thấp hơn: 10% FLOP và 7% KV cache.

Nếu không có CSA và HCA, mô hình Pro 1,6 nghìn tỷ tham số với ngữ cảnh 1M sẽ chỉ là một dự án khoa học — thú vị nhưng không thể phục vụ thương mại. Với chúng, nó là một sản phẩm.

Ý nghĩa của điều này

Dữ liệu 43 ngày từ SemiAnalysis kể ba câu chuyện song song. Đầu tiên, lợi thế hệ sinh thái của Nvidia vẫn là cấu trúc khổng lồ: CUDA hoạt động, Ngày 0, mọi lúc, và phần cứng thực sự đi trước. Thứ hai, Huawei đã thu hẹp hoàn toàn khoảng cách về mức độ sẵn sàng phần mềm — một sự thay đổi lịch sử với các tác động địa chính trị sẽ diễn ra trong thế hệ phần cứng tiếp theo. Thứ ba, phần cứng của AMD có khả năng nhưng ROCm stack phần mềm vẫn là một nút thắt cổ chai đòi hỏi những nỗ lực kỹ thuật xuất thần để vượt qua cho mỗi mô hình biên giới mới — một sự cải thiện 110,5 lần trong 26 ngày là ấn tượng, nhưng nó không nên là điều cần thiết.

Bức tranh lớn hơn thuộc về các kiến trúc sư. Hybrid attention CSA + HCA của DeepSeek không chỉ cải thiện hiệu quả — nó thay đổi về cơ bản những gì khả thi về mặt thương mại để phục vụ. Khi một mô hình 1,6 nghìn tỷ tham số với ngữ cảnh triệu token có giá chỉ vài xu cho mỗi triệu token trên phần cứng phù hợp, cuộc trò chuyện sẽ chuyển từ "chúng ta có thể làm điều này không?" sang "chúng ta sẽ xây dựng gì với nó?"