SparkDiffusion giúp Wan tạo video nhanh hơn bằng cách nào?

SparkDiffusion là khung tăng tốc mã nguồn mở dành cho các mô hình tạo video Wan, do các nhà nghiên cứu tại Đại học Bắc Kinh, Đại học Thanh Hoa và Alibaba phát triển. Thay vì chỉ tối ưu một khâu, hệ thống kết hợp attention thưa, chưng cất để giảm số bước suy luận và kernel hợp nhất FP8. Nhóm nghiên cứu báo cáo mức tăng tốc tối đa 265 lần trong một thử nghiệm Wan 2.1 cụ thể; con số này không đồng nghĩa mọi mô hình, video hay phần cứng đều đạt tốc độ tương tự. 68

Kết quả 265 lần đến từ đâu?

Với Wan 2.1 T2V 14B — mô hình chuyển văn bản thành video — thử nghiệm tạo video 81 khung hình ở độ phân giải 720p mất 4.769 giây trên một GPU RTX 5090 trước khi tăng tốc, và 18 giây với SparkDiffusion, tương đương khoảng 265 lần nhanh hơn. Một phép so sánh được báo cáo trên H100 giảm từ 1.757 giây xuống 8 giây, tức khoảng 220 lần. Đây là kết quả của những cấu hình phần cứng và tác vụ cụ thể, không phải cam kết hiệu năng cho mọi trường hợp. 6

Khung này cũng báo cáo mức tăng tốc khoảng 140 lần với Wan 2.1 1.3B ở 480p. Sự khác biệt giữa các con số cho thấy cần xem kèm tên mô hình và độ phân giải, thay vì chỉ nhìn vào mức tăng tốc cao nhất. 57

“Bẫy độ thưa cao” là gì?

Mô hình khuếch tán video phải xử lý chuỗi thông tin hình ảnh dài, khiến attention — cơ chế tính toán mối liên hệ giữa các phần của dữ liệu — tiêu tốn nhiều tài nguyên. Attention thưa giúp giảm số tương tác cần tính. Nhưng theo nhóm SparkDiffusion, khi độ thưa quá cao, loss đo theo từng bước huấn luyện vẫn có thể giảm trong khi video hoàn chỉnh không khá lên, thậm chí chất lượng còn đi xuống. 18

Nhóm gọi sự lệch pha này là “bẫy độ thưa cao”: chỉ số ở từng bước không phản ánh chắc chắn chất lượng đầu ra cuối cùng. Cách tiếp cận của SparkDiffusion là huấn luyện theo từng giai đoạn: trước hết cho mô hình thưa một giai đoạn khởi động ngắn để hình thành biểu diễn khái quát, sau đó dùng chưng cất hướng vào quỹ đạo tạo video và kết quả cuối. 8

RoLA, CrossDistill và FP8 phối hợp ra sao?

• RoLA giảm lượng tính toán attention. Đây là phương pháp attention thưa có khả năng học cách giữ lại một phần tương tác cần thiết. SparkDiffusion báo cáo độ thưa attention lên tới 97% ở một số cấu hình. 2811
• CrossDistill giảm số bước suy luận. Phương pháp chưng cất trộn quỹ đạo này tạo ra mô hình sinh video chỉ với vài bước. Dự án mô tả cấu hình suy luận ba bước không dùng classifier-free guidance (CFG), tức bỏ cơ chế hướng dẫn thường cần thêm lượt tính toán; một checkpoint Wan 2.1 cũng được công bố rõ là bản ba bước. 1810
• Kernel hợp nhất FP8 giảm chi phí của mỗi bước còn lại. FP8 là định dạng số độ chính xác thấp hơn; kết hợp với các phép toán được hợp nhất, nó giúp tăng tốc thực thi. 8

Do đó, mức tăng tốc tổng thể đến từ việc tính ít attention hơn, chạy ít bước hơn và thực thi các bước còn lại nhanh hơn — chứ không phải chỉ nhờ độ thưa 97%. 8

Tốc độ nhanh hơn có đồng nghĩa chất lượng ngang bản gốc?

Dự án cho biết SparkDiffusion duy trì chất lượng hình ảnh tốt ở mức độ thưa cao. Tuy nhiên, riêng số đo tốc độ không chứng minh chất lượng tương đương trong mọi lời nhắc, độ phân giải hay phiên bản mô hình. Chính hiện tượng “bẫy độ thưa cao” cũng cho thấy loss ở từng bước giảm không nhất thiết đồng nghĩa video cuối tốt hơn. 818

Vì vậy, nên hiểu các tuyên bố về tốc độ và chất lượng trong phạm vi những cấu hình đã được đánh giá. Thông tin benchmark được cung cấp chưa đủ để kết luận rằng mọi video tạo ra đều khớp với kết quả của mô hình Wan không dùng attention thưa.

Những mô hình và checkpoint nào đã có?

Các checkpoint được liệt kê gồm Wan 2.1 T2V 14B ở 480p và 720p, cùng Wan 2.2 T2V A14B ở 480p. Mức độ thưa hỗ trợ tùy loại: checkpoint Wan 2.1 480p được nêu ở mức 90%; các bản 720p có phạm vi tới 95% hoặc 97%; bản Wan 2.2 480p hỗ trợ 90%–95%. Vì thế, không nên mặc định mọi checkpoint đều chạy ở mức 97%. 9101112

SparkDiffusion được giới thiệu như một khung có thể mở rộng ra ngoài các bản Wan hiện có. Tuy vậy, những nguồn hiện có không xác nhận lịch trình cụ thể hay kết quả đã kiểm chứng cho các mô hình hoặc phần cứng tương lai. 8