Bagaimana SparkDiffusion mempercepat penjanaan video Wan

SparkDiffusion ialah rangka kerja sumber terbuka untuk mempercepat model video Wan, dibangunkan oleh penyelidik dari Universiti Peking, Universiti Tsinghua dan Alibaba. Ia menggabungkan perhatian jarang, penyulingan kepada beberapa langkah dan kernel gabungan FP8. Pasukan projek melaporkan penjanaan sehingga 265 kali lebih pantas dalam satu penanda aras khusus Wan 2.1—bukan jaminan bahawa semua model, video atau perkakasan akan mencapai kelajuan yang sama. 68

Apakah “perangkap sparsiti tinggi”?

Model resapan video memproses urutan maklumat visual yang panjang, jadi operasi perhatian boleh menelan banyak pengiraan. Perhatian jarang mengurangkan bilangan interaksi yang perlu dikira. Namun, penyelidik SparkDiffusion mengenal pasti satu masalah apabila sparsiti dibuat terlalu tinggi: kehilangan latihan bagi setiap langkah boleh terus menurun, sedangkan video akhir tidak bertambah baik atau malah merosot. 18

Percanggahan antara ukuran latihan dengan hasil video itulah yang dinamakan “perangkap sparsiti tinggi”. Penyelesaian yang dicadangkan dibuat secara berperingkat: model jarang terlebih dahulu melalui latihan pemanasan ringkas untuk membentuk gambaran kasar, kemudian disuling supaya trajektori penjanaan akhir dapat diperbetulkan. 8

Tiga teknik yang bekerja bersama

SparkDiffusion menyasarkan beberapa bahagian proses penjanaan, bukannya bergantung pada satu pengoptimuman sahaja:

• RoLA mengurangkan kerja perhatian. Kaedah perhatian jarang yang dipelajari ini membolehkan model mengekalkan sebahagian kecil interaksi perhatian. Projek melaporkan sparsiti perhatian sehingga 97% bagi konfigurasi tertentu. 2811
• CrossDistill mengurangkan bilangan langkah inferens. Kaedah penyulingan berasaskan campuran trajektori ini menghasilkan model yang boleh menjana video dalam beberapa langkah. SparkDiffusion menerangkan inferens tiga langkah tanpa panduan bebas pengelas (CFG), dan satu checkpoint Wan 2.1 yang dikeluarkan dilabelkan sebagai model tiga langkah. 1810
• Kernel gabungan FP8 mengurangkan kos setiap langkah. Pengiraan berketepatan lebih rendah digabungkan dengan kernel khusus untuk mempercepat inferens. 8

Kelajuan keseluruhan datang daripada gabungan ketiga-tiganya: kurang pengiraan perhatian, lebih sedikit langkah penjanaan dan pelaksanaan yang lebih pantas bagi kerja yang masih perlu dibuat. Dakwaan pecutan itu bukan hasil sparsiti 97% semata-mata. 8

Apa yang ditunjukkan oleh ujian kelajuan?

Bagi ujian Wan 2.1 T2V 14B yang menghasilkan video 81 bingkai pada 720p, masa penjanaan dilaporkan turun daripada 4,769 saat kepada 18 saat menggunakan satu RTX 5090—kira-kira 265 kali lebih pantas. Perbandingan yang dilaporkan pada H100 pula turun daripada 1,757 saat kepada 8 saat, atau sekitar 220 kali. Angka ini merujuk penanda aras dan perkakasan tertentu, bukan hasil yang dijamin untuk tetapan lain. 6

Rangka kerja itu turut melaporkan pecutan kira-kira 140 kali bagi ujian Wan 2.1 1.3B pada 480p. Perbezaan ini menunjukkan sebab angka utama perlu dibaca bersama model dan resolusi yang diuji. 57

Bagaimana pula dengan kualiti video?

Projek tersebut menyatakan SparkDiffusion mengekalkan kualiti visual yang baik walaupun pada tahap sparsiti tinggi. Namun, angka kelajuan sahaja tidak membuktikan kualiti setara bagi semua arahan, resolusi atau varian model. “Perangkap sparsiti tinggi” sendiri menunjukkan bahawa penambahbaikan ukuran latihan bagi setiap langkah tidak semestinya menghasilkan video akhir yang lebih baik. 818

Jadi, dakwaan kelajuan dan kualiti wajar dianggap khusus kepada konfigurasi yang dinilai. Ringkasan penanda aras yang tersedia tidak memberikan butiran mencukupi untuk menyimpulkan bahawa setiap video yang dijana akan menyamai rujukan Wan tanpa sparsiti.

Model dan checkpoint yang tersedia

Senarai checkpoint yang diberikan merangkumi Wan 2.1 T2V 14B pada 480p dan 720p, serta Wan 2.2 T2V A14B pada 480p. Julat sparsiti yang disokong berbeza mengikut checkpoint. Contohnya, checkpoint Wan 2.1 480p yang disenaraikan menyokong sparsiti 90%; varian 720p yang disenaraikan pula meliputi sehingga 95% atau 97%. Senarai Wan 2.2 480p meliputi 90% hingga 95%. Maka, tetapan 97% bukan tersedia untuk setiap checkpoint yang dikeluarkan. 9101112

Projek ini membentangkan SparkDiffusion sebagai rangka kerja yang berpotensi digunakan melangkaui keluaran Wan yang disenaraikan. Namun, sumber yang tersedia tidak menetapkan jadual khusus atau mengesahkan keputusan bagi model atau perkakasan masa depan. 8