SparkDiffusion: Wan से वीडियो बनाने में 265× तक तेज़ी का दावा

Wan जैसे वीडियो जनरेशन मॉडल को तेज़ चलाना सिर्फ एक computation घटाने का मामला नहीं है। मॉडल को वीडियो के कई frames और उनके बीच के संबंधों पर काम करना पड़ता है, इसलिए लंबी clips में attention की गणना महँगी हो सकती है। SparkDiffusion इसी काम को कम करने के साथ-साथ generation के steps और हर step की लागत भी घटाने की कोशिश करता है।

बीजिंग विश्वविद्यालय, त्सिंगहुआ विश्वविद्यालय और Alibaba के शोधकर्ताओं का यह ओपन-सोर्स फ्रेमवर्क Wan 2.1 और Wan 2.2 जैसे वीडियो मॉडल के लिए बनाया गया है। 68 इसके तीन मुख्य हिस्से हैं: RoLA से sparse attention, CrossDistill से कम steps में generation, और FP8 fused kernels से तेज़ computation। 8

265× की तेज़ी किस test में दिखी?

दिए गए benchmark में Wan 2.1 T2V 14B से 81-फ्रेम का 720p वीडियो बनाने में एक RTX 5090 पर समय 4,769 सेकंड से घटकर 18 सेकंड बताया गया—करीब 265× का अंतर। H100 के एक अन्य test में समय 1,757 सेकंड से 8 सेकंड हुआ, यानी लगभग 220× तेज़। 6

ये आंकड़े खास model, वीडियो और hardware configuration के लिए हैं; इन्हें हर computer या हर generation पर मिलने वाली गारंटी नहीं समझना चाहिए। Wan 2.1 के 1.3B मॉडल और 480p के एक अलग test में करीब 140× तेज़ी रिपोर्ट की गई है। 57

‘High-sparsity trap’ क्या है?

वीडियो diffusion मॉडल frames के बीच दृश्य जानकारी का हिसाब लगाने के लिए attention का इस्तेमाल करते हैं। Sparse attention में मॉडल सभी संभावित संबंधों की गणना करने के बजाय उनमें से एक छोटा हिस्सा चुनता है। इससे computation घट सकती है।

लेकिन शोधकर्ताओं ने बहुत अधिक sparsity पर एक समस्या देखी: training के दौरान हर step का loss कम होता रह सकता है, जबकि आखिर में बना वीडियो बेहतर होने के बजाय वैसा ही रहे या उसकी गुणवत्ता बिगड़ जाए। इसी विसंगति को “high-sparsity trap” कहा गया है। 818

SparkDiffusion का तरीका चरणबद्ध है: पहले sparse मॉडल को छोटा warm-up दिया जाता है, ताकि वह दृश्य का एक मोटा आधार सीख सके। इसके बाद distillation का इस्तेमाल generation trajectory और अंतिम output को सुधारने के लिए किया जाता है। 8

RoLA, CrossDistill और FP8 साथ कैसे काम करते हैं?

• RoLA attention की गणना घटाता है। यह learned sparse-attention तरीका मॉडल को कम attention interactions पर काम करने देता है। परियोजना कुछ configurations में 97% तक attention sparsity की रिपोर्ट करती है। 2811
• CrossDistill generation steps घटाता है। Trajectory-mixed distillation के जरिए मॉडल को कुछ ही steps में output बनाने के लिए तैयार किया जाता है। SparkDiffusion तीन-step, classifier-free-guidance-free inference का वर्णन करता है। 1810 Classifier-free guidance (CFG) diffusion मॉडल में output को prompt की ओर निर्देशित करने की एक तकनीक है; यहाँ बताए गए configuration में इसका इस्तेमाल नहीं होता।
• FP8 fused kernels हर step की computation तेज़ करते हैं। कम precision में गणना और fused operations का मेल inference की बची हुई लागत घटाने के लिए है। 8

इसलिए 265× का दावा सिर्फ 97% sparsity से नहीं आता। विचार यह है कि कम attention गणना हो, कुल steps भी कम हों और हर step तेज़ चले। 8

वीडियो की गुणवत्ता के बारे में क्या पता है?

परियोजना high-sparsity पर मजबूत visual quality बनाए रखने का दावा करती है। 8 लेकिन सिर्फ speed benchmark से यह साबित नहीं होता कि हर prompt, resolution या model variant में output dense Wan मॉडल जैसा ही होगा। High-sparsity trap की समस्या भी यही दिखाती है कि training का एक metric सुधरने से अंतिम वीडियो की गुणवत्ता अपने-आप बेहतर नहीं मानी जा सकती। 18

इसलिए उपलब्ध गुणवत्ता-संबंधी दावों को उन्हीं configurations तक सीमित समझना बेहतर है जिनका मूल्यांकन किया गया। दिए गए benchmark विवरणों से यह निष्कर्ष नहीं निकाला जा सकता कि हर generated वीडियो reference output से पूरी तरह मेल खाएगा।

कौन-से मॉडल और checkpoints उपलब्ध हैं?

दिए गए checkpoint listings में Wan 2.1 T2V 14B के 480p और 720p विकल्प, और Wan 2.2 T2V A14B का 480p विकल्प शामिल हैं। 9101112 इनके supported sparsity स्तर अलग-अलग हैं: उदाहरण के लिए, Wan 2.1 का 480p checkpoint 90% sparsity के लिए सूचीबद्ध है; 720p के कुछ विकल्प 95% या 97% तक जाते हैं; वहीं Wan 2.2 का सूचीबद्ध 480p विकल्प 90% से 95% तक समर्थन देता है। 9101112

इसलिए 97% sparsity को हर released checkpoint की सुविधा नहीं मानना चाहिए। परियोजना SparkDiffusion को Wan releases से आगे visual generation के लिए भी उपयोगी framework के रूप में पेश करती है, लेकिन उपलब्ध स्रोत भविष्य के मॉडल या hardware के लिए कोई पक्की समय-सीमा या सत्यापित नतीजे नहीं देते। 8