Sådan gør SparkDiffusion Wan-videogenerering hurtigere

SparkDiffusion er et open source-framework, der skal gøre video genereret med Wan-modeller hurtigere. Forskerne bag kommer fra Peking University, Tsinghua University og Alibaba. Metoden kombinerer sparsom attention, destillering til færre genereringstrin og FP8-kernels. 68

I en bestemt benchmark faldt tiden for at generere en video på 81 billeder i 720p med Wan 2.1 fra 4.769 sekunder til 18 sekunder på ét RTX 5090-kort. Det svarer til cirka 265 gange hurtigere. Resultatet gælder den afprøvede model, opløsning og hardware – ikke nødvendigvis andre opsætninger. 6

Hvad er »høj-sparsitet-fælden«?

Videomodeller baseret på diffusion bruger store mængder beregning på attention: modellen vurderer, hvordan forskellige dele af den visuelle sekvens hænger sammen. Sparsom attention skærer ned på antallet af forbindelser, der beregnes, og kan dermed reducere arbejdsbyrden.

Men forskerne beskriver et problem, når sparsiteten bliver meget høj: Træningstabet for de enkelte trin kan blive ved med at falde, selv om den færdige video ikke bliver bedre – eller ligefrem forringes. Det misforhold kalder de »høj-sparsitet-fælden«. 18

SparkDiffusions løsning er trinvist opbygget. Først får den sparsomme model en kort opvarmningsfase, så den kan etablere et groft udgangspunkt. Derefter bruges destillering, der skal korrigere modellens genereringsforløb og det endelige resultat. 8

Tre teknikker, der supplerer hinanden

SparkDiffusion forsøger ikke at hente hele hastighedsgevinsten fra én enkelt optimering. Frameworket kombinerer tre greb:

• RoLA mindsker attention-beregningen. Det er frameworkets tilgang til lært, sparsom attention, hvor modellen bevarer et mindre udvalg af forbindelser. Projektet rapporterer op til 97 procents attention-sparsitet i visse konfigurationer. 2811
• CrossDistill reducerer antallet af trin. Denne metode destillerer genereringsforløbet til en model med få trin. SparkDiffusion beskriver en konfiguration med tre trin uden classifier-free guidance, og et udgivet Wan 2.1-checkpoint er specifikt mærket som en tretrinsmodel. 1810
• FP8 fused kernels sænker omkostningen ved beregningerne. FP8 er en lavere numerisk præcision, mens fused kernels samler beregninger, så de kan udføres mere effektivt. 8

Den samlede hastighedsgevinst kommer altså fra mindre beregning i hvert trin, færre trin og hurtigere afvikling af de resterende beregninger. Den kan ikke tilskrives 97 procents sparsitet alene. 8

Hvad viser hastighedstestene?

For en 81-billeders video i 720p med Wan 2.1 T2V 14B – en model til tekst-til-video – faldt den rapporterede genereringstid fra 4.769 til 18 sekunder på ét RTX 5090-kort. En sammenligning på H100-kort viser et fald fra 1.757 til 8 sekunder, svarende til cirka 220 gange hurtigere. Begge tal gælder specifikke testopsætninger og er ikke en garanti for andre modeller eller arbejdsgange. 6

Frameworket rapporterer også omkring 140 gange hastighedsforøgelse for Wan 2.1 1.3B ved 480p. Forskellen mellem resultaterne understreger, hvorfor tallet »265 gange« bør ses sammen med den konkrete model og opløsning, det gælder. 57

Hvad ved man om videokvaliteten?

Projektet beskriver kvaliteten som stærk ved høj sparsitet, men hastighedstal alene viser ikke, at kvaliteten er uændret på tværs af prompts, opløsninger og modelvarianter. Høj-sparsitet-fælden viser netop, at et bedre træningsmål for de enkelte trin ikke nødvendigvis giver en bedre færdig video. 818

Derfor bør hastigheds- og kvalitetsudsagn læses som resultater for de konfigurationer, der er undersøgt. De tilgængelige benchmarkoplysninger er ikke tilstrækkelige til at konkludere, at enhver genereret video matcher den tætte Wan-reference.

Hvilke modeller er tilgængelige?

De udgivne checkpoints omfatter Wan 2.1 T2V 14B ved 480p og 720p samt Wan 2.2 T2V A14B ved 480p. De understøttede sparsitetniveauer varierer mellem checkpoints: Wan 2.1 ved 480p har en udgave med 90 procents sparsitet, mens nogle 720p-udgaver går op til 95 eller 97 procent. Wan 2.2-udgaven ved 480p dækker 90–95 procent. 9101112

Projektet præsenterer SparkDiffusion som et framework, der kan række ud over de Wan-udgivelser, der er nævnt her. De foreliggende kilder fastslår dog hverken en tidsplan eller verificerede resultater for fremtidige modeller og hardware. 8