Så ska SparkDiffusion snabba upp AI-video – utan att tappa slutbilden

SparkDiffusion är ett öppet ramverk för att snabba upp videogenerering med Wan-modeller. Det har tagits fram av forskare från Pekinguniversitetet, Tsinghuauniversitetet och Alibaba. I ett särskilt Wan 2.1-test uppges det ha kortat genereringstiden med upp till 265 gånger – men det är ett resultat för en bestämd modell, upplösning och hårdvara, inte ett löfte om samma fartökning i alla situationer. 68

Från 4 769 sekunder till 18

I testet skapade Wan 2.1 T2V 14B en 81 bildrutor lång video i 720p på 18 sekunder med ett enda RTX 5090-kort. Samma test tog 4 769 sekunder utan SparkDiffusions acceleration. En jämförelse med H100-kort uppges ha gått från 1 757 till 8 sekunder, ungefär 220 gånger snabbare. 6

Även en mindre Wan 2.1-modell på 1,3 miljarder parametrar har testats vid 480p; där rapporteras en fartökning på omkring 140 gånger. Skillnaden mellan resultaten visar varför siffrorna behöver läsas tillsammans med modell och upplösning. 57

Tre tekniker som angriper olika flaskhalsar

SparkDiffusion försöker inte lösa väntetiden med en enda optimering. Ramverket kombinerar tre metoder för att minska mängden beräkning och snabba upp det arbete som återstår. 8

• RoLA glesar ut uppmärksamheten. I en videogenereringsmodell behöver uppmärksamhetsmekanismen väga samband mellan många bild- och tidsdelar. RoLA är SparkDiffusions inlärda metod för att behålla färre sådana samband. Projektet uppger upp till 97 procents gleshet i vissa konfigurationer. 2811
• CrossDistill minskar antalet steg. Metoden destillerar genereringen till en modell som kan skapa video på få steg. En beskriven konfiguration använder tre steg utan classifier-free guidance, en teknik som annars kräver extra modellberäkningar för att styra resultatet. 1810
• FP8-kärnor gör varje steg billigare. Beräkningar med lägre precision kombineras med sammanslagna programkärnor, så att den återstående körningen kan utföras snabbare. 8

Den stora fartökningen uppstår när modellens uppmärksamhet beräknas glesare, färre genereringssteg behövs och varje steg körs effektivare. Den kan alltså inte förklaras av 97 procents gleshet ensam. 8

Problemet med ”hög-sparsitetfällan”

Gles uppmärksamhet kan spara mycket beräkning, men forskarna beskriver en risk när modellen blir extremt gles: träningsförlusten för enskilda steg kan fortsätta sjunka samtidigt som den färdiga videon slutar bli bättre eller försämras. Det är den så kallade hög-sparsitetfällan. 18

SparkDiffusions lösning är stegvis. Först får den glesa modellen en kort uppvärmningsfas för att lära sig en grov struktur. Därefter används destillering som ska korrigera utvecklingen mot den färdiga genereringen, i stället för att enbart optimera signaler från varje enskilt steg. 8

Vad säger resultaten om videokvaliteten?

Projektet beskriver kvaliteten som stark även vid hög gleshet. Men en hastighetsmätning räcker inte för att visa att varje prompt, upplösning eller modellvariant ger samma kvalitet som en tät Wan-modell. Själva hög-sparsitetfällan visar dessutom att en bättre träningsförlust inte automatiskt innebär en bättre slutvideo. 818

Det är därför klokt att se både fart- och kvalitetsuppgifterna som knutna till de konfigurationer som faktiskt testats. De tillgängliga sammanfattningarna ger inte tillräckligt underlag för att slå fast att alla resultat matchar Wan-modellens täta referens.

Vilka modeller finns tillgängliga?

De listade SparkWan-vikterna omfattar Wan 2.1 T2V 14B i 480p och 720p samt Wan 2.2 T2V A14B i 480p. Stödet för gleshet skiljer sig mellan varianterna: 480p-versionen av Wan 2.1 anges stödja 90 procent, medan listade 720p-versioner sträcker sig upp till 95 respektive 97 procent. Wan 2.2-listningen för 480p anger 90–95 procent. Alla modeller stöder alltså inte 97 procent. 9101112

SparkDiffusion beskrivs som ett ramverk som kan användas bredare än de Wan-versioner som listas här. Det tillgängliga underlaget fastställer däremot ingen tidsplan eller verifierade resultat för framtida modeller eller hårdvara. 8