Jak SparkDiffusion zrychluje generování videí ve Wan až 265×

SparkDiffusion je open-source framework pro zrychlení video modelů Wan, který připravili výzkumníci z Pekingské univerzity, univerzity Tsinghua a Alibaby. Spojuje tři přístupy: omezuje výpočty pozornosti, zmenšuje počet kroků při generování a zrychluje zbývající výpočty pomocí FP8 a sloučených výpočetních operací. 68

Tým uvádí až 265násobné zrychlení v konkrétním testu Wan 2.1. Nejde ale o obecnou záruku pro každé video, model ani grafickou kartu.

Co znamená „past vysoké řídkosti“

Video modely založené na difuzi zpracovávají dlouhé posloupnosti obrazových informací. Významnou část výpočtů přitom zabírá pozornost — mechanismus, který modelu pomáhá určovat, jak spolu jednotlivé části vstupu souvisejí. Řídká pozornost omezí počet těchto interakcí, a tím i množství práce.

Při příliš vysoké míře řídkosti však může nastat problém: ztráta měřená během jednotlivých kroků trénování dál klesá, zatímco výsledné video se přestane zlepšovat, nebo se jeho kvalita dokonce zhorší. Právě tento nesoulad výzkumníci označují jako „past vysoké řídkosti“. 18

SparkDiffusion na ni reaguje postupně: nejprve řídký model krátce zahřívá, aby si vytvořil hrubý základ, a následně pomocí destilace upravuje průběh generování s ohledem na konečný výsledek. 8

Jak spolu jednotlivé části fungují

Framework nezrychluje generování jedinou úpravou. Kombinuje několik změn, z nichž každá omezuje jinou část výpočetní zátěže:

• RoLA omezuje výpočty pozornosti. Jde o naučený přístup k řídké pozornosti, který ponechává jen část interakcí. Projekt uvádí až 97% řídkost pozornosti v některých konfiguracích. 2811
• CrossDistill snižuje počet kroků generování. Destilace převádí model na variantu schopnou vytvořit video v několika krocích. Framework popisuje tříkrokové generování bez classifier-free guidance — techniky, která se běžně používá k posílení vlivu textového zadání. Uvolněný kontrolní bod Wan 2.1 v rozlišení 720p je výslovně označen jako tříkrokový. 1810
• FP8 a sloučená výpočetní jádra zlevňují jednotlivé kroky. Výpočty s nižší přesností a sloučení operací pomáhají zrychlit práci, která po předchozích úpravách ještě zbývá. 8

Výsledné zrychlení tedy vzniká jejich kombinací: model počítá méně interakcí, provede méně kroků a zbytek práce vykoná rychleji. Nelze je připsat samotné 97% řídkosti pozornosti. 8

Co ukázaly zveřejněné testy

V testu s Wan 2.1 T2V 14B — modelem pro tvorbu videa z textu — trvala generace 81 snímků v rozlišení 720p na jedné grafické kartě RTX 5090 podle uvedených výsledků 18 sekund místo 4 769 sekund. To odpovídá zhruba 265násobnému zrychlení. U testu na H100 klesl uváděný čas z 1 757 sekund na 8 sekund, tedy přibližně 220násobně. 6

Pro menší model Wan 2.1 s 1,3 miliardy parametrů a rozlišením 480p se uvádí zrychlení přibližně 140×. Rozdílné výsledky připomínají, že samotný násobek nedává smysl bez znalosti modelu, rozlišení a použitého hardwaru. 57

Jde o výsledky konkrétních benchmarků, nikoli o příslib, že se stejně zrychlí každá úloha. Výzkumníci uvádějí, že si metoda při vysoké řídkosti zachovává dobrou vizuální kvalitu, ale samotné časové údaje nepotvrzují shodu s původním modelem u všech zadání, rozlišení nebo variant. 8

Jaké modely jsou k dispozici

Mezi zveřejněnými kontrolními body jsou Wan 2.1 T2V 14B v rozlišení 480p i 720p a Wan 2.2 T2V A14B v rozlišení 480p. Liší se ale podporovanou mírou řídkosti: uvedená varianta Wan 2.1 480p podporuje 90 %, zatímco varianty 720p sahají až k 95 % nebo 97 %. U Wan 2.2 480p je uvedeno rozmezí 90–95 %. Hodnota 97 % tedy není dostupná pro každý zveřejněný kontrolní bod. 9101112

Projekt popisuje SparkDiffusion jako framework, který lze rozvíjet i pro další modely. Dostupné podklady však nepotvrzují konkrétní harmonogram rozšíření ani výsledky pro budoucí modely či hardware. 8