Come SparkDiffusion rende più rapida la generazione video con Wan

SparkDiffusion è un framework open source per accelerare i modelli video Wan sviluppato da ricercatori della Peking University, della Tsinghua University e di Alibaba. Combina attenzione sparsa, distillazione in pochi passaggi e kernel FP8 ottimizzati. Il progetto riporta un’accelerazione fino a 265 volte in uno specifico benchmark con Wan 2.1: non è una promessa valida per qualsiasi modello, video o hardware. 68

La «trappola dell’alta sparsità»

I modelli di diffusione video elaborano lunghe sequenze di informazioni visive, e il calcolo dell’attenzione può richiedere molte risorse. L’attenzione sparsa riduce il numero di interazioni che il modello deve calcolare. Ma spingerla al massimo può creare un problema: la perdita misurata durante l’addestramento può continuare a diminuire mentre la qualità del video finito si blocca o peggiora. 18

È questo il fenomeno che i ricercatori chiamano «trappola dell’alta sparsità»: una metrica di addestramento apparentemente migliore non garantisce un risultato finale migliore. La risposta proposta da SparkDiffusion procede per fasi: prima un breve riscaldamento del modello sparso, per costruire una rappresentazione iniziale, poi una distillazione orientata a correggere la traiettoria e il risultato finale della generazione. 8

Tre tecniche, tre modi diversi per risparmiare calcolo

SparkDiffusion interviene su più parti del processo, invece di affidarsi a una singola ottimizzazione:

• RoLA riduce il lavoro di attenzione. È l’approccio di attenzione sparsa appresa usato dal framework. Il progetto dichiara fino al 97% di sparsità in alcune configurazioni: in pratica, vengono calcolate molte meno interazioni rispetto all’attenzione densa. 2811
• CrossDistill riduce il numero di passaggi. Questa distillazione basata sulla traiettoria produce modelli che generano il video in pochi passaggi. SparkDiffusion descrive un’inferenza in tre passaggi senza classifier-free guidance, una tecnica che normalmente richiede valutazioni aggiuntive del modello. Un checkpoint Wan 2.1 pubblicato è indicato come modello a tre passaggi. 1810
• I kernel fusi FP8 riducono il costo di ogni passaggio. La computazione a precisione ridotta, insieme a operazioni fuse, accelera ulteriormente l’esecuzione. 8

Il vantaggio complessivo deriva dalla combinazione: meno calcoli di attenzione, meno passaggi di generazione e un’esecuzione più rapida del lavoro rimanente. Non è corretto attribuire l’intero guadagno al solo 97% di sparsità. 8

Cosa mostrano i benchmark

Nel test riportato per Wan 2.1 T2V 14B, la generazione di un video di 81 fotogrammi a 720p scende da 4.769 a 18 secondi su una singola RTX 5090: circa 265 volte più veloce. Nel confronto riportato su H100, il tempo passa da 1.757 a 8 secondi, circa 220 volte più veloce. Si tratta di risultati riferiti a specifici benchmark e configurazioni hardware, non di garanzie per altri carichi di lavoro. 6

Il progetto riporta anche un’accelerazione di circa 140 volte per Wan 2.1 1.3B a 480p. Il confronto fra i due risultati mostra perché è importante considerare modello e risoluzione insieme al numero in evidenza. 57

E la qualità dei video?

SparkDiffusion dichiara di mantenere una forte qualità visiva anche con livelli elevati di sparsità. Tuttavia, un dato sulla velocità non dimostra che la qualità sia identica per ogni prompt, risoluzione o variante del modello. La stessa trappola dell’alta sparsità evidenzia che migliorare una metrica locale durante l’addestramento non significa necessariamente migliorare il video finale. 818

È quindi più prudente considerare le affermazioni su velocità e qualità come riferite alle configurazioni valutate. Le sintesi dei benchmark disponibili non bastano per concludere che ogni video generato equivalga al risultato del Wan denso di riferimento.

Modelli disponibili e limiti dei checkpoint

I checkpoint pubblicati includono Wan 2.1 T2V 14B a 480p e 720p e Wan 2.2 T2V A14B a 480p. I livelli di sparsità supportati variano: il checkpoint Wan 2.1 a 480p arriva al 90%, mentre le versioni elencate a 720p arrivano al 95% o al 97%; il checkpoint Wan 2.2 a 480p copre dal 90% al 95%. Il 97%, quindi, non è disponibile per ogni checkpoint. 9101112

Il progetto presenta SparkDiffusion come un framework potenzialmente estendibile oltre le versioni Wan già elencate. Le fonti disponibili, però, non indicano una scadenza precisa né risultati verificati per futuri modelli o hardware. 8