Jak SparkDiffusion skraca generowanie wideo z Wan

SparkDiffusion to otwarty framework przyspieszający generowanie wideo za pomocą modeli Wan. Opracowali go badacze z Uniwersytetu Pekińskiego, Uniwersytetu Tsinghua i Alibaba. Łączy trzy techniki: rzadką uwagę, destylację modelu do niewielu kroków oraz skompilowane jądra obliczeniowe FP8. W konkretnym teście Wan 2.1 uzyskano nawet 265-krotne przyspieszenie, ale nie oznacza to, że każdy model, klip i zestaw sprzętowy będzie działać równie szybko. 68

Na czym polega „pułapka wysokiej rzadkości”?

Modele dyfuzyjne do generowania wideo przetwarzają długie sekwencje informacji wizualnych, a obliczanie uwagi jest kosztowne. Rzadka uwaga ogranicza liczbę analizowanych zależności między elementami sekwencji. Problem pojawia się przy bardzo wysokim poziomie rzadkości: lokalna strata treningowa może nadal spadać, choć końcowe wideo przestaje być lepsze albo wręcz traci jakość. 18

Badacze nazywają tę rozbieżność „pułapką wysokiej rzadkości”. Ich rozwiązanie jest etapowe: najpierw krótko dostrajają rzadki model, by nauczył się ogólnego zarysu, a następnie stosują destylację ukierunkowaną na poprawę końcowego przebiegu generowania. 8

Trzy elementy przyspieszenia

SparkDiffusion optymalizuje różne części procesu, zamiast polegać na jednej sztuczce:

• RoLA ogranicza obliczenia uwagi. To uczona metoda rzadkiej uwagi, która pozwala zachować tylko wybrane interakcje. Projekt podaje, że w niektórych konfiguracjach możliwa jest rzadkość uwagi do 97%. 2811
• CrossDistill zmniejsza liczbę kroków generowania. Destylacja mieszająca trajektorie tworzy model działający w niewielu krokach. SparkDiffusion opisuje inferencję w trzech krokach, bez classifier-free guidance (CFG) — dodatkowego mechanizmu wykorzystywanego przy generowaniu. Wśród udostępnionych modeli Wan 2.1 jest checkpoint oznaczony jako trzyetapowy. 1810
• Jądra FP8 przyspieszają pozostałe obliczenia. Niższa precyzja obliczeń i łączenie operacji w jądrach obliczeniowych mają skrócić czas wykonania poszczególnych kroków. 8

Przyspieszenie wynika z połączenia tych metod: model wykonuje mniej obliczeń uwagi, potrzebuje mniej kroków, a pozostałe obliczenia są realizowane sprawniej. Nie jest to efekt samego osiągnięcia 97-procentowej rzadkości. 8

Co pokazują testy wydajności?

W teście Wan 2.1 T2V 14B — modelu tworzącego wideo na podstawie tekstu — wygenerowanie klipu o długości 81 klatek w rozdzielczości 720p zajęło 18 sekund zamiast 4769 sekund na pojedynczej karcie RTX 5090. To około 265 razy szybciej. W porównaniu na karcie H100 czas spadł z 1757 do 8 sekund, czyli około 220 razy. Są to wyniki dla opisanych konfiguracji sprzętu i modelu, a nie gwarancja podobnego przyspieszenia w innych warunkach. 6

Projekt podaje też około 140-krotne przyspieszenie dla Wan 2.1 1.3B w rozdzielczości 480p. Różne wyniki pokazują, dlaczego warto sprawdzać nie tylko nagłówek, ale też konkretny model i rozdzielczość użyte w teście. 57

A co z jakością wideo?

Twórcy projektu deklarują, że SparkDiffusion zachowuje wysoką jakość obrazu przy dużej rzadkości uwagi. Sama szybkość nie dowodzi jednak, że jakość będzie taka sama dla każdego promptu, modelu i rozdzielczości. Opisana przez badaczy pułapka wysokiej rzadkości pokazuje zresztą, że poprawa lokalnej miary treningowej nie musi oznaczać lepszego końcowego filmu. 818

Dlatego wyniki dotyczące szybkości i jakości należy odnosić do przetestowanych konfiguracji. Dostępne podsumowania benchmarków nie wystarczają, by stwierdzić, że każde wygenerowane wideo dorówna gęstemu modelowi Wan.

Jakie modele są dostępne?

Udostępnione checkpointy obejmują Wan 2.1 T2V 14B w rozdzielczościach 480p i 720p oraz Wan 2.2 T2V A14B w 480p. Obsługiwany poziom rzadkości zależy od checkpointu: wariant Wan 2.1 480p wymienia 90%, wybrane warianty 720p — do 95% lub 97%, a Wan 2.2 480p — od 90% do 95%. Nie należy więc zakładać, że każdy udostępniony model obsługuje 97-procentową rzadkość. 9101112

Projekt przedstawia SparkDiffusion jako rozwiązanie, które można rozwijać poza wymienione modele Wan. Dostępne źródła nie potwierdzają jednak konkretnego harmonogramu ani wyników dla przyszłych modeli czy sprzętu. 8