Як SparkDiffusion прискорює генерацію відео Wan

SparkDiffusion — відкрита система прискорення відеомоделей Wan, розроблена за участі дослідників Пекінського університету, Університету Цінхуа та Alibaba. Вона поєднує три підходи: скорочує кількість обчислень уваги, зменшує число кроків генерації та прискорює виконання кожного кроку за допомогою FP8-обчислень і об’єднаних ядер. 68

За заявленими результатами, один тест Wan 2.1 дав прискорення приблизно у 265 разів. Такий показник стосується конкретного відео, моделі та відеокарти — його не варто сприймати як універсальну швидкість SparkDiffusion для будь-якого запиту. 68

Що таке «пастка високої розрідженості»

Моделі дифузії для відео обробляють довгі послідовності просторових і часових даних. Значну частину обчислень у них може забирати механізм уваги — спосіб, у який модель враховує зв’язки між елементами послідовності. Розріджена увага залишає лише частину таких взаємодій, щоб зменшити обчислювальне навантаження.

Але, за описом дослідників SparkDiffusion, за надзвичайно високої розрідженості метрика навчання може вводити в оману: похибка на окремих кроках зменшується, тоді як готове відео перестає ставати кращим або навіть втрачає якість. Цю невідповідність між сигналом під час навчання та кінцевим результатом команда називає «пасткою високої розрідженості». 818

Запропонований підхід — спершу коротко навчити розріджену модель сформувати базове уявлення про структуру, а потім скоригувати траєкторію генерації за допомогою дистиляції, орієнтованої на кінцевий результат. 8

Як RoLA, CrossDistill і FP8 працюють разом

SparkDiffusion не покладається на одну оптимізацію. Кожен компонент скорочує іншу частину загального часу генерації:

• RoLA зменшує обсяг обчислень уваги. Це навчений підхід до розрідженої уваги, що допомагає моделі працювати лише з меншою частиною взаємодій. Проєкт повідомляє про розрідженість уваги до 97% у деяких конфігураціях. 2811
• CrossDistill скорочує кількість кроків генерації. Дистиляція, змішана за траєкторією, дає змогу створити модель, яка генерує відео за кілька кроків. Описана конфігурація використовує три кроки й обходиться без classifier-free guidance — поширеного методу керування генерацією. 1810
• FP8-обчислення та об’єднані ядра прискорюють кожен крок. Вони зменшують вартість обчислень, які залишаються після скорочення уваги та числа кроків. 8

Отже, заявлене прискорення виникає завдяки поєднанню трьох змін: модель обчислює менше, проходить менше кроків і швидше виконує решту роботи. Його не можна приписати лише показнику розрідженості 97%. 8

Що показали тести швидкості

У тесті з 81 кадром і роздільністю 720p для Wan 2.1 T2V 14B час генерації скоротився з 4 769 до 18 секунд на одній RTX 5090 — приблизно у 265 разів. Для порівняння на H100 у джерелі наведено зміну з 1 757 до 8 секунд, або приблизно у 220 разів. Це результати конкретних тестів на зазначеному обладнанні, а не обіцянка такої самої швидкості в інших умовах. 6

Для іншої конфігурації — Wan 2.1 1.3B із роздільністю 480p — повідомляють про прискорення приблизно у 140 разів. Різниця між результатами ще раз показує, чому важливо враховувати розмір моделі та роздільність, а не лише найбільше число з заголовка. 57

А що з якістю відео?

Розробники стверджують, що SparkDiffusion зберігає високу візуальну якість навіть за значної розрідженості. Водночас наведені показники швидкості самі по собі не доводять, що якість буде такою самою для кожного запиту, роздільності чи варіанта моделі. 8

Сама «пастка високої розрідженості» підкреслює це застереження: поліпшення навчальної метрики на окремому кроці не обов’язково означає поліпшення готового відео. Тож заяви про швидкість і якість варто співвідносити саме з перевіреними конфігураціями, а не вважати універсальним порівнянням із базовою моделлю Wan. 818

Які моделі доступні та що далі

Опубліковані контрольні точки SparkWan охоплюють Wan 2.1 T2V 14B у версіях 480p і 720p, а також Wan 2.2 T2V A14B у версії 480p. Підтримувані рівні розрідженості різняться: наприклад, для контрольної точки Wan 2.1 480p зазначено 90%, для версій 720p — до 95% або 97%, а для Wan 2.2 480p — діапазон від 90% до 95%. Отже, 97% — не параметр, доступний для кожної опублікованої моделі. 9101112

Проєкт описує SparkDiffusion як підхід, який можна застосовувати ширше, ніж у перелічених релізах Wan. Однак доступні матеріали не підтверджують конкретного графіка розширення підтримки або перевірених результатів для майбутніх моделей чи обладнання. 8