Как SparkDiffusion ускоряет генерацию видео Wan

SparkDiffusion — открытый фреймворк для ускорения видеомоделей Wan, разработанный исследователями Пекинского университета, Университета Цинхуа и Alibaba. Он объединяет три подхода: сокращает объём вычислений внимания, уменьшает число шагов генерации и ускоряет выполнение оставшихся вычислений с помощью FP8 и объединённых ядер. 68

Команда сообщает об ускорении до 265 раз в одном тесте Wan 2.1. Это результат для конкретной модели, разрешения, ролика и видеокарты, а не обещание такого же выигрыша для любой генерации. 68

В чём «ловушка высокой разреженности»

При генерации видео диффузионная модель обрабатывает длинные последовательности визуальных данных, и вычисление внимания становится затратной частью процесса. Разреженное внимание позволяет выполнять меньше таких операций. Однако исследователи описывают проблему, возникающую при чрезмерной разреженности: ошибка на отдельных этапах обучения может продолжать снижаться, хотя готовое видео уже не становится лучше и иногда теряет качество. 18

Это расхождение между промежуточным сигналом обучения и финальным результатом авторы называют «ловушкой высокой разреженности». Их подход — сначала ненадолго обучить разреженную модель, чтобы сформировать грубое представление о данных, а затем применить дистилляцию, направленную на исправление траектории генерации и итогового результата. 8

Как три метода ускоряют генерацию

Вместо одной оптимизации SparkDiffusion сокращает затраты на разных этапах работы модели:

• RoLA уменьшает объём вычислений внимания. Это подход к разреженному вниманию, который позволяет модели сохранять ограниченный набор взаимодействий. В некоторых конфигурациях проект заявляет разреженность внимания до 97%. 2811
• CrossDistill сокращает число шагов. Дистилляция траектории превращает модель в генератор, которому требуется меньше шагов. Проект описывает генерацию за три шага без classifier-free guidance — дополнительного метода управления генерацией. 1810
• Объединённые FP8-ядра ускоряют оставшиеся вычисления. FP8 — формат вычислений с меньшей точностью, а объединение операций помогает сократить время их выполнения. 8

Общий выигрыш складывается из сочетания этих изменений: модель выполняет меньше операций внимания, проходит меньше шагов и быстрее исполняет оставшуюся работу. Его нельзя объяснить одной лишь разреженностью в 97%. 8

Что показывают тесты скорости

В тесте Wan 2.1 T2V 14B — модели для преобразования текста в видео — ролик длиной 81 кадр в разрешении 720p создавался 18 секунд вместо 4 769 на одной RTX 5090. Это примерно 265-кратное ускорение. Для сравнения на H100 приводятся значения 8 секунд вместо 1 757, то есть около 220 раз. Результаты относятся к описанным тестам и оборудованию. 6

Для Wan 2.1 1.3B в разрешении 480p проект также сообщает об ускорении примерно в 140 раз. Сопоставлять эти цифры напрямую не стоит: они относятся к разным размерам моделей и разрешениям. 57

Что известно о качестве видео

Авторы заявляют, что SparkDiffusion сохраняет высокое визуальное качество при сильной разреженности. Но показатели скорости сами по себе не доказывают, что результат будет сопоставим с исходной плотной моделью для любого запроса, разрешения или варианта Wan. 8

Сама «ловушка высокой разреженности» подчёркивает это ограничение: улучшение промежуточной ошибки обучения не обязательно означает, что финальный ролик станет лучше. Поэтому заявления о скорости и качестве корректнее рассматривать применительно к конфигурациям, которые команда проверяла. 18

Какие модели доступны и чего ждать дальше

В опубликованных контрольных точках есть Wan 2.1 T2V 14B для разрешений 480p и 720p, а также Wan 2.2 T2V A14B для 480p. Поддерживаемая разреженность различается: для варианта Wan 2.1 480p указано 90%, для опубликованных вариантов 720p — до 95% или 97%, а для Wan 2.2 480p — от 90% до 95%. Значит, максимальные 97% нельзя считать настройкой для всех выпущенных моделей. 9101112

Проект описывает SparkDiffusion как фреймворк, который можно применять и за пределами перечисленных моделей Wan. Однако доступные источники не подтверждают конкретных сроков или проверенных результатов для будущих моделей и оборудования. 8