Cómo SparkDiffusion acelera la generación de vídeo con Wan

SparkDiffusion es un sistema de código abierto para acelerar los modelos de vídeo Wan, desarrollado por investigadores de la Universidad de Pekín, la Universidad Tsinghua y Alibaba. Combina atención dispersa, destilación en pocos pasos y kernels fusionados de precisión FP8. El equipo informa de una aceleración de hasta 265 veces en una prueba concreta con Wan 2.1; no es una garantía para cualquier modelo, vídeo o tarjeta gráfica. 68

El problema de la alta dispersidad

Los modelos de difusión de vídeo procesan secuencias largas de información visual, y calcular la atención entre sus elementos puede requerir mucho trabajo. La atención dispersa reduce el número de interacciones que se calculan. Pero los investigadores describen un efecto no deseado cuando la dispersidad es extrema: la pérdida medida durante cada paso del entrenamiento puede seguir bajando mientras la calidad del vídeo final se estanca o empeora. 18

A ese desajuste lo llaman «problema de la alta dispersidad». La respuesta de SparkDiffusion es un proceso por etapas: primero, un breve calentamiento adapta el modelo disperso para que forme una representación general; después, una destilación busca corregir la trayectoria de generación y el resultado final. 8

Tres técnicas, tres partes del trabajo

El sistema no depende de una sola optimización. Cada componente reduce un coste distinto:

• RoLA reduce los cálculos de atención. Es el método de atención dispersa aprendido que usa SparkDiffusion para conservar un conjunto más pequeño de interacciones. El proyecto informa de hasta un 97 % de dispersidad en algunas configuraciones. 2811
• CrossDistill reduce el número de pasos. Esta destilación de trayectorias mixtas permite crear modelos que generan en pocos pasos. El sistema describe inferencia en tres pasos sin guía classifier-free (CFG), y uno de los checkpoints publicados de Wan 2.1 está identificado como modelo de tres pasos. 1810
• Los kernels fusionados FP8 abaratan cada paso. Combinan cálculos de menor precisión con operaciones fusionadas para acelerar el trabajo restante. 8

La aceleración total resulta de sumar estos cambios: se calcula menos atención, se hacen menos pasos y cada paso se ejecuta con mayor rapidez. No se debe atribuir el resultado únicamente al porcentaje de dispersidad. 8

Qué muestran las cifras de velocidad

En una prueba con Wan 2.1 T2V de 14.000 millones de parámetros, para generar un vídeo de 81 fotogramas a 720p, el tiempo indicado bajó de 4.769 segundos a 18 segundos en una sola RTX 5090: unas 265 veces más rápido. En una comparación con una H100, pasó de 1.757 segundos a 8, aproximadamente 220 veces más rápido. Son resultados de pruebas con modelos y hardware especificados, no promesas de rendimiento para otros equipos o usos. 6

El proyecto también informa de una aceleración de alrededor de 140 veces para una configuración de Wan 2.1 de 1.300 millones de parámetros a 480p. La diferencia entre cifras subraya por qué conviene fijarse en el modelo y la resolución, además del número más llamativo. 57

¿Qué se sabe de la calidad del vídeo?

El proyecto afirma que SparkDiffusion mantiene una calidad visual sólida incluso con alta dispersidad. Sin embargo, las cifras de velocidad por sí solas no demuestran que la calidad sea equivalente en todos los prompts, resoluciones o modelos. El propio problema de la alta dispersidad muestra que mejorar una métrica de entrenamiento paso a paso no garantiza un mejor vídeo final. 818

Por tanto, las afirmaciones sobre velocidad y calidad deben entenderse dentro de las configuraciones evaluadas. Los resúmenes de las pruebas disponibles no bastan para concluir que cada vídeo generado igualará al de la versión densa de Wan.

Modelos disponibles y alcance

Los checkpoints publicados incluyen Wan 2.1 T2V de 14.000 millones de parámetros a 480p y 720p, y Wan 2.2 T2V A14B a 480p. Los niveles de dispersidad admitidos cambian según la versión: el checkpoint de Wan 2.1 a 480p admite un 90 %, mientras que las variantes de 720p llegan a un 95 % o un 97 %; el de Wan 2.2 a 480p admite entre un 90 % y un 95 %. Por eso, no debe darse por hecho que cada checkpoint permite alcanzar el 97 %. 9101112

Los responsables presentan SparkDiffusion como un marco que podría aplicarse más allá de los modelos Wan publicados. La información disponible no confirma un calendario ni resultados verificados para futuros modelos o equipos. 8