Wie SparkDiffusion die Videogenerierung mit Wan beschleunigt

SparkDiffusion ist ein Open-Source-Framework, das die Videogenerierung mit Wan-Modellen beschleunigen soll. Entwickelt wurde es von Forschenden der Peking-Universität, der Tsinghua-Universität und Alibaba. Der Ansatz verbindet sparse Attention, Destillation auf wenige Generierungsschritte und FP8-Kernels. Das Team berichtet für einen bestimmten Wan-2.1-Benchmark von einer bis zu 265-mal schnelleren Generierung. Dieser Spitzenwert ist kein allgemeines Versprechen für jedes Modell, Video oder Hardware-Setup. 68

Was bedeutet die „High-Sparsity-Falle“?

Videodiffusionsmodelle verarbeiten lange Sequenzen visueller Informationen. Dabei kann die Attention – also die Berechnung, welche Teile der Eingabe für andere Teile relevant sind – einen großen Teil des Rechenaufwands ausmachen. Sparse Attention beschränkt diese Berechnungen auf eine kleinere Auswahl von Verknüpfungen.

Bei extrem hoher Sparsity kann laut den Forschenden jedoch eine Lücke entstehen: Der Trainingsverlust für einzelne Schritte sinkt weiter, während die Qualität des fertigen Videos nicht mehr besser wird oder sogar nachlässt. Dieses Problem nennen sie die „High-Sparsity-Falle“. 18

SparkDiffusion setzt deshalb auf ein gestuftes Vorgehen: Zunächst wird das sparse Modell kurz aufgewärmt, damit es eine grobe Vorhersage lernt. Anschließend soll eine gezielte Destillation Fehler im Verlauf der Generierung und im Endergebnis korrigieren. 8

Drei Bausteine, die zusammenarbeiten

SparkDiffusion versucht nicht, die Generierung mit einer einzelnen Optimierung zu beschleunigen. Die Komponenten greifen an unterschiedlichen Stellen an:

• RoLA verringert den Attention-Aufwand. Die gelernte sparse-Attention-Methode soll nur einen kleineren Teil der möglichen Interaktionen berechnen. Für bestimmte Konfigurationen gibt das Projekt eine Attention-Sparsity von bis zu 97 Prozent an. 2811
• CrossDistill spart Generierungsschritte. Die Methode destilliert den Generierungsverlauf in ein Modell mit wenigen Schritten. SparkDiffusion beschreibt eine dreistufige Inferenz ohne Classifier-Free Guidance (CFG); ein veröffentlichter Wan-2.1-Checkpoint ist ausdrücklich als Drei-Schritt-Modell gekennzeichnet. 1810
• FP8-Kernels senken den Aufwand pro Schritt. Niedrigere Rechengenauigkeit und zusammengefasste Kernel-Operationen sollen die verbleibende Inferenz zusätzlich beschleunigen. 8

Der Gesamteffekt entsteht durch das Zusammenspiel: weniger Attention-Berechnungen, weniger Generierungsschritte und eine schnellere Ausführung der verbleibenden Arbeit. Er lässt sich nicht allein mit der Sparsity von bis zu 97 Prozent erklären. 8

Was zeigen die Geschwindigkeitswerte?

Im berichteten Benchmark für ein 81-Frame-Video in 720p mit Wan 2.1 T2V 14B sank die Generierungszeit auf einer einzelnen RTX 5090 von 4.769 auf 18 Sekunden – rund 265-mal schneller. Für einen Vergleich auf einer H100 werden 1.757 Sekunden gegenüber 8 Sekunden angegeben, also etwa das 220-Fache. Das sind Messwerte für die konkret genannten Benchmarks und Grafikkarten, keine Garantie für andere Konfigurationen. 6

Für Wan 2.1 mit 1,3 Milliarden Parametern bei 480p wird außerdem eine Beschleunigung um ungefähr den Faktor 140 berichtet. Auch dieser Wert bezieht sich auf einen eigenen Modell- und Auflösungstest. 57

Und wie steht es um die Videoqualität?

Das Projekt gibt an, dass SparkDiffusion auch bei hoher Sparsity eine starke visuelle Qualität erzielt. Die Geschwindigkeit allein belegt jedoch nicht, dass die Ergebnisse bei allen Eingaben, Auflösungen und Modellvarianten mit einer dichten Wan-Referenz mithalten. Die High-Sparsity-Falle zeigt gerade, warum ein besserer Trainingswert auf Ebene einzelner Schritte nicht automatisch ein besseres fertiges Video bedeutet. 818

Die Qualitäts- und Geschwindigkeitsangaben sollten daher als Ergebnisse der jeweils getesteten Konfigurationen verstanden werden. Aus den verfügbaren Benchmark-Zusammenfassungen lässt sich nicht ableiten, dass jedes erzeugte Video der dichten Wan-Version entspricht.

Welche Modelle und Checkpoints gibt es?

Die aufgeführten Checkpoints umfassen Wan 2.1 T2V 14B mit 480p und 720p sowie Wan 2.2 T2V A14B mit 480p. Die jeweils unterstützte Sparsity ist unterschiedlich: Der gelistete Wan-2.1-Checkpoint für 480p unterstützt 90 Prozent; Varianten für 720p reichen bis 95 beziehungsweise 97 Prozent. Für den Wan-2.2-Checkpoint bei 480p werden 90 bis 95 Prozent genannt. Die 97-Prozent-Einstellung gilt also nicht für jeden veröffentlichten Checkpoint. 9101112

SparkDiffusion wird als Framework vorgestellt, das über die aufgeführten Wan-Veröffentlichungen hinaus erweitert werden könnte. Die verfügbaren Quellen nennen jedoch weder einen verbindlichen Zeitplan noch bestätigte Ergebnisse für künftige Modelle oder Hardware. 8