Wan-Animate-2 erklärt: Animation ohne Posenskelett

Was ist Wan-Animate-2?

Wan-Animate-2 ist ein offenes System des Tongyi Lab von Alibaba für die Charakteranimation. Es nimmt ein Referenzbild oder eine Referenzfigur und überträgt die Bewegung aus einem sogenannten Steuerungsvideo auf diese Figur. Gesicht, Erscheinung und Identität sollen dabei möglichst stabil bleiben. Die zentrale Neuerung: Die Bewegung wird nicht zuerst in ein Posenskelett oder eine komprimierte Bewegungsbeschreibung übersetzt, sondern direkt innerhalb eines neu entwickelten Diffusion Transformers gelernt. 1

Damit zielt Alibaba auf eine bekannte Schwachstelle generativer Videomodelle: Eine Figur kann zwar einzelne beeindruckende Szenen erzeugen, verliert aber bei längeren Bewegungsabläufen schnell ihre Identität oder produziert fehlerhafte Hände und Gliedmaßen.

Warum der direkte Videoeingang wichtig ist

Viele Animationspipelines extrahieren zunächst Körperpunkte und Gelenke. Dieser Zwischenschritt kann jedoch Fehler verursachen: Wird eine Hand falsch erkannt oder ein Körperteil nur unvollständig lokalisiert, kann sich der Fehler durch die gesamte Animation ziehen. Eine zusätzliche Kompression der Bewegungsinformationen kann außerdem feine Details von Händen, Gesichtsausdruck oder Interaktionen unterdrücken.

Wan-Animate-2 verarbeitet stattdessen die visuellen latenten Informationen des Steuerungsvideos direkt. Die Architektur verwendet einen dualen Diffusion Transformer: Ein sauberer Referenz- beziehungsweise Bewegungszweig liefert Informationen an den verrauschten Denoising-Zweig. Nach Angaben der Autoren bleiben dadurch feinere räumlich-zeitliche Hinweise erhalten, was die Bewegungs- und Identitätskonsistenz verbessern soll. 1

Praktisch bedeutet das: Das Modell muss die Bewegung nicht erst auf eine vereinfachte Skelettdarstellung reduzieren. Gerade bei komplizierten Handbewegungen, Gesichtsausdrücken und Kontakten zwischen Figuren kann dieser Verzicht auf einen Zwischenrepräsentation Vorteile bringen.

Hände, Gliedmaßen und unterschiedliche Figurentypen

Die Autoren führen die bessere Artikulation von Händen sowie weniger verzerrte oder fehlende Gliedmaßen darauf zurück, dass die feingranularen visuellen Bewegungsinformationen erhalten bleiben. Die vorgestellten Ergebnisse umfassen außerdem unterschiedliche Figurenstile, Körperformen, Bewegungen und Szenen mit mehreren Personen. 1

Das ist allerdings keine Garantie für jedes beliebige Eingabevideo. Die Resultate stammen aus den im Paper beschriebenen Tests und Vergleichen; wie robust das Modell bei schwierigen, unaufgeräumten oder ungewöhnlichen Aufnahmen arbeitet, muss sich in der breiten Nutzung erst zeigen.

Kameraperspektive per Text ändern

Eine weitere Funktion ist die textgesteuerte Steuerung des Blickwinkels. Dafür beschreibt das Paper eine Viewpoint-LoRA, die mit synthetischen Mehransichtsdaten aus der Unreal Engine trainiert wurde. Sie soll die Perspektive der Ausgabekamera von der Kamera des Steuerungsvideos entkoppeln. 1

Nutzer können dadurch einen anderen Kamerawinkel anfordern, ohne eine neue Performance für das Steuerungsvideo aufzunehmen oder das Basismodell neu zu trainieren. Berichte zur Veröffentlichung nennen außerdem Unterstützung für mehrere Figuren und verschiedene Kameraszenarien. 3

Was bedeutet „Echtzeit“ bei Wan-Animate-2?

Die Echtzeitfähigkeit ist vor allem eine Eigenschaft der destillierten Variante Wan-Animate-2-Lite und nicht des vollständigen Base-Modells. Das Paper beschreibt dafür einen mehrstufigen Beschleunigungsprozess aus Teacher-Forcing-Training, einem Fehlerpuffer und Self-Forcing-Destillation mit abschnittsweiser Rückpropagation. So kann die Ausgabe autoregressiv in Videoblöcken gestreamt werden. 1

Als Messwert nennt die Veröffentlichung 24 Bilder pro Sekunde bei einer Auflösung von 400 × 720 Pixeln auf vier H100-GPUs. 18 Das ist für ein offenes Animationssystem bemerkenswert, sollte aber nicht mit „720p-Echtzeit auf einem gewöhnlichen Heim-PC“ gleichgesetzt werden. Hardwarebedarf und Speicherverbrauch bleiben für viele lokale Anwender eine entscheidende Hürde.

Wie belastbar sind die SOTA-Versprechen?

Alibabas Paper berichtet qualitative Vergleiche und Nutzerstudien, in denen Wan-Animate-2 mit proprietären Angeboten wie ByteDances Dreamina und Kuaishous KLING MotionControl konkurrenzfähig abschneidet. Auch die Berichterstattung zur Veröffentlichung spricht von einer vergleichbaren Leistung. 13

Solche Ergebnisse sind dennoch mit Vorsicht zu lesen. Es handelt sich um von den Entwicklern präsentierte Untersuchungen und nicht um einen unabhängigen, einheitlich standardisierten Benchmark. Die Bezeichnung „kommerzieller SOTA“ – also Spitzenleistung auf dem Niveau führender kommerzieller Systeme – ist daher ein starkes, aber vorläufiges Urteil.

Warum die lokale Verfügbarkeit relevant ist

Wan-Animate-2 wurde mit Gewichten, Code und Inferenzwerkzeugen unter der permissiven Apache-2.0-Lizenz veröffentlicht. 12 Entwickler können das System dadurch untersuchen, selbst hosten, anpassen und in eigene Produktionsabläufe integrieren, anstatt ausschließlich auf eine geschlossene Cloud-Oberfläche oder eine Abrechnung pro Videosekunde angewiesen zu sein.

Das ist mehr als eine Lizenzfrage. Kontrollierbare Figurenanimation gilt als praktische Engstelle zwischen einzelnen KI-Videoclips und tatsächlich nutzbaren Produktionen. Eine Figur muss über viele Frames hinweg erkennbar bleiben, Hände und Interaktionen müssen funktionieren, Kamerabewegungen müssen steuerbar sein und die Ausgabe darf nicht zu langsam werden. Ein lokal verfügbares Modell erlaubt es Communitys, genau um diese Punkte herum eigene Werkzeuge zu entwickeln – etwa Nodes, Maskierungs- und Compositing-Workflows, speichersparende Ausführung oder Integrationen in bestehende Videopipelines.

Ob Wan-Animate-2 tatsächlich zum Standard im Open-Source-Bereich wird, hängt deshalb nicht allein von den Demo-Videos ab. Entscheidend sind die Qualität außerhalb kuratierter Beispiele, die Reproduzierbarkeit, die Kosten geeigneter Hardware, Fragen zu Trainingsdaten und die Geschwindigkeit, mit der Projekte wie ComfyUI oder andere Entwicklerwerkzeuge das Modell zuverlässig einbinden.

Wie passt Wan3.0 dazu?

Wan-Animate-2 und Wan3.0 lösen unterschiedliche Aufgaben. Wan-Animate-2 konzentriert sich auf die Performance einer Figur und die Kontrolle ihrer Bewegung. Wan3.0 adressiert dagegen den Eingang eines Unternehmens- oder Kreativ-Workflows: Alibaba zufolge kann das Modell unter anderem Dokumente, Tabellen, Präsentationen und Webseiten neben klassischen multimodalen Eingaben verarbeiten und daraus Videos von bis zu 30 Sekunden erzeugen. 2

Zusammengenommen weisen die beiden Systeme auf einen möglichen Ablauf hin, bei dem Geschäftsinhalte zunächst in Videomaterial überführt und anschließend mit kontrollierten Figuren oder Performances verbunden werden. Daraus folgt jedoch nicht, dass bereits eine integrierte End-to-End-Produktionssuite existiert: Wan3.0 ist ein separat bereitgestelltes Produkt, während Wan-Animate-2 die Charakteranimation abdeckt. 2

Das eigentliche Signal für die Branche

Die Bedeutung von Wan-Animate-2 liegt weniger in einer einzelnen 24-fps-Demo als in der Kombination aus direkter Videoverarbeitung, offener Lizenz, Kamera- und Mehrfigurensteuerung sowie einer Variante für Streaming. Damit verschiebt Alibaba Charakteranimation von einer weitgehend geschlossenen Plattformfunktion in Richtung einer untersuchbaren und selbst betreibbaren Basistechnologie.

Ob daraus schnell ein verbreiteter Open-Source-Stack entsteht, wird die nächste Entwicklungsrunde zeigen: durch robustere Community-Integrationen, effizientere Inferenz und Lösungen für Verbraucher-GPUs. Die Veröffentlichung macht diese Entwicklung möglich – sie ersetzt aber nicht die praktische Arbeit, die für verlässliche Produktionsqualität noch nötig ist.