Wan-Animate-2 lleva la animación de personajes en tiempo real al código abierto

Wan-Animate-2 es el sistema abierto de animación de personajes de Alibaba Tongyi Lab. Su función central es sencilla de describir: recibe una imagen o personaje de referencia y un vídeo guía —en el que alguien realiza una actuación— para transferir el movimiento al personaje, procurando mantener su identidad visual. La diferencia técnica está en cómo interpreta ese movimiento: en lugar de extraer primero un esqueleto corporal o resumir la actuación en unas pocas características de movimiento, procesa directamente la información visual del vídeo dentro de un Diffusion Transformer rediseñado. 1

La idea clave: no pasar por un esqueleto intermedio

Los sistemas basados en poses suelen depender de una cadena de detección de puntos corporales. Si el modelo localiza mal una mano, una articulación o una parte del rostro, ese error puede propagarse a la animación final. Además, comprimir el movimiento antes de generarlo puede eliminar detalles sutiles de las manos, las expresiones faciales o la interacción entre personajes.

Wan-Animate-2 intenta evitar esa pérdida. Su arquitectura DiT de doble rama mantiene una rama de referencia y movimiento limpia, alineada con la rama de eliminación de ruido, para conservar señales espaciotemporales más detalladas. En términos prácticos, el modelo puede utilizar más información del vídeo original en vez de trabajar únicamente con una interpretación abstracta de la pose. 1

Manos, extremidades y variedad de personajes

Según los autores, conservar esas dinámicas visuales de grano fino mejora la articulación de las manos y reduce deformaciones o extremidades ausentes. Las pruebas también abarcan distintos estilos de personaje, tipos de cuerpo, movimientos, escenas con varias personas y composiciones menos convencionales. Eso apunta a un rango de uso más amplio que el de muchos sistemas condicionados por poses, aunque no garantiza resultados perfectos con cualquier vídeo de entrada. 1

El soporte para varios personajes permite animar a más de una figura en una misma escena, manteniendo sus identidades y movimientos diferenciados. La ventaja potencial es importante para secuencias de diálogo, coreografías o escenas con interacción, donde los errores de identidad y de contacto suelen hacerse especialmente visibles.

Controlar el ángulo de cámara con texto

Otra de las novedades es el control del punto de vista. Una Viewpoint LoRA condicionada por texto, entrenada con datos sintéticos de múltiples vistas generados en Unreal Engine, separa el ángulo de cámara de la actuación contenida en el vídeo fuente. Así, el usuario puede pedir otro encuadre o perspectiva durante la inferencia sin grabar una nueva actuación ni volver a entrenar el modelo base. 1

Esto no significa que el sistema convierta automáticamente cualquier plano en una producción cinematográfica terminada: la calidad dependerá de la referencia, la escena y la capacidad de la infraestructura para reconstruir las partes que no aparecen en el vídeo original. Pero sí acerca el control de cámara a un flujo de trabajo más flexible.

El streaming a 24 fps tiene una condición importante

La generación en tiempo real corresponde principalmente a Wan-Animate-2-Lite, la variante destilada, y no al modelo Base completo. El artículo describe un proceso de aceleración en tres etapas: preentrenamiento con teacher forcing, un búfer de errores y destilación Self-Forcing con retropropagación por fragmentos. El resultado permite generar y transmitir la animación de forma autoregresiva, por bloques. 1

La cifra comunicada es de 24 fotogramas por segundo a 400×720 usando cuatro GPU H100. Es una demostración relevante de streaming, pero no debe interpretarse como 24 fps en 720p sobre un ordenador doméstico corriente. El coste de memoria, la cantidad de GPU y la configuración concreta siguen siendo factores decisivos. 18

¿Realmente iguala a las herramientas comerciales?

Las comparaciones cualitativas y los estudios con usuarios del artículo presentan resultados competitivos con herramientas propietarias como Dreamina, de ByteDance, y KLING MotionControl, de Kuaishou. Algunos informes externos describen esa relación como una paridad con soluciones comerciales. 13

Conviene matizar el lenguaje de “SOTA” —state of the art, o estado del arte—. Se trata de evaluaciones comunicadas por los desarrolladores y no de una prueba independiente y estandarizada que cubra todos los escenarios. Por tanto, la afirmación de rendimiento comercial de primer nivel es prometedora, pero todavía debe comprobarse con más reproducciones y comparativas externas.

Qué cambia al estar disponible localmente

Alibaba publicó los pesos, el código y las herramientas de inferencia bajo la licencia Apache 2.0, lo que permite a los desarrolladores inspeccionar el sistema, ejecutarlo en su propia infraestructura, adaptarlo e integrarlo en flujos de producción. 12

Esa disponibilidad ataca uno de los cuellos de botella de la generación de vídeo: producir clips aislados resulta cada vez más sencillo, pero mantener durante una secuencia la identidad del personaje, sus manos, sus interacciones, la dirección de cámara y una latencia baja sigue siendo mucho más difícil. Un modelo abierto puede acelerar la creación de nodos, flujos de trabajo de consistencia, máscaras y composición, además de facilitar la experimentación sin depender de una API cerrada o de un pago por segundo.

La adopción, sin embargo, no está garantizada. La comunidad tendrá que resolver el consumo de memoria, la inferencia eficiente, la compatibilidad con GPU de consumo y la integración con herramientas como ComfyUI. También será importante comprobar si la calidad observada en ejemplos seleccionados se mantiene con entradas desordenadas, personajes poco habituales y escenas complejas.

Cómo encaja con Wan3.0

Wan-Animate-2 se ocupa del extremo de actuación y control del personaje. Wan3.0 apunta al extremo de entrada empresarial: Alibaba afirma que puede generar vídeos de hasta 30 segundos a partir de documentos, hojas de cálculo, presentaciones y páginas web, además de entradas multimodales más convencionales. 2

Juntos, ambos desarrollos sugieren un recorrido interesante: convertir material empresarial en una pieza audiovisual y después controlar personajes dentro de esa producción. Pero no deben confundirse con una única suite integrada de principio a fin. Wan3.0 es un producto desplegado por separado, mientras que Wan-Animate-2 es el componente abierto centrado en la animación de personajes.

La cuestión decisiva será si los desarrolladores convierten rápidamente esta capacidad en herramientas utilizables: nodos sólidos, composición, edición de máscaras, consistencia de personajes, variantes para hardware más asequible y resultados reproducibles. La licencia permisiva facilita ese proceso; el coste del hardware, la licencia de los datos de entrenamiento, la reproducibilidad y la calidad de las integraciones determinarán la velocidad con la que la tecnología de los laboratorios chinos pase de ser competitiva a convertirse en una base habitual del ecosistema abierto de vídeo.