Wan-Animate-2 porta l’animazione dei personaggi in open source

Che cos’è Wan-Animate-2

Wan-Animate-2 è il sistema open source di Alibaba Tongyi Lab per l’animazione dei personaggi. In pratica, parte dall’immagine o dal riferimento di un personaggio e da un video guida: il personaggio finale ne riproduce movimenti ed espressioni, cercando però di mantenere la propria identità visiva.

Il punto distintivo è il modo in cui il modello tratta il movimento. Molti sistemi usano prima un estrattore di pose per trasformare il video in uno scheletro articolato, oppure comprimono la dinamica in caratteristiche di movimento più semplici. Wan-Animate-2 porta invece il video guida direttamente dentro un Diffusion Transformer (DiT) riprogettato, in un processo end-to-end. 1

Perché eliminare lo scheletro di posa

Un’intermediazione basata su punti di riferimento e articolazioni può introdurre errori già nella fase di estrazione: un gesto viene interpretato male, un’articolazione scompare o il movimento finisce per allontanare il risultato dall’identità del personaggio. Anche la compressione delle caratteristiche di movimento può sacrificare dettagli sottili del volto, delle mani e delle interazioni tra persone.

Wan-Animate-2 elabora invece le informazioni latenti visive del video in una struttura DiT a doppio ramo. Un ramo di riferimento, mantenuto “pulito”, fornisce informazioni di movimento e aspetto al ramo impegnato nel processo di denoising. Secondo gli autori, questo aiuta a conservare dettagli spazio-temporali più fini e a migliorare la coerenza tra i fotogrammi e la continuità dell’identità. 1

Il vantaggio si nota soprattutto nei casi tradizionalmente più difficili: articolazione delle mani, movimenti degli arti, mimica e interazioni. Il team attribuisce a questa scelta una riduzione degli arti deformati o mancanti e una migliore resa dei gesti. I test includono inoltre personaggi con stili, corporature e forme diverse, oltre a scene con più persone. Non è una garanzia per ogni input, ma indica un raggio d’azione più ampio rispetto ai sistemi rigidamente condizionati dalla posa. 1

Più personaggi e videocamera controllata con il testo

Il modello è progettato per gestire anche più personaggi nella stessa scena, mantenendone distinti identità e movimenti. Un altro elemento rilevante è il controllo del punto di vista: una Viewpoint LoRA condizionata dal testo, addestrata con dati multi-view sintetici generati in Unreal Engine, separa l’angolazione della videocamera finale dal video usato per guidare la performance. 1

Questo significa che, in fase di inferenza, l’utente può chiedere un’altra inquadratura tramite una descrizione testuale, senza dover registrare una nuova performance o riaddestrare il modello di animazione. Il sistema mira così a supportare più camere e rapporti d’aspetto non standard, anche se la qualità effettiva dipenderà dal materiale di partenza e dalla configurazione utilizzata. 13

Il realtime a 24 fps: cosa significa davvero

La generazione in tempo reale riguarda soprattutto la versione distillata Wan-Animate-2-Lite, non il modello Base completo. Il paper descrive un percorso di accelerazione in tre fasi: pretraining con teacher forcing, utilizzo di un error buffer e distillazione Self-Forcing con backpropagation a blocchi. Questa combinazione consente uno streaming autoregressivo per porzioni di video. 1

Il dato dichiarato è di 24 fotogrammi al secondo a 400×720 su quattro GPU H100. È un risultato significativo per un sistema aperto, ma va letto nel contesto corretto: non equivale a ottenere automaticamente video a 24 fps e 720p su una normale GPU consumer o su un computer portatile. 18

È davvero al livello dei migliori strumenti commerciali?

Confronti qualitativi e studi con utenti riportati nel paper indicano prestazioni competitive con strumenti proprietari come Dreamina di ByteDance e KLING MotionControl di Kuaishou. Alcuni resoconti parlano di sostanziale parità con questi concorrenti commerciali. 13

La cautela è importante: si tratta di valutazioni riportate dagli sviluppatori e non di un benchmark indipendente, standardizzato e riproducibile su tutte le condizioni. Per questo, l’espressione “commercial SOTA” — cioè ai vertici tra le soluzioni commerciali — va considerata una rivendicazione forte, ma ancora provvisoria.

Perché il rilascio locale conta

Pesi del modello, codice e strumenti d’inferenza sono stati resi disponibili con licenza Apache 2.0, trasformando l’animazione dei personaggi da funzione chiusa di una piattaforma a componente che gli sviluppatori possono studiare, eseguire in autonomia, modificare e integrare nelle proprie pipeline. 12

È un passaggio importante perché il controllo coerente dei personaggi — identità tra le scene, mani, interazioni, direzione della videocamera e bassa latenza — è rimasto uno dei punti deboli nel passaggio da clip isolate a produzioni video realmente utilizzabili. Un modello aperto permette inoltre alla comunità di verificare meglio le affermazioni tecniche e di costruire integrazioni senza dipendere da un’API cloud o da un costo per secondo.

L’adozione, tuttavia, non sarà automatica. A fare la differenza saranno l’arrivo di nodi affidabili per strumenti come ComfyUI, l’inferenza con consumi di memoria più contenuti, workflow per mascheratura e compositing, funzioni per la coerenza dei personaggi e versioni compatibili con GPU più accessibili. Contano anche la riproducibilità dei risultati, i costi dell’hardware e le questioni di licenza relative ai dati di addestramento.

Il rapporto con Wan3.0

Wan-Animate-2 interviene soprattutto sul lato della performance e del controllo del personaggio. Wan3.0 opera invece sul lato degli input aziendali: Alibaba dichiara che può generare video fino a 30 secondi partendo non solo da testo, immagini, audio e video, ma anche da documenti, fogli di calcolo, presentazioni e pagine web. 2

Le due capacità suggeriscono un possibile percorso che va dal materiale aziendale di partenza fino a un contenuto animato. Non significa però che esista già una suite produttiva unica e completamente integrata: Wan3.0 è un prodotto distribuito separatamente, mentre Wan-Animate-2 è il componente open source dedicato all’animazione controllata dei personaggi. 2

Cosa resta da verificare

Wan-Animate-2 riduce una barriera concreta dell’AI video: trasformare una performance in un personaggio coerente, controllabile e pronto per un flusso di produzione. Il fatto che il video guida venga usato direttamente può preservare dettagli che una posa scheletrica tende a perdere, mentre il controllo testuale della videocamera amplia le possibilità creative.

La prova decisiva arriverà però fuori dagli esempi selezionati dal produttore. Se la comunità riuscirà a renderlo più leggero, affidabile e semplice da integrare, il rilascio permissivo potrebbe accelerare la diffusione delle tecnologie video sviluppate dai laboratori cinesi nel software open source globale. Saranno qualità reale, costi operativi e facilità d’integrazione — più che il solo annuncio dei 24 fps — a stabilire se Wan-Animate-2 diventerà uno degli standard aperti per l’animazione dei personaggi.