Wan-Animate-2: İskelet pozlarını atlayan açık kaynak karakter animasyonu

Wan-Animate-2 nedir?

Wan-Animate-2, Alibaba’nın Tongyi Lab ekibi tarafından geliştirilen açık kaynak bir karakter animasyonu sistemi. Temel kullanım senaryosu basit: Kullanıcı bir karakter görseli ya da referans karakter sağlıyor, ardından başka bir videodaki performansı “sürüş videosu” olarak kullanıyor. Model, bu videodaki hareketleri ve ifadeleri referans karaktere aktarırken karakterin kimliğini korumaya çalışıyor. 1

Modelin asıl farkı, hareket bilgisini araya bir iskelet poz çıkarma aşaması koymadan öğrenmesi. Geleneksel poz tabanlı akışlarda video önce eklem noktalarına, iskelete veya sıkıştırılmış hareket özelliklerine dönüştürülür. Bu ara adımlar, özellikle ellerde, yüzde ve karakterlerin birbirleriyle etkileşiminde ayrıntı kaybına ya da çıkarım hatalarına yol açabilir. Wan-Animate-2 ise sürüş videosunun görsel gizil bilgisini doğrudan modelin içine alıyor. 1

Ham videoyu doğrudan kullanmak neyi değiştiriyor?

Wan-Animate-2’nin yeniden tasarlanan Diffusion Transformer’ı, temiz referans ve hareket bilgisini gürültülü video üretim koluyla birleştiren çift dallı bir yapı kullanıyor. Bu yaklaşım, sürüş videosundaki ince zamansal ve mekânsal ipuçlarının daha fazla korunmasını amaçlıyor. Sonuç olarak model, hem hareket sürekliliğini hem de karakter kimliğini daha iyi koruyabiliyor. 1

Bu tasarım özellikle poz çıkarımının zorlandığı durumlarda önem kazanıyor. El parmaklarının hareketi, yüz ifadeleri, kıyafet detayları ve iki karakterin aynı sahnedeki etkileşimi yalnızca birkaç eklem noktasıyla eksiksiz temsil edilemeyebilir. Ara temsil kullanılmadığında modelin bu ayrıntılara erişimi artıyor; araştırmacılar da daha doğal el eklemleri ve daha az bozulmuş ya da eksik uzuv gözlemlediklerini bildiriyor. 1

Yine de bu, her girdide kusursuz sonuç alınacağı anlamına gelmiyor. Çalışmanın değerlendirmeleri farklı karakter stillerini, vücut biçimlerini, çok kişili sahneleri ve çeşitli hareketleri kapsıyor; ancak seçilmiş örneklerdeki başarıyı her video için otomatik bir garanti olarak okumamak gerekiyor. 1

Çoklu karakter ve metinle kamera kontrolü

Sistem, aynı sahnede birden fazla karakteri canlandırmayı ve karakterlerin kimliklerini ve hareketlerini ayrı ayrı korumayı hedefliyor. Ayrıca kullanıcı, çıktıdaki kamera bakışını metinle yönlendirebiliyor.

Bu özellik için kullanılan metin koşullu Viewpoint LoRA, sentetik çoklu görünüm Unreal Engine verileriyle eğitilmiş. Böylece çıktı kamerası, sürüş videosundaki kamera açısından ayrıştırılabiliyor. Kullanıcı yeni bir açı istediğinde yeni bir performans videosu çekmek veya temel animasyon modelini yeniden eğitmek zorunda kalmıyor. 1

Bu ayrım, karakter animasyonu ile kamera yönetimini aynı işe sıkıştırmak yerine ikisini daha esnek biçimde kontrol etmeyi sağlıyor. Bununla birlikte, metinle kamera açısı istemek, her sahnede fiziksel olarak tutarlı ve sinematik bir kamera hareketi garantisi vermiyor.

24 kare/saniye gerçek zamanlı üretim nasıl mümkün oluyor?

Gerçek zamanlı akış iddiası esas olarak tam Base modelin değil, damıtılmış Wan-Animate-2-Lite sürümünün özelliği. Makale, hızlandırma için üç aşamalı bir yöntem anlatıyor: öğretmen zorlamalı ön eğitim, bir hata tamponu ve parça bazlı geri yayılımla yapılan Self-Forcing damıtması. Bu süreç, videoyu tek seferde tamamlamak yerine ardışık parçalar hâlinde üreten otoregresif akışa olanak sağlıyor. 1

Bildirilen performans, dört H100 GPU üzerinde 400×720 çözünürlükte saniyede 24 kare. 18 Bu, açık kaynak bir karakter animasyonu sistemi için önemli bir eşik; ancak “her bilgisayarda 720p ve 24 fps” anlamına gelmiyor. Donanım maliyeti, bellek ihtiyacı ve kurulum karmaşıklığı, modeli yerel olarak çalıştırmak isteyenler için hâlâ belirleyici olacak.

Ticari araçlarla gerçekten aynı seviyede mi?

Wan-Animate-2 makalesindeki nitel karşılaştırmalar ve kullanıcı çalışmaları, sistemin kapalı ticari araçlar Dreamina ve KLING MotionControl ile rekabet edebildiğini bildiriyor. Bazı haber ve sektör kaynakları bu sonucu ticari araçlarla eşitlik ya da “SOTA” olarak aktarıyor. 13

Ancak bu değerlendirmeler geliştirici tarafından bildirilen testler ve kullanıcı çalışmaları. Bağımsız, standartlaştırılmış ve farklı ekiplerce tekrarlanmış kapsamlı kıyaslamalar olmadan “ticari düzeyde en iyi” ifadesini kesin bir hüküm olarak kabul etmek erken olur. Daha doğru çerçeve, modelin kapalı platformlara yaklaşan güçlü ve henüz dış doğrulaması sınırlı bir sonuç sunduğu yönünde.

Açık kaynak olması neden önemli?

Alibaba; model ağırlıklarını, kodu ve çıkarım araçlarını Apache-2.0 lisansıyla yayımlayarak karakter animasyonunu yalnızca kapalı platformların sunduğu bir özellik olmaktan çıkarıyor. Geliştiriciler modeli inceleyebilir, kendi sunucularında çalıştırabilir, değiştirebilir ve üretim süreçlerine entegre edebilir. 12

Bu nokta, yapay zekâ video üretimindeki önemli bir darboğaza dokunuyor. Tek tek kısa klipler üretmek artık mümkün olsa da aynı karakterin sahneler boyunca kimliğini koruması, ellerin ve uzuvların bozulmaması, karakterler arası etkileşimlerin sürdürülmesi, kamera yönünün kontrol edilmesi ve düşük gecikmeli çıktı alınması daha zor problemler olmaya devam ediyor. Wan-Animate-2’nin hedefi, bu “karakter performansı” katmanını daha erişilebilir hâle getirmek.

Açık lisans tek başına yaygın benimsenmeyi garanti etmiyor. Topluluk araçlarının sağlam düğümler, bellek tasarruflu çıkarım, maskeleme ve birleştirme, karakter tutarlılığı iş akışları ve tüketici GPU’larına uygun sürümler geliştirmesi gerekecek. Ayrıca donanım maliyeti, eğitim verilerinin lisans durumu, sonuçların yeniden üretilebilirliği ve seçilmemiş gerçek dünya girdilerindeki kalite de benimsenme hızını belirleyecek.

Wan3.0 ile ilişkisi ne?

Wan-Animate-2, üretim zincirinin karakter performansı ve kontrol tarafına odaklanıyor. Alibaba’nın ayrı bir ürünü olan Wan3.0 ise girdinin hazırlanması tarafında öne çıkıyor: Şirket, modelin geleneksel çok modlu girdilerin yanı sıra belgeler, elektronik tablolar, sunumlar ve web sayfalarından 30 saniyeye kadar video üretebildiğini belirtiyor. 2

Bu iki yetenek birlikte düşünüldüğünde, iş belgelerinden başlayıp animasyonlu video çıktısına uzanan bir üretim akışı hayal etmek mümkün. Ancak bu, Wan-Animate-2 ile Wan3.0’ın tek ve bütünleşik bir uçtan uca prodüksiyon paketi olduğu anlamına gelmiyor. Wan-Animate-2 açık kaynaklı karakter animasyonu çerçevesi olarak, Wan3.0 ise ayrı biçimde sunulan bir video üretim ürünü olarak değerlendirilmelidir. 2

Sonuç: Asıl test toplulukta başlayacak

Wan-Animate-2’nin önemi yalnızca iskelet pozlarını kullanmamasından ya da 24 fps iddiasından kaynaklanmıyor. Model, karakter animasyonunda kimlik, hareket ayrıntısı, el ve uzuv doğruluğu, çoklu karakter, kamera yönü ve gecikme gibi sorunları aynı sistem içinde ele almaya çalışıyor. Ağırlıkların ve araçların yerel kullanıma açılması da araştırmacıların ve geliştiricilerin bu iddiaları kendi donanımlarında sınamasına imkân veriyor.

Önümüzdeki dönemde belirleyici soru, modelin seçilmiş demoların dışına çıktığında ne kadar istikrarlı kaldığı olacak. Topluluk entegrasyonları hızla gelişir ve daha erişilebilir donanımlarda makul performans alınabilirse Wan-Animate-2, Çinli yapay zekâ laboratuvarlarının rekabetçi video teknolojisini açık kaynak ekosisteminin merkezine taşıyan önemli adımlardan biri olabilir.