SparkDiffusion, Wan video üretimini nasıl hızlandırıyor?

Wan gibi video üretim modellerinde dikkat hesaplaması, özellikle uzun video dizilerinde ciddi işlem gücü gerektiriyor. SparkDiffusion, bu yükü azaltmak için tek bir optimizasyona değil, üç yöntemin birlikte çalışmasına dayanıyor: daha az dikkat etkileşimi hesaplamak, üretim adımlarını azaltmak ve kalan işlemleri daha hızlı yürütmek. Pekin Üniversitesi, Tsinghua Üniversitesi ve Alibaba araştırmacılarının geliştirdiği çerçeve Wan 2.1 ve Wan 2.2 modellerini hedefliyor. 68

“Yüksek seyrekliğin tuzağı” ne demek?

Seyrek dikkat, modelin hesapladığı etkileşimlerin bir kısmını atlayarak işlem yükünü düşürür. Ancak araştırmacıların tarif ettiği soruna göre, seyrekliğin aşırı artırıldığı durumlarda eğitim sırasında izlenen adım bazlı kayıp azalmaya devam ederken son videonun kalitesi ilerlemeyebilir, hatta bozulabilir. Bu uyumsuzluğa “yüksek seyrekliğin tuzağı” adı veriliyor. 18

SparkDiffusion’ın yaklaşımı aşamalı: Önce seyrek model kısa bir eğitimle kaba bir önsel oluşturuyor; ardından damıtma aşaması, üretim sürecinin sonundaki çıktıyı düzeltmeye odaklanıyor. Böylece yöntem, yalnızca tek tek eğitim adımlarındaki ölçümlere bağlı kalmamayı amaçlıyor. 8

RoLA, CrossDistill ve FP8 birlikte nasıl çalışıyor?

SparkDiffusion hız kazanımını üç farklı noktada hedefliyor:

• RoLA dikkat hesaplamasını azaltıyor. Öğrenilmiş seyrek dikkat yaklaşımı, modelin daha az sayıda dikkat etkileşimini işlemesine olanak tanıyor. Proje, bazı yapılandırmalarda yüzde 97’ye kadar dikkat seyrekliğini bildiriyor. Bu oran her model ya da ayar için geçerli değil. 2811
• CrossDistill üretim adımlarını azaltıyor. Yörüngeyi karıştıran damıtma yöntemi, modeli daha az adımda üretim yapacak şekilde eğitiyor. SparkDiffusion, sınıflandırıcısız rehberlik (CFG) olmadan üç adımlı çıkarım tarif ediyor; yayımlanan Wan 2.1 720p kontrol noktalarından biri de üç adımlı olarak etiketlenmiş. 1810
• FP8 ve birleştirilmiş çekirdekler kalan işlemleri hızlandırıyor. Daha düşük hassasiyetli hesaplama ve birleştirilmiş işlemler, çıkarım sırasında her adımın maliyetini düşürmeyi hedefliyor. 8

Dolayısıyla bildirilen hız artışı yalnızca yüzde 97 seyrekliğe bağlanmıyor: daha az dikkat hesabı, daha az üretim adımı ve kalan işlemlerin daha hızlı yürütülmesi bir araya geliyor. 8

265 katlık sonuç hangi testi anlatıyor?

Bildirilen Wan 2.1 T2V 14B testinde, 81 karelik 720p video tek RTX 5090 üzerinde 4.769 saniyeden 18 saniyeye indi. Bu, söz konusu testte yaklaşık 265 kat hızlanmaya karşılık geliyor. H100 için verilen karşılaştırmada süre 1.757 saniyeden 8 saniyeye düşüyor; bu da yaklaşık 220 kat hız anlamına geliyor. Bunlar belirli model, video ve donanım yapılandırmalarının sonuçları; her kullanım senaryosu için garanti edilen hızlar değil. 6

Daha küçük Wan 2.1 1.3B, 480p yapılandırması için de yaklaşık 140 kat hızlanma bildiriliyor. Bu farklılık, başlıktaki en yüksek hız oranını değerlendirirken test edilen model ve çözünürlüğü de göz önünde bulundurmanın önemini gösteriyor. 57

Hız artışı video kalitesinin aynı kaldığını kanıtlıyor mu?

Proje, yüksek seyrekliğe rağmen güçlü görsel kaliteyi koruduğunu belirtiyor. Ancak hız ölçümleri tek başına, farklı istemlerde, çözünürlüklerde veya model sürümlerinde kalite eşitliğini kanıtlamıyor. “Yüksek seyrekliğin tuzağı” da eğitimdeki bir ölçütün iyileşmesinin tamamlanmış videonun mutlaka daha iyi olacağı anlamına gelmediğini gösteriyor. 818

Bu nedenle hız ve kalite iddialarını, değerlendirilen yapılandırmalara özgü sonuçlar olarak okumak daha doğru. Mevcut karşılaştırmalar, üretilen her videonun yoğun Wan modelinin çıktısıyla aynı olacağı sonucuna varmak için yeterli ayrıntı sunmuyor.

Hangi modeller ve kontrol noktaları yayımlandı?

Listelenen ağırlıklar arasında Wan 2.1 T2V 14B’nin 480p ve 720p sürümleri ile Wan 2.2 T2V A14B’nin 480p sürümü bulunuyor. Desteklenen seyrekliğin üst sınırı yapılandırmaya göre değişiyor: Wan 2.1 480p kontrol noktası yüzde 90’ı desteklerken, listelenen 720p sürümler yüzde 95’e veya yüzde 97’ye kadar çıkıyor. Wan 2.2 480p listesinde ise yüzde 90–95 aralığı yer alıyor. Dolayısıyla yüzde 97 seyrekliğin her yayımlanan kontrol noktasında kullanılabildiği varsayılmamalı. 9101112

Proje, SparkDiffusion’ı listelenen Wan sürümlerinin ötesine genişletilebilecek bir çerçeve olarak sunuyor. Ancak mevcut kaynaklar, gelecekteki modeller veya donanımlar için kesin bir takvim ya da doğrulanmış sonuç ortaya koymuyor. 8