SparkDiffusion, Wan 영상 생성 속도를 높이는 세 가지 방법

베이징대·칭화대·알리바바 연구진이 공개한 SparkDiffusion은 알리바바의 Wan 2.1·2.2 영상 생성 모델을 빠르게 돌리기 위한 오픈소스 프레임워크다. 희소 어텐션, 소수 단계 증류, FP8 융합 커널을 결합해 생성 과정의 연산량과 단계를 줄인다. 연구진은 특정 Wan 2.1 벤치마크에서 최대 265배 가속을 보고했다. 다만 이 수치는 모든 모델·영상 길이·하드웨어에서 같은 속도를 낸다는 뜻은 아니다. 68

265배 가속은 어떤 테스트에서 나왔나

Wan 2.1 T2V 14B로 81프레임, 720p 영상을 생성한 테스트에서 한 대의 RTX 5090 기준 처리 시간은 4,769초에서 18초로 줄었다. 약 265배 차이다. H100 비교에서는 1,757초에서 8초로 줄어 약 220배 가속으로 보고됐다. 모두 특정 모델과 설정, 하드웨어에서 나온 벤치마크 결과다. 6

Wan 2.1 1.3B 모델을 480p로 구동한 사례에서는 약 140배 가속이 보고됐다. 모델 크기와 해상도에 따라 결과가 달라질 수 있다는 점을 보여준다. 57

‘고희소성 함정’이란

영상 확산 모델은 시간과 공간을 아우르는 긴 시각 정보를 처리한다. 이때 많은 연산을 차지하는 어텐션을 희소화하면, 모델이 계산하는 상호작용의 수를 줄일 수 있다. 하지만 희소성을 지나치게 높이면 문제가 생길 수 있다. 연구진이 설명한 ‘고희소성 함정’은 훈련 중 단계별 손실이 계속 낮아져도 최종 영상 품질은 나아지지 않거나 오히려 떨어지는 현상이다. 18

SparkDiffusion은 이를 해결하기 위해 두 단계를 제안한다. 먼저 희소 모델을 짧게 예열해 거친 생성 기준을 마련하고, 이후 최종 생성 결과와 궤적을 개선하는 방향으로 증류한다. 즉, 훈련 지표만 좋아지는 데 그치지 않고 완성된 영상의 품질도 고려하려는 접근이다. 8

RoLA·CrossDistill·FP8은 어떻게 함께 작동하나

SparkDiffusion은 한 가지 최적화 기법에 기대지 않고 생성 과정의 서로 다른 비용을 줄인다.

• RoLA는 어텐션 연산을 줄인다. 학습형 희소 어텐션 기법으로, 모델이 계산하는 상호작용을 일부만 남기는 역할을 한다. 프레임워크는 일부 구성에서 어텐션 희소성을 최대 97%까지 지원한다고 보고한다. 2811
• CrossDistill은 생성 단계를 줄인다. 궤적을 혼합해 증류하는 방식으로 소수 단계 모델을 만든다. SparkDiffusion은 분류기 없는 안내(CFG) 없이 3단계 추론을 제시하며, 공개된 Wan 2.1 체크포인트 중 하나도 3단계 모델로 표시돼 있다. CFG를 쓰지 않으면 안내를 위한 추가 모델 계산을 피할 수 있다. 1810
• FP8 융합 커널은 각 단계의 실행 비용을 낮춘다. 낮은 정밀도의 연산과 융합 커널을 이용해 남은 추론 연산을 더 효율적으로 수행한다. 8

따라서 전체 가속은 어텐션 계산을 줄이고, 생성 단계를 줄이며, 각 단계를 빠르게 실행하는 효과가 겹쳐 나온다. 어텐션 희소성 97%만으로 265배 속도가 나온다고 해석해서는 안 된다. 8

속도만큼 영상 품질도 확인해야

프로젝트는 높은 희소성에서도 강한 시각적 품질을 유지한다고 설명한다. 그러나 속도 측정만으로 다양한 프롬프트·해상도·모델에서 품질이 기준 모델과 같다고 단정할 수는 없다. 고희소성 함정 자체가 단계별 훈련 지표의 개선이 최종 영상 개선으로 이어지지 않을 수 있음을 보여준다. 818

따라서 속도와 품질에 관한 주장은 평가된 구성에 한정해 읽는 것이 안전하다. 공개된 벤치마크 요약만으로는 모든 생성 영상이 희소화하지 않은 Wan 모델과 동등한 품질을 낸다고 결론 내리기 어렵다.

공개된 모델과 희소성 설정

공개 목록에는 Wan 2.1 T2V 14B의 480p·720p 구성과 Wan 2.2 T2V A14B의 480p 구성이 포함돼 있다. 지원 희소성은 체크포인트마다 다르다. 예를 들어 Wan 2.1 480p 체크포인트는 90%를 지원하고, 720p 체크포인트는 구성에 따라 최대 95% 또는 97%까지 지원한다. Wan 2.2 480p 목록은 90~95% 범위다. 그러므로 97% 희소성이 모든 공개 모델에 적용되는 것은 아니다. 9101112

연구진은 SparkDiffusion을 공개된 Wan 구성 너머로 확장할 수 있는 프레임워크로 소개한다. 다만 제공된 자료만으로는 향후 모델이나 하드웨어에 대한 확정 일정, 검증된 성능을 확인하기 어렵다. 8