빠른 장편 비디오 생성을 위한 모드 탐색과 평균 탐색의 결합

비디오 생성을 몇 초에서 몇 분 단위로 확장하는 것은 심각한 병목 현상에 직면해 있습니다. 단편 비디오 데이터는 풍부하고 고화질인 반면, 일관성 있는 장편 데이터는 부족하고 특정 도메인에 한정되어 있기 때문입니다. 이를 해결하기 위해 본 논문은 '모드 탐색(Mode Seeking)'과 '평균 탐색(Mean Seeking)'이 만나는 새로운 학습 패러다임을 제안하며, 디커플링 확산 트랜스포머(Decoupled Diffusion Transformer)를 통한 통합 표현을 기반으로 국소적 충실도(local fidelity)와 장기적 일관성(long-term coherence)을 분리합니다. 제안된 접근 방식은 장편 비디오에 대한 지도 학습(supervised learning)을 통해 훈련된 전역 플로우 매칭(global Flow Matching) 헤드를 사용하여 서사 구조를 포착하는 동시에, 모드 탐색 역 KL 발산(mode-seeking reverse-KL divergence)을 통해 슬라이딩 윈도우(sliding windows)를 고정된 단편 비디오 교사 모델(short-video teacher)에 정렬하는 국소 분포 매칭(local Distribution Matching) 헤드를 사용합니다. 이 전략을 통해 지도형 플로우 매칭으로 제한된 장편 비디오에서 장거리 일관성과 움직임을 학습하면서도, 학생 모델의 모든 슬라이딩 윈도우 세그먼트를 고정된 단편 비디오 교사 모델에 정렬함으로써 국소적 사실성을 상속받아 분 단위의 비디오를 합성할 수 있게 합니다. 그 결과 몇 단계만으로 작동하는 빠른 장편 비디오 생성기가 탄생했습니다. 평가 결과, 본 방법은 국소적 선명도, 움직임 및 장거리 일관성을 공동으로 개선함으로써 충실도와 시간적 범위 사이의 간극을 효과적으로 메우는 것으로 나타났습니다.