LiveEdit 실시간 Diffusion 기반 스트리밍 비디오 편집

스트리밍 비디오 편집은 실시간 상호작용과 AR 응용에서 배경 보존과 극저지연을 동시에 만족해야 한다는 운영적 제약을 가진다. 기존의 고품질 bidirectional 편집기는 미래 프레임에 의존해 실시간 적용이 어렵고 기존의 스트리밍 생성기는 편집 보존성에서 손실이 발생했다. LiveEdit은 두 요구를 동시에 달성해 실시간 환경에서 고품질, 배경 보존, 낮은 지연을 충족할 수 있는 방법론을 제시한다.

스트리밍 비디오 편집의 출발점은 편집 작업에서 미래 프레임 접근이 불가능하다는 점이다. Bidirectional DiT는 과거와 미래를 모두 참조하는 dense temporal attention으로 구조적 정보를 전파해 고품질 편집을 수행했다. 그러나 미래 키·값을 제거하면 attention 분포가 평탄화되어 인접 프레임 중심의 국소적 정보가 약화되고 결과적으로 깜박임이나 구조 붕괴 현상이 발생했다. 이 논문은 이러한 분포 차이를 직접 해결하기 위해 단계적 증류 전략을 도입했다. 먼저 Bidirectional 모델에서 편집 능력을 획득한 뒤 chunk-wise causal attention을 가진 Causal DiT에 Teacher Forcing으로 분포 정렬을 수행했다. 이렇게 하면 causal 실행 환경에서도 bidirectional이 학습한 로컬 구조적 prior가 보존되어 인과적 추론 시 품질 저하가 억제된다. 또한 비편집 영역의 중복 토큰 처리에서 큰 비효율이 발생한다는 점에 주목했다. 영상 편집은 대부분 배경이 정적이거나 예측 가능한 움직임을 보이므로 Self-Attention의 중복성이 높았다. 따라서 이전 청크에서 계산된 Self-Attention 중간 표현을 재사용하면 전체 연산량을 크게 줄이면서 배경 보존을 보장할 수 있으며, 이를 통해 NFEs를 100에서 4로 압축한 실시간 성능이 가능해진다.

전체 접근은 Bidirectional DiT 기반의 Foundation Tuning, chunk-wise Teacher Forcing으로의 구조 정렬, 그리고 DMD 기반의 4-step 생성기 증류로 구성된 세 단계 파이프라인이다. Stage 1에서는 noisy latent zt와 condition latent을 채널 단위로 결합해 full attention으로 편집 매핑을 학습했고 ℒMSE를 최적화해 강력한 offline 편집 prior를 얻었다. Stage 2에서는 causal attention mask Mcausal을 적용해 청크 단위로 인과적 입력만을 허용하고 Teacher Forcing을 통해 causal 출력 분포를 bidirectional 표현에 정렬했다. Stage 3에서는 Stage 2로부터 초기화된 causal 파라미터를 학생 생성기 Gθ의 초기값으로 사용해 DMD를 수행했다. DMD는 frozen Real Score εϕ^{real}과 trainable Fake Score εψ^{fake}의 차이를 이용해 ∇θℒDMD를 계산하고 Gθ를 직접 업데이트한다. 이 과정은 ODE 초기화 없이 4개의 샘플링 스텝으로 생성 과정을 압축하며 ℒMSE와 DMD gradient를 결합해 학습을 안정화했다. 추론 단계에서는 AR-oriented Mask Cache가 동적으로 편집 마스크 Mk를 생성하고 Mk가 1인 위치에만 Full Calculation을 수행한다. Mk는 이전 청크의 z_src와 z_edit의 위치별 L2 거리를 기준으로 임계값 τ를 적용해 생성되며 논문에서는 동적 τ를 통해 약 70%의 토큰을 프루닝한다고 보고했다. 캐시는 Self-Attention 레이어에 적용하며 FFN에 적용할 경우 고주파 정보 손실로 품질이 크게 저하되는 것으로 관찰되었다.

정량평가는 120쌍의 검증 데이터셋에서 6개 메트릭으로 수행되었다. 캐시 적용 버전은 Text Alignment 0.270, Background Consistency 0.956, Motion Smoothness 0.992를 기록해 Text Alignment와 Motion Smoothness에서 경쟁기법들을 상회했다. 특히 캐시를 적용했을 때 배경 보존은 손상되지 않았고 전반적 화질 지표에서도 우수한 성능을 유지했다. 지연 측면에서 논문은 여러 수치를 보고했다. 요약본에서는 AR 캐시 적용 시 프레임당 79ms의 지연과 12.66 FPS 수준의 실시간 처리 성능을 보고했으며, 세 단계 통합 후 실험 표에서는 81프레임 처리에서 총 7.89초의 지연을 보고했다. 또한 Ablation에서 Self-Attention에 캐시를 적용했을 때가 FFN에 적용했을 때보다 성능이 우수했으며 FFN 캐시는 심각한 품질 악화를 일으켰다. 질적 비교에서 제시된 예시는 기존의 bidirectional 오프라인 편집기가 미래 문맥 의존으로 실시간 적용에 부적합하고 기존 스트리밍 생성기는 편집의 정밀성이나 배경 보존에서 한계를 가졌음을 보여주었다. 반면 본 방법은 텍스트 조건에 맞는 국소적 색·텍스처 변경을 정확히 수행하면서 비편집 영역의 구조와 색 보존을 유지했다.

전체 아키텍처는 Bidirectional DiT 기반의 Foundation 모델과 이를 인과적 실행이 가능한 Causal DiT 학생으로 구성되며 최종적으로 4-step 생성기 Gθ로 증류된다. 입력은 비디오 잠재 시퀀스 z0∈ℝ^{F×C×H×W}와 텍스트 임베딩 c를 사용하며 Stage 1은 채널 단위 concatenation을 통해 noisy latent zt와 condition을 결합해 full temporal attention으로 학습했다. 이 설계는 시퀀스 길이에 따른 attention의 제곱 복잡도를 완화하면서 편집 매핑을 안정적으로 학습하는 역할을 했다. DMD의 수학적 기반은 frozen Real Score εϕ^{real}과 trainable Fake Score εψ^{fake}의 차이에 기반한 gradient 전달이다. 구체적으로 ∇θℒDMD는 zT와 텍스트 조건 c에 대해 w(t)(εϕ^{real}(zt,t,c)−εψ^{fake}(zt,t,c))∇θGθ(zT,c) 꼴로 계산되어 학생 생성기의 파라미터를 업데이트한다. 이 계산은 pruned noise inputs와 함께 작동해 4단계 샘플링으로도 고품질 출력을 달성하게 한다. AR-oriented Mask Cache의 핵심 수식은 Mk_{u,v}=I(‖z_edit,u,v^{k-1}−z_src,u,v^{k-1}‖2>τ)이다. τ는 청크 간 토큰의 redundancy 수준을 기준으로 동적으로 결정되며 본문에서는 전체 토큰의 약 70%를 프루닝하도록 설정했다고 보고되었다. Mk에 따라 활성 영역은 Full Calculation ℱ를 적용하고 비활성 영역은 이전 청크의 캐시된 특징 f^{k-1}_{u,v}를 재사용하는 방식으로 계산 그래프를 동적으로 분기한다. 학습과정은 Wan2.1-T2V-1.3B 기반의 foundation 모델로 시작해 총 데이터셋은 Ditto-1M에서 선별한 약 20K의 고품질 video-to-video 쌍을 사용했다. 학습은 8개의 NVIDIA A100 GPU에서 진행되었고 Stage 1은 9K 스텝, Stage 2는 추가 20K 스텝, Stage 3는 10K 스텝으로 보고되었다. 샘플링 타임스텝은 4-step 생성에서 [0,250,500,750]로 설정되었고 최종 추론은 청크 크기 3 latent 프레임 단위의 autoregressive 모드로 동작한다.