ViFeEdit: 비디오 데이터 없이 비디오 디퓨전 트랜스포머를 튜닝하는 비디오 프리 튜너

기존 비디오 편집 모델은 대규모 비디오 데이터셋과 막대한 연산 자원이 필요했으나, 이 논문은 2D 이미지만으로도 시공간적 일관성을 유지하며 정교한 비디오 편집이 가능함을 증명했다. 이는 비디오 편집 기술의 진입 장벽을 낮추고 개인화된 비디오 생성을 가속화할 수 있는 중요한 전환점이다.

Transformer의 Self-Attention은 데이터 내 모든 요소 간의 관계를 계산한다. 비디오 DiT에서는 이를 확장한 3D Attention을 사용하여 프레임 내 공간 정보와 프레임 간 시간 정보를 동시에 처리한다. 하지만 비디오 데이터 없이 이미지로만 학습하면, 모델이 공간적 변화를 배우는 과정에서 기존에 학습된 시간적 연결 고리를 망가뜨려 영상의 움직임이 부자연스러워지는 한계가 있다. ViFeEdit는 이 문제를 해결하기 위해 기존의 3D Attention은 그대로 얼려둔 채, 공간적 정보만 전담하는 2D Spatial Attention 모듈 쌍을 추가했다. 이 모듈들은 양수(+)와 음수(-)의 신호를 처리하는 구조로 설계되어, 특정 스타일을 강화하거나 원치 않는 요소를 억제하는 편집 동작을 2D 이미지로부터 효율적으로 배울 수 있게 한다. 결과적으로 모델은 2D 이미지 쌍만 보고도 어떤 공간적 변화를 주어야 하는지를 배우며, 동시에 얼려진 기존 DiT의 시간적 모듈 덕분에 영상의 자연스러운 움직임은 그대로 유지한다. 이는 수만 대의 GPU가 필요한 비디오 데이터 학습 없이도 단 100~250장의 이미지 쌍만으로 정교한 비디오 편집을 가능하게 만든다.

전체 접근 방식은 비디오 데이터 없이 2D 이미지 쌍만을 활용하여 비디오 DiT를 파인튜닝하는 것이다. 핵심은 기존 DiT의 3D Attention 레이어를 고정하고, 공간적 편집을 위한 추가적인 2D Attention 레이어를 삽입하여 시공간적 모델링을 구조적으로 분리하는 재파라미터화 기법에 있다. 시공간 디커플링을 위해 긍정 및 부정 2D Spatial Attention 모듈을 도입했다. 최종 Attention 출력은 Attn_3D(X) + Attn_SpaPos(X') - Attn_SpaNeg(X')로 계산된다. [기존 3D Attention 결과와 두 개의 2D Attention 결과를 입력으로] → [긍정 모듈 결과는 더하고 부정 모듈 결과는 빼는 연산을 수행해] → [수정된 특징 맵을 얻고] → [이는 기존의 움직임 정보는 유지하면서 공간적인 편집 신호만 반영된 상태를 의미한다]. 이중 경로 파이프라인을 구축하여 노이즈가 섞인 잠재 변수 Z와 깨끗한 조건부 비디오 Cv를 독립적으로 처리한다. 각 경로에는 서로 다른 타임스텝 임베딩이 적용되는데, [Z와 Cv를 입력으로] → [Z에는 현재 시점 t를, Cv에는 항상 0을 할당하는 연산을 수행해] → [서로 다른 노이즈 수준이 반영된 임베딩 벡터를 얻고] → [이는 모델이 Cv를 깨끗한 가이드 영상으로 정확히 인식하여 편집의 정밀도를 높이는 역할을 한다].

VBench 벤치마크를 통한 스타일 전이 실험에서 ViFeEdit는 3D Chibi, Ghibli, American Cartoon 스타일 모두에서 기존 SOTA 모델인 OmniConsistency 및 VACE를 상회하는 성능을 보였다. 특히 3D Chibi 스타일에서 피사체 일관성 0.9811, 시간적 깜빡임 0.9980을 기록하며 시각적 품질과 일관성을 동시에 입증했다. FiVE-Bench 기반의 객체 교체, 색상 변경, 객체 추가 및 제거 실험에서도 압도적인 정확도를 보였다. 객체 추가 작업에서는 모든 지표에서 100%의 정확도를 달성했으며, 색상 변경에서도 FiVE-Acc 91.50을 기록하여 SDEdit(17.50)나 Wan-Edit(39.00) 대비 월등한 성능 향상을 확인했다. Ablation Study를 통해 각 구성 요소의 기여도를 분석한 결과, 이중 경로 파이프라인과 시공간 디커플링이 결합되었을 때 배경 보존과 움직임의 자연스러움이 가장 극대화됨이 확인되었다. 또한 단일 LoRA 모델로 여러 편집 작업을 동시에 수행하는 Multi-task 학습에서도 성능 저하 없이 높은 범용성을 유지했다.

ViFeEdit는 Wan2.1-T2V-1.3B를 베이스 모델로 사용하며, DiT 블록 내부에 2D Spatial Attention 레이어를 잔차 방식으로 추가한다. 이 구조는 기존 3D Attention이 가진 시간적 상관관계 모델링 능력을 보존하면서, 공간적 특징 맵에 대해서만 독립적인 편집 연산을 수행하도록 강제한다. 수학적으로는 3D Attention 출력에 긍정/부정 2D Attention의 차분값을 더하는 형태를 취한다. 입력 텐서 Z와 Cv를 배치 차원으로 결합하여 처리하며, 공간적 연산 시에는 (Bf) x (hw) x d 형태로 플래튼하여 프레임 내 상호작용만 발생하도록 제한한다. 이때 시간적 위치 인덱스는 모두 0으로 설정하여 시간적 간섭을 최소화한다. 학습 시에는 LoRA(Rank=32)를 사용하여 2D Spatial Attention 모듈과 FFN 레이어만 업데이트한다. 100250개의 이미지 쌍으로 약 20에폭 이내의 짧은 학습만으로도 고품질 편집이 가능하며, RTX 6000 Ada GPU 기준 에폭당 59분 정도의 매우 낮은 연산 비용을 소모한다.