ViFeEdit: 비디오 데이터 없이 비디오 디퓨전 트랜스포머를 튜닝하는 비디오 프리 튜너

기존 비디오 편집 모델은 대규모 비디오 데이터셋과 막대한 연산 자원이 필요했으나, 이 논문은 2D 이미지만으로도 시공간적 일관성을 유지하며 정교한 비디오 편집이 가능함을 증명했다. 이는 비디오 편집 기술의 진입 장벽을 낮추고 개인화된 비디오 생성을 가속화할 수 있는 중요한 전환점이다.

왜 중요한가

핵심 기여

비디오 프리 튜닝 프레임워크 제안

비디오 데이터 없이 2D 이미지 쌍만으로 비디오 디퓨전 트랜스포머를 다양한 편집 작업에 적응시키는 최초의 접근 방식을 도입했다.

시공간 디커플링 아키텍처 설계

기존 3D Attention에서 공간적 상호작용을 분리하는 재파라미터화 기법을 통해, 비디오의 시간적 일관성을 해치지 않고 공간적 편집 능력만 학습하도록 설계했다.

이중 경로 파이프라인 및 개별 타임스텝 임베딩

잠재 상태와 조건 신호를 별도로 처리하고 각각 다른 타임스텝 임베딩을 할당하여 학습 안정성과 수렴 속도를 대폭 향상했다.

핵심 아이디어 이해하기

Transformer의 Self-Attention은 데이터 내 모든 요소 간의 관계를 계산한다. 비디오 DiT에서는 이를 확장한 3D Attention을 사용하여 프레임 내 공간 정보와 프레임 간 시간 정보를 동시에 처리한다. 하지만 비디오 데이터 없이 이미지로만 학습하면, 모델이 공간적 변화를 배우는 과정에서 기존에 학습된 시간적 연결 고리를 망가뜨려 영상의 움직임이 부자연스러워지는 한계가 있다. ViFeEdit는 이 문제를 해결하기 위해 기존의 3D Attention은 그대로 얼려둔 채, 공간적 정보만 전담하는 2D Spatial Attention 모듈 쌍을 추가했다. 이 모듈들은 양수(+)와 음수(-)의 신호를 처리하는 구조로 설계되어, 특정 스타일을 강화하거나 원치 않는 요소를 억제하는 편집 동작을 2D 이미지로부터 효율적으로 배울 수 있게 한다. 결과적으로 모델은 2D 이미지 쌍만 보고도 어떤 공간적 변화를 주어야 하는지를 배우며, 동시에 얼려진 기존 DiT의 시간적 모듈 덕분에 영상의 자연스러운 움직임은 그대로 유지한다. 이는 수만 대의 GPU가 필요한 비디오 데이터 학습 없이도 단 100~250장의 이미지 쌍만으로 정교한 비디오 편집을 가능하게 만든다.

방법론

전체 접근 방식은 비디오 데이터 없이 2D 이미지 쌍만을 활용하여 비디오 DiT를 파인튜닝하는 것이다. 핵심은 기존 DiT의 3D Attention 레이어를 고정하고, 공간적 편집을 위한 추가적인 2D Attention 레이어를 삽입하여 시공간적 모델링을 구조적으로 분리하는 재파라미터화 기법에 있다. 시공간 디커플링을 위해 긍정 및 부정 2D Spatial Attention 모듈을 도입했다. 최종 Attention 출력은 Attn_3D(X) + Attn_SpaPos(X') - Attn_SpaNeg(X')로 계산된다. [기존 3D Attention 결과와 두 개의 2D Attention 결과를 입력으로] → [긍정 모듈 결과는 더하고 부정 모듈 결과는 빼는 연산을 수행해] → [수정된 특징 맵을 얻고] → [이는 기존의 움직임 정보는 유지하면서 공간적인 편집 신호만 반영된 상태를 의미한다]. 이중 경로 파이프라인을 구축하여 노이즈가 섞인 잠재 변수 Z와 깨끗한 조건부 비디오 Cv를 독립적으로 처리한다. 각 경로에는 서로 다른 타임스텝 임베딩이 적용되는데, [Z와 Cv를 입력으로] → [Z에는 현재 시점 t를, Cv에는 항상 0을 할당하는 연산을 수행해] → [서로 다른 노이즈 수준이 반영된 임베딩 벡터를 얻고] → [이는 모델이 Cv를 깨끗한 가이드 영상으로 정확히 인식하여 편집의 정밀도를 높이는 역할을 한다].

주요 결과

VBench 벤치마크를 통한 스타일 전이 실험에서 ViFeEdit는 3D Chibi, Ghibli, American Cartoon 스타일 모두에서 기존 SOTA 모델인 OmniConsistency 및 VACE를 상회하는 성능을 보였다. 특히 3D Chibi 스타일에서 피사체 일관성 0.9811, 시간적 깜빡임 0.9980을 기록하며 시각적 품질과 일관성을 동시에 입증했다. FiVE-Bench 기반의 객체 교체, 색상 변경, 객체 추가 및 제거 실험에서도 압도적인 정확도를 보였다. 객체 추가 작업에서는 모든 지표에서 100%의 정확도를 달성했으며, 색상 변경에서도 FiVE-Acc 91.50을 기록하여 SDEdit(17.50)나 Wan-Edit(39.00) 대비 월등한 성능 향상을 확인했다. Ablation Study를 통해 각 구성 요소의 기여도를 분석한 결과, 이중 경로 파이프라인과 시공간 디커플링이 결합되었을 때 배경 보존과 움직임의 자연스러움이 가장 극대화됨이 확인되었다. 또한 단일 LoRA 모델로 여러 편집 작업을 동시에 수행하는 Multi-task 학습에서도 성능 저하 없이 높은 범용성을 유지했다.

기술 상세

ViFeEdit는 Wan2.1-T2V-1.3B를 베이스 모델로 사용하며, DiT 블록 내부에 2D Spatial Attention 레이어를 잔차 방식으로 추가한다. 이 구조는 기존 3D Attention이 가진 시간적 상관관계 모델링 능력을 보존하면서, 공간적 특징 맵에 대해서만 독립적인 편집 연산을 수행하도록 강제한다. 수학적으로는 3D Attention 출력에 긍정/부정 2D Attention의 차분값을 더하는 형태를 취한다. 입력 텐서 Z와 Cv를 배치 차원으로 결합하여 처리하며, 공간적 연산 시에는 (Bf) x (hw) x d 형태로 플래튼하여 프레임 내 상호작용만 발생하도록 제한한다. 이때 시간적 위치 인덱스는 모두 0으로 설정하여 시간적 간섭을 최소화한다. 학습 시에는 LoRA(Rank=32)를 사용하여 2D Spatial Attention 모듈과 FFN 레이어만 업데이트한다. 100~~250개의 이미지 쌍으로 약 20에폭 이내의 짧은 학습만으로도 고품질 편집이 가능하며, RTX 6000 Ada GPU 기준 에폭당 5~~9분 정도의 매우 낮은 연산 비용을 소모한다.

실무 활용

비디오 데이터 없이 이미지 쌍만으로 학습이 가능하므로, 개인 사용자가 소량의 이미지로 자신만의 비디오 편집 모델을 구축하기에 매우 적합하다. LoRA 기반의 가벼운 튜닝 방식을 채택하여 일반적인 소비자용 GPU에서도 실행 가능하다.

특정 캐릭터나 배경을 다른 스타일(지브리, 픽사 등)로 변환하는 비디오 스타일 전이
영상 내 특정 객체를 다른 사물로 바꾸거나 제거하는 정교한 비디오 인페인팅
텍스트 프롬프트만으로 영상 속 인물의 옷 색상을 바꾸거나 새로운 소품을 추가하는 광고 제작
깊이 맵 정보를 활용한 제어 가능한 비디오 생성 및 편집

코드 공개 여부: 공개

코드 저장소 보기

키워드

DiT(디퓨전 트랜스포머)Video Editing(비디오 편집)LoRA(저순위 적응)Spatio-Temporal Decoupling(시공간 디커플링)Video-Free Tuning(비디오 프리 튜닝)

용어 해설

확산 트랜스포머(Diffusion Transformer): — Transformer 아키텍처를 Diffusion 모델의 백본으로 사용하는 구조이다. 이미지나 비디오의 패치를 토큰으로 처리하여 뛰어난 확장성과 생성 품질을 제공하며, 최근 고성능 비디오 생성 모델의 핵심 기술로 자리 잡았다.
시공간적 일관성(Spatio-Temporal Consistency): — 비디오의 각 프레임 내에서의 시각적 품질(공간)과 프레임 간의 자연스러운 흐름(시간)이 어긋남 없이 유지되는 성질이다. 비디오 편집 시 원본의 움직임을 유지하면서 편집된 내용이 모든 프레임에 걸쳐 균일하게 적용되는 것이 중요하다.
저순위 적응(LoRA): — 거대 모델의 전체 가중치를 업데이트하는 대신, 저순위 분해 행렬만을 학습시켜 파라미터 수를 획기적으로 줄이는 파인튜닝 기법이다. 적은 연산 자원으로도 모델을 특정 작업이나 스타일에 빠르게 적응시킬 수 있어 실무에서 널리 쓰인다.
플로우 매칭(Flow Matching): — 확산 모델의 학습 및 샘플링 과정을 확률 경로의 벡터장(Vector Field)을 예측하는 방식으로 정형화한 기법이다. [원본 데이터와 노이즈를 입력으로] → [시간에 따른 선형 보간 연산을 수행해] → [데이터의 변화 궤적을 얻고] → [모델이 이 궤적을 따라가도록 학습하여 생성 속도와 안정성을 높인다].

ViFeEdit: 비디오 데이터 없이 비디오 디퓨전 트랜스포머를 튜닝하는 비디오 프리 튜너

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

InfinityEdit으로 무한 비디오 편집 구현

CoinVE-Edit의 조합형 다중 지시 영상 편집

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

InfinityEdit으로 무한 비디오 편집 구현

CoinVE-Edit의 조합형 다중 지시 영상 편집