DreamVideo-Omni: 잠재 정체성 강화 학습을 통한 옴니 모션 제어 다중 대상 비디오 커스터마이징

기존 비디오 생성 AI는 여러 인물의 정체성을 유지하면서 동시에 복잡한 움직임을 구현하는 데 어려움이 있었다. 이 논문은 인물별 특징 보존과 카메라 이동, 객체의 세밀한 동작을 하나의 프레임워크에서 동시에 정밀 제어하는 기술을 제시하여 실사급 비디오 편집의 실무 활용도를 획기적으로 높였다.

왜 중요한가

핵심 기여

옴니 모션 및 다중 대상 통합 제어 프레임워크

전역 객체 이동, 국소 부위 동역학, 카메라 움직임을 다중 인물의 정체성 보존과 동시에 제어할 수 있는 최초의 통합 DiT 아키텍처 기반 프레임워크를 제안함.

조건 인식 3D 회전 위치 임베딩(3D RoPE)

비디오 프레임, 참조 이미지, 궤적 토큰 등 서로 다른 성격의 입력 신호에 고유한 시공간 인덱스를 부여하여 학습 안정성과 제어 정밀도를 개선함.

잠재 정체성 보상 피드백 학습(LIReFL)

픽셀 공간이 아닌 잠재 공간에서 직접 정체성 일관성을 평가하는 보상 모델(LIRM)을 도입하여, 역동적인 움직임 속에서도 인물의 고유 특징이 뭉개지지 않도록 강화 학습을 수행함.

대규모 데이터셋 및 DreamOmni Bench 구축

200만 개의 비디오 클립으로 구성된 고품질 학습 데이터셋과 다중 대상 및 복합 모션 제어 성능을 정밀하게 측정할 수 있는 1,027개의 벤치마크를 공개함.

핵심 아이디어 이해하기

기존 비디오 생성 모델은 Attention 메커니즘을 통해 프레임 간 일관성을 유지하지만, 여러 인물이 등장하거나 카메라가 크게 움직일 때 특정 인물의 정체성(Identity)이 흐릿해지거나 다른 인물과 섞이는 문제가 발생한다. 이는 정체성 보존을 위한 정적 특징과 움직임 구현을 위한 동적 변화 사이의 충돌을 표준 확산 손실(Diffusion Loss)만으로는 해결하기 어렵기 때문이다.

DreamVideo-Omni는 이를 해결하기 위해 '그룹 및 역할 임베딩'을 도입하여 특정 움직임 신호가 어떤 인물에게 귀속되는지 명확히 바인딩한다. 또한, 픽셀 단위의 재구성에 집착하는 대신 인간의 지각적 선호도에 맞춘 '잠재 정체성 보상 모델(LIRM)'을 통해 강화 학습을 진행함으로써, 역동적인 움직임 속에서도 인물의 고유한 특징이 유지되도록 유도한다.

결과적으로 이 모델은 텍스트 설명만으로는 부족했던 세밀한 제어(예: 특정 인물만 손을 흔들거나 카메라가 줌인되는 상황)를 가능하게 하며, 기존 SOTA 모델 대비 정체성 보존 성능과 모션 정확도를 획기적으로 개선했다.

방법론

전체 접근 방식은 2단계 점진적 학습 패러다임을 따른다. 1단계(SFT)에서는 DiT 아키텍처를 기반으로 인물 외형, 전역 바운딩 박스, 국소 궤적, 카메라 이동 신호를 통합 학습한다. 2단계(LIReFL)에서는 사전 학습된 비디오 확산 모델을 보상 모델로 활용하여 정체성 일관성을 극대화한다.

핵심 메커니즘인 'Condition-aware 3D RoPE'는 비디오 프레임, 참조 이미지, 궤적 토큰에 서로 다른 시간적 인덱스를 부여한다. [입력 토큰의 시공간 좌표 → 회전 행렬 연산 적용 → 위치 정보가 인코딩된 토큰 출력] 과정을 통해 모델이 정적인 인물 정보와 동적인 비디오 흐름을 명확히 구분하게 한다.

'Hierarchical Motion Injection'은 바운딩 박스 정보를 각 DiT 블록의 출력에 더한다. [바운딩 박스 잠재값 → 제로 컨볼루션 연산 → DiT 블록 출력값에 가산] 순서로 계산되어, 단순 입력 주입보다 강력한 공간적 가이드를 제공한다.

'Latent Identity Reward Model(LIRM)'은 잠재 공간에서 직접 작동한다. [노이즈가 섞인 비디오 잠재값과 깨끗한 참조 이미지 잠재값 입력 → Cross-Attention을 통한 정체성 정렬 측정 → 스칼라 보상값 출력] 과정을 거쳐 VAE 디코딩 없이 효율적으로 강화 학습 피드백을 제공한다.

주요 결과

DreamOmni Bench 실험 결과, DreamVideo-Omni는 R-CLIP(0.739), R-DINO(0.499), Face-S(0.301) 등 모든 정체성 지표에서 기존 DreamVideo-2를 능가했다. 특히 모션 제어 정확도를 나타내는 mIoU(0.558)와 EPE(9.31) 수치에서 압도적인 성능 향상을 보였다.

MSRVTT-Personalization 벤치마크에서도 Tora2 등 최신 모델 대비 우수한 성능을 입증했다. 다중 대상 모드에서 Face-S 점수는 Tora2와 유사한 수준을 유지하면서도 궤적 오차(EPE)는 11.21로 크게 낮추어 정밀한 제어 능력을 증명했다.

Ablation Study를 통해 3D RoPE와 계층적 주입 전략이 성능 유지에 필수적임을 확인했다. 3D RoPE를 제거할 경우 모든 지표가 급격히 하락했으며, LIReFL 강화 학습 단계가 인물의 세부 묘사를 복원하는 데 결정적인 역할을 수행함을 수치로 확인했다.

기술 상세

아키텍처는 Wan2.1-1.3B T2V 모델을 백본으로 하며, 다중 조건 처리를 위해 DiT 구조를 확장했다. 핵심은 이질적인 조건 신호들을 단일 시퀀스로 처리하면서도 3D RoPE를 통해 각 신호의 의미론적 위치를 보존하는 것이다.

'Group & Role Embeddings'는 다중 대상 모호성을 해결하는 핵심 장치다. 각 인물과 그에 해당하는 바운딩 박스, 궤적을 하나의 그룹 ID로 묶고, '객체(Object)'와 '제어(Control)' 역할을 구분하는 임베딩을 더해 모델이 어떤 움직임이 누구의 것인지 명확히 인지하게 한다.

'Latent Identity Reward Feedback Learning(LIReFL)'은 기존 ReFL 기법의 고비용 VAE 디코딩 문제를 해결한다. 사전 학습된 비디오 확산 모델의 초기 8개 블록을 백본으로 사용해 잠재 공간에서 직접 보상을 계산하며, 이는 메모리 효율성을 획기적으로 높여 조밀한 피드백을 가능하게 한다.

데이터셋 구축 파이프라인은 RAFT를 이용한 모션 필터링, Grounding DINO와 SAM2를 이용한 객체 마스크 추출, CoTracker3를 이용한 정밀 궤적 추적 등 최신 비전 모델들을 유기적으로 결합하여 자동화된 고품질 주석 생성을 달성했다.

실무 활용

특정 인물이나 캐릭터를 유지하면서 복잡한 연출이 필요한 영화 제작, 광고, 개인화된 콘텐츠 생성 분야에서 즉시 활용 가능하다. 별도의 추가 학습(Test-time tuning) 없이 제로샷으로 동작하므로 실무 효율성이 높다.

영화/애니메이션 제작 시 특정 캐릭터의 움직임과 카메라 워킹 정밀 제어
광고 영상에서 여러 모델의 정체성을 유지하며 특정 제품과 상호작용하는 장면 생성
개인 사진 한 장으로 복잡한 춤이나 액션을 수행하는 고화질 숏폼 비디오 제작
가상 시뮬레이션 환경에서 다수 객체의 정밀한 이동 경로 설정 및 시각화

코드 공개 여부: 공개

코드 저장소 보기

키워드

비디오 생성(Video Generation)확산 모델(Diffusion Model)정체성 보존(Identity Preservation)모션 제어(Motion Control)강화 학습(Reinforcement Learning)

용어 해설

확산 트랜스포머(DiT): — 기존의 U-Net 구조 대신 Transformer 아키텍처를 Diffusion 모델의 백본으로 사용하는 설계이다. 데이터의 장거리 의존성을 더 잘 파악하고 모델 크기 확장에 유리하여 고화질 비디오 생성에 널리 쓰인다.
회전 위치 임베딩(RoPE): — 토큰의 위치 정보를 벡터의 회전 변환을 통해 인코딩하는 기법이다. 상대적인 위치 관계를 효과적으로 학습할 수 있게 하며, 비디오의 시공간적 일관성을 유지하는 데 중요한 역할을 한다.
잠재 공간(Latent Space): — 고차원 데이터(이미지, 비디오)를 압축하여 핵심 특징만을 남긴 저차원 벡터 공간이다. 이 공간에서 연산을 수행하면 계산 효율성이 극대화되며 추상적인 특징 제어가 용이해진다.
지도 미세 조정(SFT): — 사전 학습된 모델을 특정 데이터셋과 레이블을 사용하여 추가 학습시키는 과정이다. 이 논문에서는 인물의 외형과 움직임 신호를 연결하기 위한 첫 번째 학습 단계로 활용된다.
보상 모델(Reward Model): — 모델의 출력이 인간의 선호도나 특정 기준에 얼마나 부합하는지 점수를 매기는 별도의 모델이다. 강화 학습 과정에서 생성 모델이 더 나은 결과물을 만들도록 가이드하는 역할을 한다.

DreamVideo-Omni: 잠재 정체성 강화 학습을 통한 옴니 모션 제어 다중 대상 비디오 커스터마이징

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드