MotiMotion: Visual Reasoning을 활용한 모션 컨트롤 비디오 생성

본 연구는 입력이 희소하고 부정확한 상황에서도 물리 법칙과 상호작용을 반영한 영상 생성을 가능하게 한다. VLM 기반의 추론으로 입력을 보강하고, 2차 동작과 충돌 등의 의도된 결과를 더 현실적으로 만들어 품질과 신뢰성을 높인다.

단락 1: 문제 정의와 한계 - 기존의 모션 컨트롤 비디오 생성 모델은 희소하고 부정확한 입력 trajectories를 그대로 실행하기 때문에 물리적 현실성이나 동적 상호작용의 후속 효과를 놓치는 경우가 많다. 이 문제는 시각-언어 모델(VLM)의 세계 지식과 추론 능력을 활용해 입력 의도를 해석하고, 필요한 경우 2차 모션 및 충돌 등의 결과를 계획하는 방식으로 해결할 수 있다. 단락 2: 해결 원리 - 두 축 구성: (i) VLM-based reasoning 모듈은 입력된 이미지, trajectories, 텍스트 프롬프트를 바탕으로 상세한 서술과 refined trajectories를 산출하고, (ii) flow-matching 기반 비디오 제너레이터는 이 축을 따라 영상의 시간적 동역학을 생성한다. 모션 표현은 N 개의 궤적을 3D 템포럴 볼륨 M에 2D 가우시안 맵으로 배치하고, 이를 VAE 인코더를 통해 잠재 공간 zm으로 매핑한 뒤, zt와 참조 이미지 잠재벡터와 함께 DiT에 연결한다. 단락 3: 추가 개선 - 입력 신뢰도 s에 따라 G′ = s · G로 커널 강도를 조절하고, 학습 중에는 Trajectory Degradation을 통해 불완전 입력에 대한 견고한 매핑을 학습한다. 또한 VLM은 생성된 비디오를 다시 평가하고 필요한 경우 Trajectory를 보완하는 Iterative Correction를 가능하게 한다. 단락 4: 달라지는 점 - 이 프레임워크는 추론 모듈을 분리하여 해석 가능성과 수정 가능성을 높이고, 고신뢰도 입력은 엄격하게 따라가며 저신뢰도 입력은 생성 prior를 활용해 자연스러운 모션을 형성한다. 결과적으로 물리적 현실성과 의미 일치도가 기존 방법 대비 향상된다.

단락 1: 모션 제너레이터 구성 - Wan 2.2 I2V-A14B 기반의 기반 비디오 제너레이터를 사용하고, motion representation으로 N개의 trajectory를 L×H×W×3 볼륨 M에 배치한다. 각 trajecotry n과 l에 대해 T(n,l) 위치에 2D Gaussian의 평균을 frame M(l)에 배치한다. 그 후 M을 VAE 인코더로 잠재 공간 zm으로 매핑하고 zm을 zt, 참조 이미지 잠재벡터와 함께 DiT의 채널에 연결한다. [수식/연산 패턴] 입력 값: x0, x1, t; 계산: vt(xt) ≈ (x1 − x0); 결과: xt = (1 − t)x0 + t x1; 의미: 확률 경로의 움직임 벡터를 예측하도록 학습한다. 단락 2: 모션 표현 및 조건화 - 모션 볼륨 M은 각 프레임에 Trajectory map을 생성하고, 이를 latent space에 주입하기 위해 3D self-attention과 cross-attention으로 DiT에 conditioning한다. 입력 차원 증가에 따라 DiT의 초기 토큰화 Layer의 가중치를 확장하고, Freeze된 파라미터는 원래 지식에 의존하도록 유지하되 신규 가중치는 0으로 초기화하여 점진적 적응을 유도한다. 단락 3: VLM Reasoning - 입력은 (1) 2D 좌표로 표현된 Trajectories, (2) Trajectories가 오버레이된 입력 이미지, (3) 선택적 텍스트 프롬프트. VLM은 이 세 입력을 바탕으로 상세 프롬프트와 refined trajectories를 생성하며, Iterative Selection 및 Correction를 통해 사용자가 만족할 때까지 보완한다. 단락 4: 학습 및 신뢰도 기반 제어 - 학습 시 Trajectory Degradation 모듈로 s ∈ [0,1]에 따라 affine perturbation, linearization, Savitzky–Golay smoothing을 적용한다. 신뢰도 s에 따라 모션 Conditioning 신호의 강도를 조정하고, 높은 s일 때 입력에 더 엄격히 따라가고 낮은 s일 때 내부 priors를 더 활용한다. 단락 5: 구현 세부 - LFM 손실(LFM = E_{t, x0, x1}[||vt(xt) − (x1 − x0)||^2]), xt = (1 − t)x0 + t x1, DiT, VAE, T5 인코더를 활용하며 tokenization layer를 확장하여 모션 정보를 반영한다. 학습은 5K 스텝의 OpenVid-1m 기반 Naive 학습 후, 3K 스텝의 confidence-aware 학습으로 degration된 궤적을 학습한다.

주요 결과 및 수치

• MotiBench 벤치마크에서 2AFC 평가: Obj. 72.9%, Int. 80.8%, Overall 78.0% (Human 97.9%)로 우수하다고 평가되었다. Wan-Move 대비 우세한 성능이다. Table: MagicMotion 대비 +Reasoning의 물리적 현실성/의미적 일치 상승(물리 0.199, 사진 0.528, 의미 0.427) vs 원래 0.157/0.550/0.343; Wan-Move 대비 +Reasoning의 개선도 확인(물리 0.283, 사진 0.488, 의미 0.588).
• Ablation 연구: Motion-Controlled Generator 단독 0.166/0.389/0.337 → + Prompt Reasoning 0.237/0.475/0.544 → + Motion Reasoning 0.285/0.493/0.641 → + Confidence-Aware Control 0.302/0.520/0.665.
• 추론 방식 비교: Two-stage과 One-stage 중 One-stage Reasoning이 더 낮은_latency에도 비슷한 성능으로 나타났으며, Table 9에서 One-stage이 0.302/0.520/0.665로 Two-stage의 0.319/0.503/0.654를 상회했다.
• Motion Following 평가: 4 trajectory일 때 FVD 724.4, EPE 8.28; 16 traj일 때 FVD 712.8, EPE 7.89로 기존 방법 대비 경쟁력 있음.
• 자동 예측 보정: Iterative Correction를 통해 clock/손 움직임 등 의도된 동작으로 수렴하는 사례를 제시한다.
• 추론 시간: Reasoning 포함 추론은 약 50초(10K 토큰), Prompt-only 추론은 약 15초(3K 토큰)의 소요가 보고되었다.

전체 시스템은 두 축으로 구성된다. (1) VLM-based reasoning 모듈은 입력으로 image, Trajectories, Prompt를 받아 자세한 narrative prompt 및 refined trajectories를 생성하고, (2) flow-matching 기반 비디오 제너레이터는 refined trajectories를 따라 비디오를 생성한다. 모션 표현은 N 개의 trajectories를 L 길이의 비디오에 대해 T 좌표로 표현하고, 이를 3D 템포럴 볼륨 M ∈ R^{L×H×W×3}에 Gaussian 맵으로 배치한다. Trajectory n, 시간 l에 대해 T(n,l) 위치에 해당하는 프레임 M(l) 위에 2D Gaussian의 평균을 배치하고 표준 편차 σ를 해상도에 맞게 스케일링한다. 모션 조건은 M을 VAE 인코더로 잠재 공간 zm으로 매핑한 뒤 zm과 노이즈 latent zt, 참조 이미지 latent를 채널 차원에서 결합해 DiT에 입력한다. 토큰화 초기 층의 가중치를 확장해 모션 정보를 반영하고, 학습 시 Tokenization 및 Self-Attention 레이어를 전체 업데이트하며, 잔여 파라미터는 고정한다. 손실은 원래의 flow-matching 목적을 유지하며 예측 벡터 필드와 ground-truth 간의 차이를 최소화한다. VLM Reasoning은 (i) Trajectories의 고정된 좌표를 텍스트로 표현한 수치 입력, (ii) Trajectories를 오버레이한 입력 이미지, (iii) 선택적 텍스트 프롬프트의 세 입력으로 구성되며, 이들 입력을 바탕으로 상세 프롬프트와 refined trajectories를 산출한다. Iterative Selection 및 Correction를 통해 생성된 비디오를 평가하고 필요 시 Trajectory를 재보정한다. 신뢰도 기반 제어는 s ∈ [0,1]에 따라 G′ = s·G로 커널 강도를 조절하고, s가 높을수록 입력 궤적을 더 강하게 따른다. Trajectory Degradation 모듈은 affine perturbation, linearization, Savitzky–Golay smoothing 등의 변형을 가해 불완전 입력 상황을 시뮬레이션하고, 이는 학습 중에 입력 신뢰도에 따른 로버스트 맵핑을 유도한다. Latency/효율성 측면에서 Reasoning은 외부 API 의존성 및 계산에 따라 실용적 한계를 가지며, 경량화 및 로컬 VLM로의 이식이 향후 방향으로 제시된다.

논문의 한계로 Latency가 언급되며, Reasoning/External API 의존성으로 인해 실시간 제어의 실제 적용에 제약이 있을 수 있다. 향후 방향으로는 더 작은 로컬 VLM으로의 이식 또는 Reasoning 출력의 비디오 제너레이터로의 지식 증류가 제시된다.