MoRight: 올바른 방식의 모션 제어

기존 비디오 생성 모델은 카메라 시점 변화와 물체의 움직임을 하나로 뭉뚱그려 처리하여 정교한 제어가 어려웠다. MoRight는 이를 독립적으로 분리하고 물체 간의 인과관계를 학습함으로써, 사용자가 원하는 동작을 입력하면 그에 따른 자연스러운 물리적 반응까지 생성하는 새로운 수준의 상호작용형 비디오 생성을 가능하게 한다.

기존의 비디오 생성 모델은 픽셀의 이동 궤적(Trajectory)을 직접 입력받아 영상을 렌더링하는 방식을 사용한다. 하지만 카메라가 움직이면 화면상의 모든 픽셀 궤적이 변하기 때문에, 물체 고유의 움직임과 카메라의 움직임이 Embedding 공간에서 서로 얽히게 되어 정교한 제어가 불가능해지는 한계가 있었다.

MoRight는 이를 해결하기 위해 물체의 움직임을 '정지된 가상 카메라 시점'인 Canonical View에서 먼저 처리한다. Transformer의 Self-Attention 메커니즘을 활용하여, 고정 시점에서 계산된 물체의 움직임 정보(Key/Value)를 실제 타겟 카메라 시점의 쿼리(Query)와 연결하는 Temporal Cross-view Attention을 수행한다. 이를 통해 물체는 원래 의도한 궤적을 유지하면서도 카메라 시점만 자유롭게 변경되는 효과를 얻는다.

또한, 단순한 위치 이동을 넘어 물리적 상호작용을 이해하기 위해 Motion Dropout 기법을 적용했다. 학습 과정에서 원인 동작이나 결과 반응 중 하나를 무작위로 가리고 나머지를 생성하게 함으로써, 모델이 픽셀의 흐름 뒤에 숨겨진 '원인과 결과'라는 논리적 구조를 내재화하도록 유도했다. 그 결과, 사용자가 컵을 들어 올리는 궤적만 그려주어도 모델은 컵 안의 물이 쏟아지는 반응을 스스로 계산해낸다.

MoRight는 DiT(Diffusion Transformer) 기반의 Latent Video Diffusion 모델을 확장한 Dual-stream 구조를 채택했다. 첫 번째 스트림은 Canonical View에서 물체의 모션을 생성하고, 두 번째 스트림은 타겟 카메라 시점에서 최종 비디오를 생성한다. 두 스트림은 가중치를 공유하며 Transformer 블록 내부의 Self-Attention 레이어를 통해 정보를 교환한다.

카메라 제어를 위해 첫 번째 프레임을 카메라 포즈와 깊이 정보를 이용해 워핑(Warping)한 후 VAE로 인코딩하여 조건으로 주입한다. [입력 이미지와 카메라 행렬 → 3D 공간 투영 및 재투영 → 워핑된 이미지 생성] 과정을 거쳐 시점 변화에 따른 기하학적 가이드를 제공한다. 물체 모션은 픽셀 궤적 맵을 경량 인코더로 처리하여 각 Transformer 블록에 더해준다.

인과관계 학습을 위해 데이터를 Active(사용자 주도)와 Passive(환경 반응) 모션으로 분해한다. 학습 시 Motion Dropout 전략을 사용하여 [전체 모션 중 일부 탈락 → 남은 모션 입력 → 전체 모션 복원] 과정을 수행하며, 이를 통해 모델은 특정 동작이 주어졌을 때 발생할 물리적 결과를 추론하는 능력을 학습한다.

DynPose-100K 및 Cooking 데이터셋에서 기존 SOTA 모델인 WanMove, ATI 등과 비교 실험을 수행했다. MoRight는 카메라 회전 오차(Rot)와 평행 이동 오차(Trans)에서 가장 낮은 수치를 기록하며 압도적인 시점 제어 정확도를 보였다. 특히 Cooking 데이터셋에서 PSNR 16.44, SSIM 0.594를 기록하며 시각적 품질과 제어 정확도 사이의 균형을 증명했다.

WISA 데이터셋을 활용한 물리적 상호작용 평가에서 Physical Commonsense(PC) 점수 0.76을 기록하여, 상세한 텍스트 설명 없이도 물리적으로 타당한 영상을 생성함을 확인했다. 사용자 선호도 조사에서도 제어 가능성(53.5%), 모션 사실성(54.6%), 사진 사실성(55.9%) 모든 항목에서 기존 모델들을 2배 이상의 격차로 따돌리며 최고점을 받았다.

MoRight의 핵심은 Flow Matching 목적 함수를 사용하는 DiT 아키텍처를 Dual-stream으로 구성한 점이다. 두 스트림은 동일한 가중치를 공유하지만 서로 다른 Temporal Index를 사용하여 시점 간의 차이를 인식한다. Canonical Stream은 모션 제어의 앵커 역할을 수행하며, Target Stream은 실제 사용자가 보게 될 결과물을 생성한다.

데이터 큐레이션 과정에서 Qwen3-VL과 SAM2를 결합하여 비디오 내 객체를 Active/Passive로 자동 레이블링하는 파이프라인을 구축했다. 또한 단일 뷰 실세계 영상을 활용하기 위해 Mixed-training 전략을 사용했는데, 정적 카메라 영상은 두 스트림에 동일하게 복제하여 입력하고 동적 카메라 영상은 Target Stream에만 손실 함수를 적용하여 모델의 강건성을 높였다.

추론 시에는 사용자가 그린 희소한 궤적(Sparse Trajectories)을 입력받으며, 첫 번째 프레임의 Depth 정보를 활용해 가려짐(Occlusion)을 고려한 마스킹을 수행함으로써 궤적 정보가 부정확한 상황에서도 안정적인 생성이 가능하도록 설계되었다.

두 개의 꼬치(Kabob)가 하나로 합쳐지는 것과 같은 잘못된 상호작용 추론이 발생할 수 있다. 또한 손에 의해 물체가 가려지는 등 입력 궤적이 시간적으로 불연속해질 경우 부자연스러운 움직임이 나타나거나, 나중에 나타나는 프레임에서 여분의 손이 생성되는 할루시네이션 현상이 관찰되기도 한다. 매우 빠르고 급격한 카메라 움직임(Egocentric Motion)에 대해서는 제어 성능이 저하되는 한계가 있다.