생성된 현실: 손과 카메라 제어를 이용한 대화형 비디오 생성 기반 인간 중심 월드 시뮬레이션

기존 비디오 생성 모델은 텍스트나 키보드 같은 단순한 입력만 가능해 정교한 상호작용이 어려웠다. 이 연구는 사용자의 머리와 손가락 움직임을 직접 반영해 실시간으로 가상 환경을 생성함으로써, 복잡한 3D 에셋 설계 없이도 몰입형 XR 경험을 가능하게 하는 새로운 방향을 제시한다.

기존 비디오 생성 모델은 전체 영상을 한꺼번에 생성하는 방식이라 사용자의 실시간 움직임에 반응하기 어렵다. 특히 손가락의 미세한 움직임은 2D 이미지상에서 서로 겹치거나 가려지는 경우가 많아 AI가 이를 정확히 파악하고 물리적으로 타당한 영상을 그려내는 데 한계가 있었다.

이 논문은 딥러닝의 Embedding 개념을 활용해 이 문제를 해결한다. 사용자의 손가락 관절 각도와 같은 3D 수치 데이터를 토큰 형태로 변환하여 비디오의 잠재 공간(Latent Space)에 직접 더해준다. 이는 모델이 단순히 눈에 보이는 형태뿐만 아니라 손의 실제 물리적 구조를 이해한 상태에서 다음 프레임을 예측하게 만든다.

결과적으로 사용자가 VR 헤드셋을 쓰고 손을 움직이면, AI는 그 움직임에 맞춰 실시간으로 주변 환경과 물체의 변화를 그려낸다. 이는 미리 설계된 게임 엔진 없이도 AI가 학습한 세상의 물리 법칙을 바탕으로 즉석에서 상호작용 가능한 현실을 창조하는 원리이다.

전체 아키텍처는 Wan2.2 비디오 생성 모델을 기반으로 하며, 사용자의 6-DoF 카메라 포즈와 양손의 20개 관절 각도를 입력으로 받는다. 입력된 데이터는 하이브리드 2D-3D 조건화 모듈을 통해 처리되는데, 2D 스켈레톤 영상은 VAE 인코더를 거치고 3D 손 파라미터(HPP)는 1D 컨볼루션 레이어로 구성된 모션 인코더를 거친다.

핵심 메커니즘인 토큰 추가(Token Addition) 방식은 다음과 같이 작동한다. [비디오 잠재 벡터 z_r과 스켈레톤 잠재 벡터 z_c를 채널 축으로 합친 값] → [패치 단위로 나누는 연산을 수행] → [여기에 모션 인코더를 거친 손 파라미터 H의 임베딩 값을 요소별로 더함] → [이 결과값 x는 DiT 블록의 입력이 되어 손의 위치와 모양 정보를 전달함].

학습 전략으로는 반복적 인코더 학습(Iterative Encoder Training)을 채택했다. 카메라 인코더와 HPP 인코더를 동시에 학습할 때 발생하는 불안정성을 해결하기 위해, 먼저 각 인코더를 독립적으로 학습시킨 후 최종 단계에서 전체 시스템을 미세 조정(Fine-tuning)하여 두 조건화 신호를 통합한다.

실시간 구동을 위해 양방향 DiT 교사 모델을 자기회귀적 학생 모델로 증류(Distillation)한다. 12프레임 단위로 비디오를 생성하며, 이전 프레임을 컨텍스트로 활용하여 시간적 일관성을 유지한다. 이 과정에서 Self-forcing 전략을 사용하여 학습과 추론 사이의 노이즈 분포 차이를 줄였다.

HOT3D 데이터셋을 이용한 실험에서 제안된 하이브리드 전략은 기존 방식보다 우수한 성능을 보였다. 3D 손 동작 정확도 지표인 MPJPE에서 12.23mm를 기록하며 베이스라인(17.86mm) 대비 크게 개선되었으며, 비디오 품질 지표인 FVD에서도 경쟁력 있는 수치를 나타냈다.

사용자 평가 결과, 텍스트 프롬프트만 사용한 베이스라인의 작업 성공률이 3.0%에 불과했던 반면, 제안된 시스템은 71.2%의 높은 성공률을 기록했다. 또한 사용자가 느끼는 제어감(Perceived Control) 점수 역시 7점 만점에 4.21점으로 베이스라인(1.74점)보다 월등히 높았다.

실시간 성능 면에서는 H100 GPU 1개에서 11 FPS의 속도를 달성했으며, 전체 지연 시간은 약 1.4초로 측정되었다. 이는 원격 서버 스트리밍 환경에서도 대화형 XR 경험이 가능함을 입증하는 수치이다.

본 연구는 Wan2.2 14B 모델을 백본으로 사용하며, Mixture-of-Experts(MoE) 구조를 활용한다. 고소음(high-noise) 단계와 저소음(low-noise) 단계에 특화된 두 개의 DiT 전문가를 두어 학습 효율을 높였다. 카메라 제어는 6-DoF 포즈를 Plucker 임베딩으로 변환하여 주입하며, [6차원 카메라 포즈 데이터] → [Plucker 좌표계 변환] → [카메라 인코더를 통한 임베딩 생성] → [비디오 잠재 토큰에 요소별 덧셈] 과정을 거쳐 시점 변화를 반영한다.

손 동작 표현을 위해 UmeTrack 모델을 채택하여 손목의 변환과 20개 손가락 관절 각도를 추출한다. 이는 단순한 이진 마스크 방식보다 손의 깊이와 형태를 훨씬 정밀하게 묘사할 수 있게 한다. 자기회귀적 증류 과정에서는 5B 규모의 학생 모델을 통해 연산량을 최적화하면서도 교사 모델의 생성 능력을 보존했다.

현재 시스템은 1.4초의 지연 시간이 발생하여 완전한 몰입형 XR 시스템에는 다소 부족하며, 자기회귀 모델 특성상 수 초 이상의 긴 생성 시 영상 품질이 저하되는 드리프트(Drift) 현상이 발생한다. 또한 해상도와 컴퓨팅 효율성 면에서 현대의 상용 VR 시스템 수준에는 미치지 못한다.