생성된 현실: 손과 카메라 제어를 통한 대화형 비디오 생성 기반 인간 중심 세계 시뮬레이션

확장 현실(XR, Extended Reality)은 사용자의 실제 세계 움직임 추적에 반응하는 생성 모델을 요구하지만, 현재의 비디오 세계 모델(Video World Models)은 텍스트나 키보드 입력과 같은 거친 제어 신호만을 수용하여 체화된 상호작용(Embodied Interaction)에서의 유용성이 제한적입니다. 본 연구에서는 추적된 머리 자세(Head Pose)와 관절 수준의 손 자세(Joint-level Hand Poses) 모두에 조건화된 인간 중심 비디오 세계 모델을 소개합니다. 이를 위해 기존 확산 트랜스포머(Diffusion Transformer) 조건화 전략을 평가하고, 정교한 손-물체 상호작용(Hand-object Interactions)을 가능하게 하는 3D 머리 및 손 제어를 위한 효과적인 메커니즘을 제안합니다. 본 연구진은 이 전략을 사용하여 양방향 비디오 확산 모델(Bidirectional Video Diffusion Model) 교사 모델을 학습시킨 후, 이를 1인칭 가상 환경을 생성하는 인과적 대화형 시스템(Causal Interactive System)으로 증류(Distillation)했습니다. 본 생성 현실(Generated Reality) 시스템을 피험자들과 함께 평가한 결과, 관련 베이스라인과 비교하여 향상된 작업 성능뿐만 아니라 수행된 행동에 대해 유의미하게 높은 수준의 인지된 제어감을 입증했습니다.