EmbodMocap: 인바디드 에이전트를 위한 야외 환경 4D 인간-장면 재구성

현실 세계에서의 인간 행동은 인지(perception), 이해(understanding) 및 행동(acting)을 위한 인바디드 에이전트(embodied agents)를 훈련하는 데 활용할 수 있는 풍부하고 장기적인 맥락 정보를 자연스럽게 포함하고 있습니다. 그러나 기존의 캡처 시스템은 일반적으로 비용이 많이 드는 스튜디오 설정과 착용형 장치에 의존하므로, 야외(in the wild) 환경에서 장면 조건이 포함된 인간 모션 데이터를 대규모로 수집하는 데 한계가 있습니다. 이를 해결하기 위해 본 연구에서는 두 대의 이동하는 아이폰(iPhone)을 사용하는 휴대 가능하고 저렴한 데이터 수집 파이프라인인 EmbodMocap을 제안합니다. 핵심 아이디어는 이중 RGB-D 시퀀스를 공동으로 보정(jointly calibrate)하여 단일 메트릭 세계 좌표계(metric world coordinate frame) 내에서 인간과 장면을 모두 재구성하는 것입니다. 제안된 방법은 고정된 카메라나 마커 없이도 일상적인 환경에서 메트릭 스케일 및 장면 일관성이 유지되는 캡처를 가능하게 하여, 인간의 움직임과 장면 기하학(scene geometry)을 매끄럽게 연결합니다. 광학 캡처 지면 진리(ground truth)와 비교했을 때, 이중 뷰 설정이 깊이 모호성(depth ambiguity)을 완화하는 데 탁월한 능력을 보이며 단일 아이폰 또는 단안(monocular) 모델보다 우수한 정렬 및 재구성 성능을 달성함을 입증했습니다. 수집된 데이터를 바탕으로 세 가지 인바디드 AI 작업을 강화했습니다. 첫째, 메트릭 스케일의 세계 공간에 정렬된 인간과 장면을 출력하는 피드포워드(feedforward) 모델을 미세 조정하는 단안 인간-장면 재구성, 둘째, 인간-객체 상호작용 기술과 장면 인식 모션 트래킹을 확장할 수 있음을 증명하는 물리 기반 캐릭터 애니메이션, 셋째, 비디오에 묘사된 인간의 움직임을 복제하도록 심투리얼(sim-to-real) 강화학습(RL)을 통해 휴머노이드 로봇(humanoid robot)을 훈련하는 로봇 모션 제어입니다. 실험 결과는 제안된 파이프라인의 효과와 인바디드 AI 연구 발전에 대한 기여를 확인시켜 줍니다.