ExoActor: 일반화 가능한 상호작용형 휴머노이드 제어를 위한 3인칭 비디오 생성 기술

휴머노이드 로봇이 복잡한 환경에서 물체와 상호작용하는 동작을 학습시키려면 막대한 양의 실제 데이터가 필요했습니다. 이 논문은 대규모 비디오 생성 모델이 이미 알고 있는 '세상의 물리 법칙'을 활용해 로봇의 행동을 상상하고 이를 실제 동작으로 변환함으로써, 추가 데이터 수집 없이도 새로운 환경에서 로봇을 제어할 수 있는 길을 열었습니다.

기존의 로봇 제어는 로봇이 직접 보고 겪은 데이터를 바탕으로 학습하는 방식이었으나, 이는 데이터 수집 비용이 너무 크고 새로운 환경에 적응하기 어렵다는 한계가 있었습니다. 마치 사람이 요리 책의 사진만 보고도 대략적인 조리 과정을 짐작하듯, 로봇에게도 '시각적 상상력'을 부여하려는 시도가 이 논문의 출발점입니다.

ExoActor는 비디오 생성 모델이 수많은 영상을 통해 학습한 '인간의 움직임'과 '물체의 반응'에 대한 Embedding 정보를 활용합니다. 로봇의 현재 상태를 인간의 모습으로 살짝 바꾼 뒤(Embodiment Transfer), 비디오 모델에게 작업 완료 과정을 그리게 하면 모델은 물리적으로 자연스러운 동작 시퀀스를 생성합니다. 이는 복잡한 Loss Function을 직접 설계하지 않아도 비디오 모델 내부의 사전 지식이 가이드 역할을 수행함을 의미합니다.

결과적으로 로봇은 직접 경험해보지 못한 낯선 방에서도 '의자에 앉기'나 '바구니에 병 넣기' 같은 복잡한 상호작용을 수행할 수 있게 됩니다. 이는 고차원적인 시각 정보가 저차원적인 모터 제어 신호 사이의 간극을 메우는 강력한 중간 매개체가 될 수 있음을 보여줍니다.

ExoActor의 파이프라인은 크게 세 단계로 구성된다. 첫째, 비디오 생성 단계에서는 로봇의 초기 관측 이미지를 인간 형태로 변환한 후, GPT-5.4 Thinking을 통해 작업을 세부 동작 체인(Action Chain)으로 분해한다. 이후 Kling과 같은 비디오 생성 API를 사용하여 10초 분량의 3인칭 작업 수행 영상을 생성한다.

둘째, 동작 추출 단계에서는 생성된 영상으로부터 3D 인간 운동학(Kinematics) 정보를 복원한다. GENMO 모델을 사용하여 전신 동작을 추정하고, WiLoR를 통해 양손의 정밀한 포즈와 파지 상태(Open/Closed)를 추출한다. 이때 SMPL 파라미터 [관절 회전값 → 순운동학 연산 → 3D 좌표] 과정을 거쳐 시각적 픽셀 정보를 물리적 수치로 변환한다.

셋째, 동작 실행 단계에서는 추출된 궤적을 SONIC 컨트롤러에 입력한다. 컨트롤러는 [현재 로봇 상태와 참조 궤적 입력 → 정책 신경망 추론 → 관절 토크 출력] 순으로 연산하여, 물리적 제약 조건을 준수하면서도 생성된 영상의 동작을 안정적으로 추종한다.

실험은 난이도에 따라 B(기초 이동), A(단순 상호작용), S(정밀 조작) 세 단계로 나누어 진행됐다. B단계에서는 장애물 회피 및 목표 지점 도달을 안정적으로 수행했으며, A단계에서는 의자에 앉기, 상자 들고 일어서기 등 전신 협응이 필요한 동작을 성공적으로 실행했다. 가장 어려운 S단계에서도 바구니에 병을 세워 넣거나 쓰레기통에 물건을 던져 넣는 등 정밀한 손-물체 상호작용이 가능함을 확인했다.

Ablation Study 결과, 비디오 모델 중 Kling 3가 가장 물리적으로 타당하고 일관성 있는 영상을 생성했다. 또한 로봇의 외형을 그대로 사용하는 것보다 인간 형태로 변환했을 때 비디오 생성의 안정성과 동작 추출의 정확도가 크게 향상되었다. 시점 분석에서는 이동 작업의 경우 후방 시점이, 조작 작업의 경우 전방 시점이 더 높은 성공률을 보였다.

ExoActor는 로봇 제어의 고차원 계획(Planning)과 저차원 실행(Execution) 사이의 간극을 3인칭 비디오라는 중간 표현형(Intermediate Representation)으로 연결한다. 아키텍처의 핵심은 로봇-인간 형태 전이(Embodiment Transfer)로, Gemini 3.1 Pro를 활용해 씬의 기하학적 구조와 카메라 뷰포트를 유지하면서 로봇만 인간으로 교체한다. 이는 비디오 모델의 학습 분포(Human-centric Priors)와 입력 데이터의 분포를 일치시켜 할루시네이션을 억제하는 효과를 준다.

동작 추출 시에는 SMPL 모델을 기반으로 전신 궤적을 생성하며, 손 동작의 경우 24 FPS 영상에서 각 프레임별로 양손의 3D 포즈와 이진화된 파지 상태를 추정한다. 특히 전통적인 리타겟팅 과정에서 발생하는 공간적 오차를 줄이기 위해, 대규모 신경망 기반 컨트롤러인 SONIC을 사용하여 노이즈가 섞인 참조 궤적에서도 물리적으로 안정적인 토크 값을 도출한다. 이는 시스템이 일종의 '물리 필터' 역할을 수행하게 하여 시각적 상상이 실제 물리 법칙을 위배하더라도 로봇이 넘어지지 않게 보정한다.

현재 시스템은 오프라인 파이프라인으로 구성되어 비디오 생성부터 실행까지 상당한 지연 시간이 발생한다. 또한 생성된 비디오가 시각적으로는 그럴듯하지만 물리적 제약(접촉력, 무게 중심 등)을 완벽히 준수하지 못하는 경우가 있어, 실행 단계에서 보조 도구를 사용해야 하는 한계가 있다. 1인칭 시점(Egocentric) 데이터만 있는 환경에서의 적용과 실시간 스트리밍 제어는 향후 과제로 남아있다.