EgoPush: 이동 로봇을 위한 엔드투엔드 1인칭 시점 다중 객체 재배치 학습

인간은 전역 좌표(global coordinates) 없이도 1인칭 시점(egocentric perception)의 인식을 통해 복잡한 환경에서 물체를 재배치하고 가려짐(occlusions)을 헤쳐나갈 수 있습니다. 이러한 능력에서 영감을 받아, 본 연구에서는 단일 1인칭 카메라를 장착한 이동 로봇의 장기적(long-horizon) 다중 객체 비파지(non-prehensile) 재배치를 연구합니다. 우리는 동적인 장면에서 흔히 실패하는 명시적인 전역 상태 추정(global state estimation)에 의존하지 않고, 1인칭 인식 기반의 재배치를 가능하게 하는 정책 학습 프레임워크인 EgoPush를 소개합니다. EgoPush는 절대적인 포즈(absolute poses) 대신 객체 간의 상대적인 공간 관계를 인코딩하는 객체 중심 잠재 공간(object-centric latent space)을 설계합니다. 이 설계를 통해 특권적인 강화학습(Reinforcement Learning, RL) 교사 모델이 희소 키포인트(sparse keypoints)로부터 잠재 상태와 이동 동작을 공동으로 학습하며, 이는 이후 순수 시각 기반의 학생 정책으로 증류(distillation)됩니다. 전지전능한 교사와 부분적으로 관찰하는 학생 사이의 감독 격차를 줄이기 위해, 교사의 관찰 범위를 시각적으로 접근 가능한 단서로 제한했습니다. 이는 학생의 관점에서도 회복 가능한 능동적 인식(active perception) 행동을 유도합니다. 장기적인 신용 할당(credit assignment) 문제를 해결하기 위해, 재배치 작업을 시간적으로 감쇠하는 단계별 로컬 완료 보상(stage-local completion rewards)을 사용하여 하위 문제로 분해합니다. 광범위한 시뮬레이션 실험을 통해 EgoPush가 성공률 면에서 엔드투엔드 RL 베이스라인을 크게 능가함을 입증했으며, 절제 연구(ablation studies)를 통해 각 설계 선택의 유효성을 검증했습니다. 또한 실제 환경의 이동 플랫폼에서 제로샷 시뮬레이션-실제 전이(zero-shot sim-to-real transfer)를 성공적으로 시연했습니다.