EgoPush: 이동 로봇을 위한 엔드투엔드 1인칭 시점 다중 객체 재배치 학습

로봇이 외부 센서나 지도 없이 자신의 카메라만으로 여러 물체를 특정 모양으로 정렬하는 기술이다. 기존 방식은 물체가 가려지거나 로봇이 움직일 때 위치를 놓치기 쉬웠으나, 이 연구는 상대적 위치 관계를 학습하여 실제 환경에서도 추가 학습 없이 바로 작동하는 성능을 보여준다.

로봇이 물체를 옮길 때 보통 외부 카메라나 정밀한 지도를 사용하지만, 실제 환경에서는 로봇 자신의 카메라에만 의존해야 할 때가 많다. 물체를 밀다 보면 다른 물체에 가려지거나 시야 밖으로 사라지는 문제가 발생하는데, 이는 딥러닝에서 부분 관측성 문제로 로봇이 현재 보이는 정보만으로는 전체 상황을 파악하기 어렵게 만든다.

EgoPush는 이를 해결하기 위해 물체들을 개별 좌표가 아닌 상대적 관계로 파악하는 Embedding 방식을 사용한다. 특히 학습 과정에서 제약된 교사라는 개념을 도입한다. 교사는 물체의 정확한 위치를 알지만 로봇의 시야 밖 정보는 무시하도록 강제된다. 이는 교사가 학생이 따라 할 수 없는 초능력 같은 동작을 하지 않게 하여, 나중에 학생 모델이 시각 정보만으로 교사의 행동을 더 잘 복제할 수 있게 돕는다.

또한 복잡한 작업을 한 번에 배우는 대신 물체에 접근하기와 목표 지점에 놓기 같은 단계로 나누고, 각 단계에서 빨리 성공할수록 더 큰 보상을 주는 방식을 택했다. 이를 통해 로봇은 단순히 물체를 건드리는 것을 넘어 최종 목표 형상을 만들기 위한 정교한 움직임을 효율적으로 학습하게 된다.

전체 아키텍처는 2단계 Distillation 프레임워크로 구성된다. 1단계에서는 강화학습을 통해 희소 키포인트를 관측하는 교사 정책을 학습시키고, 2단계에서는 이를 RGB-D 입력을 사용하는 시각 기반 학생 정책으로 전이한다.

객체 중심 잠재 표현을 위해 장면 내 물체를 Active, Anchor, Obstacle로 분류한다. 각 그룹의 포인트 클라우드 데이터를 PointNet으로 인코딩하여 잠재 벡터 Z를 생성하고 이를 이전 행동과 결합하여 MLP 정책망의 입력으로 사용한다. [포인트 클라우드 입력 → PointNet 연산 → 잠재 벡터 출력 → 물체 그룹별 기하학적 특징 의미]

학습 효율을 높이기 위해 단계 정렬 보상을 적용한다. 각 단계의 제한 시간과 경과 시간을 입력으로 하여 남은 시간 비율을 계산하고 이를 완료 보상에 곱한다. [남은 시간 비율 계산 → 완료 보상에 곱셈 → 빠른 작업 완료 유도 → 시간 효율적 정책 학습 의미]

학생 모델 학습 시에는 DAgger 방식을 사용하여 온라인으로 교사의 행동을 모방하며 관계형 증류 손실을 최소화한다. 이는 물체 간 잠재 벡터의 코사인 유사도 행렬을 일치시키는 방식이다. [교사와 학생의 잠재 벡터 쌍별 유사도 계산 → 차이의 제곱합 계산 → 공간 구조 일치 유도 → 시각 정보에서의 공간 추론 능력 획득 의미]

시뮬레이션 실험에서 EgoPush는 단순한 엔드투엔드 강화학습 베이스라인들이 1% 미만의 성공률을 보인 것과 대조적으로 100%의 도달률과 성공률을 기록했다. 특히 시야 제한과 중앙 게이트 가시성 제약이 학생 모델의 성능을 0%에서 70.7%까지 끌어올리는 핵심 요소임을 확인했다.

보상 설계에 대한 Ablation Study 결과, 단계별 보상과 시간 감쇠, 단계 타이머를 모두 적용했을 때 성공률이 16.02%에서 98.63%로 급격히 상승했다. 이는 장기 작업에서 신용 할당 문제를 해결하는 데 단계별 구조화가 필수적임을 보여준다.

실제 환경 테스트에서는 시뮬레이션에서 학습된 모델을 추가 튜닝 없이 그대로 적용하여 5개의 상자를 십자 모양으로 배치하는 작업에서 80%의 성공률을 달성했다. 이는 제안된 프레임워크가 센서 노이즈와 실제 물리 법칙의 차이를 견딜 수 있을 만큼 견고함을 입증한다.

시스템은 Constrained Teacher RL과 Visual Student Distillation의 2단계 구조를 취한다. 교사는 PointNet 기반의 상태 추정기를 사용하며, 학생은 CNN을 사용하여 마스킹된 깊이 맵을 처리한다.

교사의 관측치는 가상 FOV 마스킹과 Center-gated visibility 제약을 받는다. 이는 기준점이 로봇 정면의 특정 영역 내에 있을 때만 목표 정보를 제공함으로써, 로봇이 목표를 시야 중심에 유지하며 이동하도록 유도하는 Active Perception 동작을 강제한다.

보상 함수는 Reach와 Place의 두 단계로 나뉘며, 각 단계 내에서 목표와의 거리를 줄이는 Progress Shaping 보상이 포함된다. 로봇과 물체 사이의 거리 변화량을 실시간으로 계산하여 보상으로 제공함으로써 효율적인 경로 형성을 유도한다.

Sim-to-real 전이를 위해 시뮬레이션 학습 시 깊이 데이터에 노이즈를 주입하고, 실제 로봇에서는 Navier-Stokes inpainting 알고리즘을 사용하여 깊이 센서의 구멍을 메우는 전처리를 수행한다.

로봇 제어는 차동 구동 방식을 따르며, 정책망은 선속도와 각속도를 출력한다. 실제 하드웨어인 TurtleBot3 Burger와 Jetson Nano 환경에서 약 25Hz의 실시간 추론이 가능하도록 최적화되었다.

현재 학생 모델은 주로 반응형으로 동작하며, 일시적으로 시야에서 사라진 물체에 대한 명시적인 신념을 유지하지 못한다. 이로 인해 연속적인 장애물이 있는 환경에서 목표를 쫓을지 경로를 찾을지 결정하지 못하고 진동하는 현상이 발생할 수 있다.