SimToolReal: 제로샷 다지 로봇 도구 조작을 위한 객체 중심 정책

로봇이 망치나 드라이버 같은 도구를 사람처럼 능숙하게 다루는 것은 매우 어렵고 데이터 수집 비용도 막대하다. 이 논문은 복잡한 실제 데이터 없이 시뮬레이션에서 생성된 가상의 도구들만으로 학습하여, 처음 보는 실제 도구까지 제로샷으로 조작할 수 있는 범용적인 객체 중심 강화학습 프레임워크를 제시한다.

기존의 로봇 강화학습은 특정 물체를 잡거나 돌리는 개별 동작마다 복잡한 손실 함수(Loss function)를 설계해야 했다. SimToolReal은 이를 해결하기 위해 경사 하강법(Gradient Descent)이 최소화해야 할 목표를 '물체의 현재 포즈와 목표 포즈 사이의 거리'라는 단일한 지표로 단순화한다. 로봇은 시뮬레이션에서 수만 개의 가상 도구를 임의의 위치로 옮기는 연습을 반복하며, 이 과정에서 도구의 구체적인 모양보다는 '어디를 잡고 어떻게 돌려야 원하는 위치로 가는가'라는 물리적 상호작용의 본질을 학습한다.

이러한 학습 방식은 로봇이 특정 도구에 과적합(Overfitting)되는 것을 방지한다. 대신 물체의 6D 포즈와 손잡이의 크기라는 추상화된 정보를 바탕으로 행동하도록 유도한다. 결과적으로 로봇은 훈련 과정에서 한 번도 본 적 없는 실제 망치나 주걱을 마주했을 때도, 시각 센서가 제공하는 포즈 정보에 맞춰 자신의 손가락 관절을 어떻게 움직여야 할지 스스로 판단할 수 있게 된다.

최종적으로 사람의 시연 영상에서 추출한 도구의 움직임 궤적을 로봇에게 목표 포즈의 시퀀스로 전달하면, 로봇은 학습된 범용 조작 능력을 발휘하여 해당 궤적을 따라간다. 이는 복잡한 도구 사용 작업을 수많은 작은 '포즈 도달 문제'로 치환하여 해결하는 것으로, 데이터 효율성과 일반화 능력을 동시에 확보하는 핵심 원리이다.

전체적인 접근 방식은 시뮬레이션 기반의 목표 조건부 강화학습(Goal-conditioned RL)을 핵심으로 한다. IsaacGym 환경에서 손잡이(Handle)와 머리(Head)가 결합된 형태의 가상 물체들을 절차적으로 생성하며, 각 부위의 길이, 두께, 밀도를 무작위로 설정하여 물리적 다양성을 확보한다. 로봇은 22자유도의 Sharpa 핸드와 7자유도의 KUKA iiwa 암을 사용하여 이 물체들을 조작한다.

핵심 메커니즘인 보상 함수는 $r = r_{smooth} + r_{grasp} + \mathbb{I}_{grasped}r_{goal}$ 구조를 가진다. 여기서 $r_{goal} = \max(d^* - d(o_t, g), 0) + B_{succ} \mathbb{I}[d(o_t, g) < \epsilon]$ 식을 통해 학습이 진행된다. [현재 물체 포즈 $o_t$와 목표 포즈 $g$ 사이의 거리 $d$를 입력으로] -> [이전 최소 거리 $d^*$와의 차이를 계산하고 성공 임계값 $\epsilon$ 이내 도달 시 보너스 $B_{succ}$를 부여하여] -> [최종 보상 숫자를 산출하고] -> [이 숫자가 커지는 방향으로 정책 네트워크의 가중치를 갱신하여 목표 포즈에 더 정확히 도달하게 만든다].

학습 전략으로는 SAPG(Split and Aggregate Policy Gradients) 알고리즘을 채택하여 대규모 병렬 시뮬레이션에서의 탐색 효율을 높였다. 또한 비대칭 크리틱(Asymmetric Critic) 구조를 적용하여, 학습 시에는 물체의 정확한 속도와 같은 정답 정보를 활용해 가치 함수를 정확히 추정하고, 실제 배포 시에는 노이즈가 포함된 센서 데이터만으로도 안정적인 추론이 가능하도록 설계했다.

실제 로봇을 이용한 120회의 실험 결과, SimToolReal은 기존의 운동학적 리타겟팅(Kinematic Retargeting) 및 고정 파지(Fixed-grasp) 방식보다 작업 진행률(Task Progress) 면에서 37% 더 높은 성능을 보였다. 특히 지우개나 마커와 같이 단순 이동이 중심인 작업에서는 90% 이상의 높은 성공률을 기록했으며, 망치나 브러시처럼 복잡한 회전이 필요한 도구에서도 안정적인 제로샷 전이 성능을 입증했다.

Ablation Study를 통해 SAPG 알고리즘과 비대칭 크리틱의 중요성을 확인했다. PPO 알고리즘을 사용하거나 비대칭 크리틱을 제외했을 경우 학습 곡선의 수렴 속도와 최종 성능이 크게 저하되는 것으로 나타났다. 이는 복잡한 다지 조작 학습에서 효율적인 탐색과 정확한 상태 추정이 필수적임을 시사한다.

또한 특정 물체와 궤적에 대해서만 훈련된 전문가 정책(Specialist)과 비교했을 때, SimToolReal은 훈련되지 않은 새로운 물체나 궤적에 대해서도 전문가 수준의 성능을 유지하거나 오히려 능가하는 일반화 능력을 보여주었다. 이는 다양한 가상 도구를 활용한 훈련 방식이 실제 세계의 불확실성에 대응하는 강력한 견고성을 제공함을 의미한다.

SimToolReal의 아키텍처는 LSTM 백본을 기반으로 하여 과거의 상호작용 이력을 통합하고 관측되지 않은 물리적 특성을 잠재적으로 추론한다. 정책의 입력(Observation)은 로봇의 관절 상태(Proprioception), 물체의 현재 6D 포즈, 그리고 물체의 손잡이 영역을 나타내는 3D 바운딩 박스 정보로 구성된다. 특히 물체 포즈를 직접 입력하는 대신 4개의 키포인트(Keypoints)로 표현하여 기하학적 변화에 유연하게 대응하도록 했다.

학습 알고리즘인 SAPG는 정책 인구(Population of policies)를 관리하며 탐색의 다양성을 증진시킨다. 각 정책은 서로 다른 환경 청크에서 독립적으로 학습된 후 중요도 샘플링(Importance Sampling)을 통해 메인 정책으로 통합된다. 이는 다지 조작과 같이 보상이 희소(Sparse)하고 탐색 공간이 넓은 문제에서 로컬 미니마에 빠지는 것을 방지하는 데 효과적이다.

Sim-to-Real 전이를 위해 도메인 무작위화(Domain Randomization)를 적극 활용했다. 관측 지연(Latency), 센서 노이즈, 관절 마찰력뿐만 아니라 물체에 가해지는 외부 힘과 토크를 무작위로 주입하여 정책이 예기치 못한 물리적 방해에도 견고하게 반응하도록 훈련했다. 인식 단계에서는 SAM 3D를 통해 물체의 메쉬를 생성하고 FoundationPose로 실시간 6D 트래킹을 수행하여 정책에 필요한 객체 중심 정보를 공급한다.

현재 시스템은 도구의 포즈를 추종하는 데 집중하고 있어 실제 작업의 기능적 완료(예: 못이 완전히 박혔는지 여부)를 직접 보장하지는 않는다. 또한 환경 내의 장애물을 인식하지 못해 복잡한 환경에서 충돌이 발생할 수 있으며, 강체(Rigid body) 도구만을 가정하고 있어 가위와 같은 비강체 도구 조작에는 한계가 있다.