Play2Perfect: 정밀 조립을 위한 다지능 손 조작 플레이 사전학습의 핵심 요소

정밀 조립은 접촉이 빈번하고 보상이 희소하여 직접적인 RL만으로는 효율적 학습이 어렵다. Play2Perfect는 작업-무관한 플레이를 통해 손가락 기반의 재사용 가능한 조작 프라이어를 학습하고 이를 희소 보상 환경에서 미세 조정하여 조립 문제를 빠르게 해결하는 접근을 제시한다. 이 접근은 시뮬레이션 대비 샘플 효율 33배 개선과 0.5mm 간극에서 실제 환경 제로샷 전이 성능을 보고하여 접촉 기반 정밀 조작 연구의 실용적 전진을 나타냈다.

정밀 조립은 보상이 최종 파트 포즈에만 주어지는 희소 보상 문제여서 무작위 초기 정책으로는 유용한 접촉 행동을 발견하기 어렵다. 이 문제를 해결하기 위해 목표 조건화된 플레이를 통해 먼저 그리핑, 손내부 회전, 6D 포즈 제어와 같은 기본 조작 능력을 학습하면 이후 희소 보상 조립에서는 탐색 공간이 크게 축소된다. 플레이 단계는 접촉 이벤트나 조립 지식 없이도 손가락 수준의 조작 전략을 획득하게 만들며, 이는 미세조정에서 빠른 수렴을 가능하게 한다.

플레이 목표는 연속된 6D 목표 시퀀스로 구성되어 번역과 회전 모두를 학습하도록 설계되었다. 이때 목표 정밀도(예: 1cm)와 목표 샘플링 방식이 in-hand manipulation 발달에 영향을 미친다. 특히 회전 제어를 연습하게 하는 목표는 조립에서 필요한 정렬 능력을 직접적으로 향상시켰다.

플레이에서 얻은 프라이어는 단순한 전이 초기화가 아니라 접촉 상황에서의 복구와 정렬 전략을 포함하는 행동 분포를 제공했다. 이러한 행위 분포는 희소 보상 환경에서의 RL 미세조정이 국소 탐색과 접촉 기반 보정에 집중하도록 유도해 스크래치 학습 대비 수십 배의 샘플 효율 향상을 가능하게 했다.

전체 접근은 두 단계로 구성되었다: 먼저 시뮬레이션에서 목표 조건화된 플레이 정책을 SAPG로 학습하고, 이후 CAD에서 유도한 희소 보상 조립 환경에서 동일 정책을 미세조정했다. 플레이 단계에서는 절차적 생성된 직육면체·원기둥 객체들을 무작위화하고 각 에피소드에서 연속적인 6D 목표들을 샘플링해 in-hand manipulation을 유도했다. 미세조정 단계에서는 완성된 어셈블리로부터 역분해하여 단계별 희소 목표 집합을 생성하고 각 단계에 대해 최종 포즈 도달 여부로 성공 보상을 부여했다.

플레이 보상 함수는 동작 부드러움 항, 그립 유지 항, 그리고 현재 6D 목표에 대한 도달 보상으로 구성되었다. 6D 목표 보상은 키포인트 기반 포즈 거리 d_pose와 임계값 ε를 이용해 성공 여부를 판정하며 ε 값을 작게 설정할수록 목표 정밀도를 강화했다. 궤적 다양성은 에피소드마다 목표를 무작위화함으로써 확보되었으며 고정 궤적보다 더 넓은 목표 전이 커버리지를 제공했다.

학습 과정에서는 도메인 랜덤화를 적용해 물리 파라미터, 관측 노이즈, 액션 지연을 무작위화했고 이를 통해 시뮬레이션에서 학습한 정책이 현실의 불확실성에 대해 강인해졌다. 실제 배포 시에는 FoundationPose로 CAD 메쉬 기반 6D 포즈 추적을 수행하고 포즈 추적은 30Hz, 정책 제어는 60Hz로 닫힌 루프를 구성했다. 전체 학습과 미세조정은 SAPG를 사용했으며 논문 및 보조자료에 구현 및 하이퍼파라미터 세부가 제공되어 있다.

메인 벤치마크에서 Play2Perfect는 네 가지 접촉 중심 조립 과제에서 공통된 프라이어로 2–5시간 내에 높은 성공률을 달성했고, 스크래치로부터의 학습은 24시간 후에도 대부분의 과제에서 성공을 보이지 않았다. 플레이 프라이어를 사용한 미세조정은 스크래치(밀집 보상 포함)에 비해 평균적으로 33배 빠른 샘플 효율을 보였으며 이 수치는 논문 내 시뮬레이션 학습 곡선과 벤치마크 비교에서 보고되었다. 또한 스크래치로 학습된 정책은 균형 유지 같은 취약한 근사 전략에 의존하는 경향이 있어 외란에 매우 취약한 반면, Play2Perfect는 외란에도 강인한 그립과 복구 전략을 유지했다.

플레이 사전학습 설계 요소에 대한 절단 실험에서 객체 다양성, 목표 유형, 궤적 다양성, 목표 정밀도 모두가 전이에 유의미한 영향을 미쳤다. 특히 회전 제어를 포함한 6D 목표가 없으면 in-hand reorientation 능력이 발달하지 못해 조립 전이가 실패로 귀결되었다. 목표 정밀도 실험에서는 1cm 임계값이 가장 빠르고 안정적인 전이를 제공했고 5cm·10cm로 완화하면 전이가 느려지거나 실패하는 현상이 관찰되었다.

플레이만 사용한 frozen policy와 미세조정된 Play2Perfect를 비교한 결과, 플레이만으로는 느슨한 간극에서만 성공했고 정밀 간극에서는 성능이 급격히 떨어졌다. 시뮬레이션에서 Play2Perfect는 4mm에서 95% 성공, 1mm에서 92%, 0.2mm에서 80%를 달성했으며 실세계 평가에서도 10mm에서 100%, 2mm에서 90%, 0.5mm에서 60% 성공률을 보고했다. 이 수치는 플레이 프라이어가 그립과 회전 능력을 제공하지만 접촉 기반 정밀 동작을 위해서는 특정 과제에 대한 RL 미세조정이 여전히 필요함을 입증했다.

정책은 목표 조건화된 형태 π_θ(s_t, o_t, g_t, ϕ)로 구현되어 로봇의 관절 상태와 현재 및 목표 물체 포즈, 그리고 물체의 바운딩박스 치수를 입력으로 사용했다. 6D 포즈 목표는 키포인트 기반 거리 함수 d_pose를 통해 번역·회전 오차를 합산해 계산하고 성공 판정은 d_pose < ε 형태로 이루어졌다. 플레이 보상은 r_smooth, r_grasp, r_goal의 합으로 구성되어 동작의 부드러움, 물체 리프팅, 그리고 목표 도달을 동시에 유도했다.

플레이 단계에서 객체는 절차적으로 생성된 직육면체 및 원기둥으로 샘플링되었고 질량 분포와 추가 질량을 무작위화해 관성 차이를 유도했다. 에피소드마다 목표 시퀀스를 무작위화해 손가락 기반 조작을 강화했고 목표 정밀도 ε 값은 기본 1cm로 설정되었다. 미세조정 환경은 CAD 어셈블리의 역분해로 생성된 단계들로 구성되며 각 단계에서의 최종 파트 포즈를 희소 성공 목표로 사용했다.

학습 알고리즘은 Split and Aggregate Policy Gradients(SAPG)를 사용했고 SAPG는 기존 PPO 대비 이 분야에서 더 안정적인 학습을 제공하는 것으로 논문에 기술되었다. 시뮬레이션-실세계 전이를 위해 액션 지연, 관측 노이즈, 목표 포즈 노이즈 등을 포함한 도메인 랜덤화를 적용했으며 실세계 배포 시에는 FoundationPose로 6D 포즈를 추적해 정책 제어 루프에 입력했다. 정책은 60Hz로 동작하고 포즈 추적은 30Hz로 실행되어 클로즈드 루프 제어가 가능했다.

연구는 단기 단계별 조립 기술 학습에 초점을 맞추어 전체 자율 조립 파이프라인(작업 순서 결정, 파트 선택 등)은 외부에서 제공되었다. 실환경 배포는 CAD 기반의 포즈 추적 성능에 의존하므로 시야 가림이나 빠른 움직임에서 추적 실패가 발생하면 성능 저하가 보고되었다. 또한 정책은 고정된 관측 세트(목표 포즈, 현재 포즈 등)에 의존하며 고급 시각·촉각 입력을 직접적으로 통합하지 않아 장면 인식 및 회복 과제에 한계가 있다.