사람 시연으로 로봇의 손재주를 배우는 학습 파이프라인

맥락: 로봇의 손 재주를 필요로 하는 접촉 중심 작업에서 인간 시연으로 학습하는 것이 중요해졌다.

핵심 전개: MANO 손 모델과 GelSight Mini 같은 멀티모달 센서를 통해 시연 데이터를 3D 핸드 포즈와 접촉 파라미터로 변환하고, Behavioral Cloning과 Demo Augmented Policy Gradient 같은 imitation learning 방법으로 정책을 학습한다. 비디오 리타게팅과 텔레오페레이션으로 대규모 데이터 수집을 확장하며, 역운동학과 컨텍스트 인게이지먼트를 통해 로봇에게 실제 작업을 수행하게 한다.

의미: 이 접근은 데이터 파이프라인의 품질과 다양성이 로봇 학습의 속도와 일반화에 직접적인 영향을 미친다는 점을 시사한다. Ango Hub 같은 도구를 활용한 엔드투엔드 워크플로우 자동화가 상용 적용의 실용성을 높인다.