자율적 경험을 통한 신체화된 지능: 로봇 학습의 새로운 패러다임

• •로봇 데이터는 텍스트나 비디오 데이터에 비해 수집 비용이 압도적으로 높음
• •인간 데이터를 단순히 모방하는 방식은 데이터 고갈 문제에 직면함
• •컴퓨팅 파워와 함께 스케일링 가능한 자율 학습 방식이 필요함

Rich Sutton의 'The Bitter Lesson'은 계산 능력을 활용하는 범용적인 방법이 결국 승리한다는 내용을 담고 있다.

• •능동적 상호작용은 무한한 학습 데이터를 제공함
• •보상(Reward)과 목표(Goal)에 기반한 자율적 탐색이 학습의 중심임
• •강화학습(Reinforcement Learning)은 이러한 학습 과정을 구현하는 자연스러운 프레임워크임

• •VR 헤드셋을 활용해 비전문가도 1시간 내에 100개의 궤적 데이터 수집 가능
• •촉각 센서와 시각 데이터를 결합한 다중 감각 정책 학습 수행
• •휴머노이드 로봇의 식기세척기 적재, 화이트보드 닦기 등 복잡한 작업 수행 성공

HATO는 인간의 가이드를 통해 로봇의 진화 과정을 가속화하는 접근법이다.

• •접촉 상태와 객체 상태라는 두 가지 핵심 요소로 보상 함수를 단순화하여 범용성 확보
• •도메인 랜덤화를 적용하여 학습 시 보지 못한 다양한 형태의 병 뚜껑 작업 성공
• •시각 데이터에서 객체의 3D 좌표를 추정하여 시뮬레이션 정책을 실제 환경에 연결

Isaac Gym은 대규모 병렬 로봇 시뮬레이션을 지원하는 도구이다.

• •다양한 특수 목적 강화학습 정책을 하나의 범용 정책으로 통합
• •강화학습 정책을 데이터 생성기로 활용하여 모방 학습의 한계 극복
• •외부의 무작위 충격에도 균형을 유지하며 작업을 수행하는 강건성 확보

부트스트래핑은 초기 모델이 생성한 데이터를 다시 학습에 사용하여 성능을 높이는 기법이다.