로봇 학습을 위한 진행 보상 모델링: 종합 서베이

로봇 학습은 다단계의 긴 실행에서 최종 성공 신호만으로는 중간 행동의 진전 여부를 알기 어려워 샘플 효율과 신용 할당 문제가 심각하다. 진행 보상은 실행 중에 밀도 높은 피드백을 제공하여 정책 학습, 궤적 재평가, 데이터 필터링, 실패 조기 감지 등에 직접적으로 기여한다. 본 서베이는 이러한 진행 보상 연구를 입력·구성·평가의 세 관점으로 통합하여 서로 다른 방법들이 실제로 어떤 속성을 검증하는지 분명하게 만들었다.

로봇 과제는 연속적이고 히스토리에 의존하는 상태 전개를 포함하므로 단일 종단 성공 신호는 중간 행동의 가치나 진행을 알려주지 못한다. 동일한 현재 관찰이 이전에 무엇이 일어났는지에 따라 서로 다른 진행 위치를 가리킬 수 있어 진행은 관찰 자체의 직접적 속성이 아니라 잠재적 역사-조건화 상태로 이해되어야 한다. 따라서 진행 모델은 현재 관찰, 과거 문맥, 그리고 목표 조건의 조합을 통해 현재 상태가 전체 실행에서 어디에 위치하는지를 추정해야 한다.

논문은 진행 보상 구성 방식들을 진전 신호의 출처와 보상 계산 메커니즘 관점에서 네 패러다임으로 정리하였다. 첫 번째 패러다임은 사전학습된 VLM/CLIP 등의 점수에서 직접 유사성이나 토큰 확률을 추출하여 보상으로 사용하는 방식으로, 라벨 없이 바로 사용할 수 있으나 출력은 보정·정규화·차등화가 필요하다. 두 번째 패러다임은 시간적 순서나 쌍별 비교 같은 상대적 감독을 이용해 보상을 학습하는 방식으로, 시연 내후(state sequence) 정보를 목표 근접성 또는 선호 순위로 전환해 스칼라 보상을 얻는 과정이 포함된다. 세 번째 패러다임은 지침-튜닝된 VLM이나 비디오-언어 모델을 명시적 진행 예측기로 미세조정하는 방식으로, 모델이 명령형 타깃(절대 진행도·상대 개선·성공 여부 등)을 따르도록 학습시켜 보다 일관된 진행 점수를 얻는다. 네 번째 패러다임은 자연어 설명이나 시각적 기술을 코드·술어·특징 함수로 변환하여 실행 가능한 보상 함수로 합성하는 방식으로, 해석 가능성과 정밀도를 제공하되 환경의 상태 변수 접근성에 크게 의존한다.

문헌 조사 결과 진행 보상 연구는 문제 정의·입력·출력·평가의 차이로 인해 현저히 조각화되어 있어 직접 비교가 어렵다. 평가 프로토콜이 시간적 순서 일관성, 절대적 점수 보정, 선호 정확도, 또는 정책 학습 성과와 같이 서로 다른 특성을 검증하므로 동일한 성능 지표를 서로 다른 의미로 해석할 위험이 확인되었다. 또한 데이터 구성 방식에서 인간 개입 정도는 의미적 근거와 확장성 사이의 명확한 트레이드오프를 만들며, 자동화된 라벨은 규모를 제공하지만 편향과 오류를 공유할 수 있다.

전체 아키텍처 관점에서 진행 모델은 입력 인터페이스(단일 프레임, 최근 윈도우, 전체 궤적, 비교 쌍, 또는 환경 상태 API), 목표 명세(언어·비전·데모·구조화 목표), 그리고 출력 형태(상태 스칼라·델타·순위·실행 가능한 보상 함수)를 조합하여 정의된다. 입력-출력 쌍마다 요구되는 데이터와 계산량이 달라 온라인 적용성, 시간적 증거의 강도, 그리고 보상 보정 필요성이 다르게 나타난다. 핵심 메커니즘은 사전학습된 표현의 유사성 점수 활용, 시간적 순서로부터 거리 또는 순서 학습, 쌍별 선호로부터 스칼라 재구성, 그리고 자연어→코드 변환을 통한 보상 함수 합성으로 요약된다. 학습·구현 세부에서는 사람 주도 라벨링, 사람-검증 기반 보정, 완전 자동화된 규칙·모델 기반 레이블링과 데이터 증강(시연 절단·뒤집기·노이즈 추가 등)이 병용되어 각 방법의 확장성과 의미적 일관성 사이의 균형을 맞춘다.

논문은 현재 방법들이 미세한 진행 변화를 민감하게 포착하지 못하는 경향이 있음을 지적한다. 시간 정규화나 순서를 감독으로 사용할 경우 진전이 일정 속도로 증가한다는 가정이 생기며 실제로는 급격한 도약이나 긴 정체 구간이 발생한다는 문제가 있다. 실시간 적용 관점에서는 대형 VLM 기반 접근의 추론 지연이 빈번한 제어 단계에서의 활용을 어렵게 한다고 지적한다. 또한 장기 실행을 정확히 위치시키기 위한 압축된 과거 기억을 보유하지 못하면 반복적·역행적 행동을 구분하지 못하는 한계가 존재한다.