사전 학습에서 전문가로: 분포 수축 강화학습 파인튜닝을 통한 효율적인 기술 습득

기존의 모방 학습으로 학습된 로봇 정책은 데이터에 없는 상황에서 실수를 반복하거나 정밀도가 떨어지는 한계가 있다. 이 논문은 강화학습을 분포를 좁히는 도구로 사용하여, 이미 그럴듯한 행동을 하는 모델이 성공 확률이 높은 동작에만 집중하도록 정교하게 다듬는 방법을 제시한다. 이를 통해 복잡하고 긴 과정이 필요한 로봇 조작 작업을 적은 데이터와 시도로도 효율적으로 학습할 수 있게 한다.

로봇 학습에서 Behavior Cloning(BC)은 전문가의 시연을 따라 하는 방식이다. 하지만 데이터가 부족하면 로봇은 대략적인 동작만 익히게 되고, 정밀한 조작이 필요한 순간에 실패하기 쉽다. 특히 Diffusion이나 Flow-matching 같은 생성 모델은 다양한 가능성을 생성할 수 있지만, 그중 어떤 것이 정말 최선인지 선택하는 능력이 부족하다.

DICE-RL은 이 문제를 해결하기 위해 강화학습을 분포 수축 도구로 활용한다. 기존 모델이 가진 넓은 행동 범위를 유지하면서, 온라인 피드백을 통해 성공 확률이 높은 좁은 영역으로 모델의 관심을 집중시킨다. 이때 기존 모델을 직접 수정하는 대신 가벼운 잔차(Residual) 레이어만 학습시켜, 원래 모델이 가진 물리적 타당성을 해치지 않으면서 미세한 교정만 수행한다.

결과적으로 로봇은 처음부터 모든 것을 배우는 대신, 이미 알고 있는 그럴듯한 동작들 중에서 진짜 정답을 골라내는 법을 배운다. 이는 탐색 범위를 획기적으로 줄여주며, 실제 로봇 환경처럼 시도가 비싸고 보상이 드문 상황에서도 빠르게 전문가 수준의 성능에 도달하게 만든다.

DICE-RL은 고정된 사전 학습 정책 pi_pre 위에 잔차 정책 s_theta를 더하는 구조를 취한다. 행동 a는 pi_pre(s, z) + s_theta(s, z)로 계산되며, 여기서 z는 잠재 노이즈이다. [상태 s와 노이즈 z를 입력으로] → [사전 학습된 모델의 출력에 학습 가능한 잔차 값을 더해] → [최종 행동 a를 생성하며] → [이는 기존 행동의 틀을 유지하면서 미세 조정을 가능케 한다].

학습 목적 함수는 TD3+BC 스타일을 변형하여 사용한다. 가치 함수 Q_phi를 최대화하는 동시에 잔차의 크기 ||s_theta||^2를 최소화하는 규제 항을 포함한다. [잔차의 L2 노름을 계산하여] → [손실 함수에 더함으로써] → [잔차가 너무 커지지 않게 억제하며] → [로봇이 사전 학습된 안전한 행동 범위를 벗어나지 않도록 강제한다].

BC-loss filter라는 핵심 메커니즘을 도입한다. 현재의 잔차 수정이 가치를 확실히 높인다고 판단될 때만 규제를 해제한다. [수정된 행동의 가치가 원래 행동보다 높고] → [그 차이가 몬테카를로 리턴 추정치와 일관성이 있을 때] → [규제 항의 가중치를 0으로 만들어] → [모델이 자유롭게 성능을 개선할 수 있도록 허용한다].

Robomimic 벤치마크의 Can, Square, Transport, Tool Hang 작업에서 기존 방법론인 IBRL, DPPO, EXPO보다 높은 성공률과 샘플 효율성을 보였다. 특히 가장 어려운 Tool Hang 작업에서 50개의 시연 데이터만으로 2000회 에피소드 이내에 90% 이상의 성공률을 달성했다.

실제 로봇 실험인 Gear Insertion, Light Bulb Insertion, Belt Assembly에서도 뛰어난 성능을 입증했다. 벨트 조립 작업은 벨트가 미끄러지거나 끊어지기 쉬운 민감한 작업임에도 불구하고, DICE-RL은 사전 학습된 정책의 실패 모드를 정확히 교정하며 안정적인 마스터링을 보여주었다.

절제 연구를 통해 BC-loss filter, Multi-sample expectation training, Best-of-N action selection이 모두 수렴 속도와 최종 성능 향상에 기여함을 확인했다. 샘플 수 K를 늘릴수록 그래디언트 분산이 줄어들어 학습이 더욱 안정화되는 경향이 나타났다.

DICE-RL은 사전 학습된 Flow-matching 또는 Diffusion 기반 정책을 고정된 제안 분포로 취급한다. 정책 파라미터를 직접 업데이트하는 대신, 잠재 공간에서 행동으로 매핑되는 과정에 잔차 네트워크를 개입시켜 미분 불가능한 ODE 솔버 문제를 회피한다.

Multi-sample Expectation Training을 사용하여 상태당 K개의 잠재 샘플을 추출하고 그 평균 가치를 최적화한다. 이는 단일 샘플에 과적합되는 것을 방지하고 가치 평가의 분산을 낮춘다. Critic 업데이트 시에도 K개의 다음 상태 후보에 대한 평균 가치를 타겟으로 사용한다.

행동 선택 시 Best-of-N 전략을 사용하여, 추론 시점에 여러 후보 중 가치 함수가 가장 높게 평가한 행동을 실행한다. 이는 추가 학습 없이도 모델의 성능을 즉각적으로 끌어올리는 효과를 준다.

분포 수축 분석을 통해 학습이 진행됨에 따라 정책의 엔트로피가 감소하고 궤적들이 특정 깔때기 영역으로 모이는 현상을 수치적으로 증명했다. 이는 모델이 노이즈에 더 강해지고 견고해졌음을 의미한다.

현재는 단일 작업 위주의 정교화에 집중되어 있어, 더 크고 다양한 탐색이 가능한 멀티태스크 VLA 정책으로의 확장이 필요하다. 또한 강화학습 파인튜닝의 안정성과 샘플 효율성에 대한 더 깊은 이론적 보장이 향후 연구 과제로 남아있다.