액션 양자화를 이용한 행동 모방 학습의 이해

로봇이 사람의 동작을 배울 때 연속적인 움직임을 디지털 토큰으로 변환하는 과정에서 발생하는 오차가 성능에 미치는 영향을 규명했습니다. 시스템의 안정성과 데이터의 매끄러움을 고려한 새로운 학습 알고리즘을 통해 장기적인 작업에서도 로봇이 안정적으로 동작할 수 있는 이론적 토대를 마련했습니다.

행동 모방 학습은 전문가의 행동을 정답으로 삼아 학습하는 방식이다. 최근 Transformer 기반 모델을 로봇 제어에 적용하기 위해 연속적인 액션 값을 이산적인 토큰으로 변환하는 양자화 과정이 필수적이다. 그러나 이 과정에서 발생하는 정보 손실은 시간이 지남에 따라 누적되어 시스템의 성능을 크게 저하시키는 원인이 된다. 이 논문은 양자화 오차가 시스템의 안정성(Stability)과 어떻게 상호작용하는지 수학적으로 분석한다. 시스템이 외부의 작은 변화에도 원래의 궤적을 유지하려는 성질인 P-IISS를 갖추고 있다면, 양자화로 인한 오차가 기하급수적으로 증폭되지 않고 일정 수준 내에서 관리될 수 있음을 입증한다. 특히 결정론적인 전문가를 모방할 때는 복잡한 학습형 양자화보다 단순한 Binning 방식이 정책의 매끄러움을 유지하는 데 더 유리하다는 점을 밝혀냈다. 이는 실제 로봇 제어 시스템 설계 시 토큰화 전략을 선택하는 데 있어 중요한 이론적 가이드라인이 된다.

P-IISS(Probabilistic Incremental Input-to-State Stability)를 통한 시스템 안정성 정량화. [두 정책의 액션 차이 d를 입력으로] -> [시스템 역학을 거쳐 상태 편차 γ를 계산함] -> [상태가 안정적인 영역에 머물 확률 δ를 도출함] -> [이 값이 작을수록 시스템이 외부 오차에 강건함을 의미함]. RTVC(Relaxed Total Variation Continuity)를 이용한 정책의 매끄러움 조건 설정. [상태 변화에 따른 액션 분포의 TV distance를 측정함] -> [특정 임계값 이상의 변화가 발생할 확률을 제한함] -> [양자화된 정책이 상태 변화에 대해 급격하게 반응하지 않도록 보장함]. 모델 기반 증강(Model-based Augmentation) 알고리즘 개발. [현재 상태와 양자화된 액션을 입력으로] -> [학습된 전이 모델을 통해 다음 가상 상태를 예측함] -> [실제 환경 대신 가상 환경의 궤적을 따라 액션을 결정함] -> [분포 외 상태로의 이탈을 방지하여 오차 누적을 억제함].

확률적 전문가 모방 시 후회(Regret) 상한선 도출. 샘플 수 n과 양자화 오차 εq에 대해 H * sqrt(log|Π|/n) + H² * εq 수준의 오차 범위를 가짐이 확인됐다. 여기서 H는 작업의 총 시간 단계이다. 결정론적 전문가 모방 시 Binning 양자화기의 우수성 입증. Binning 방식을 사용할 경우 정책의 매끄러움 조건이 자연스럽게 충족되어, 일반적인 학습 기반 양자화기에서 발생하는 성능 저하 문제를 효과적으로 해결할 수 있음이 증명됐다. 모델 기반 증강 알고리즘의 효율성 확인. 제안된 알고리즘은 양자화 오차 항에 대해 시간 단계 H에 선형적으로 비례하는 오차 범위를 달성했다. 이는 기존의 제곱 비례 방식보다 장기적인 작업 수행에 훨씬 유리한 결과이다.

Log-loss 기반 행동 모방 학습에서 양자화 오차와 통계적 추정 오차의 결합 효과를 분석하는 이론적 프레임워크를 제시했다. 시스템 역학의 안정성을 정의하기 위해 노이즈 표현(Noise representation)과 공유 노이즈 커플링(Shared-noise coupling) 기법을 사용하여 확률적 시스템으로의 확장을 구현했다. 정책의 연속성 지표인 RTVC가 결정론적 정책에서는 성립하기 어렵다는 한계를 지적하고, Binning 양자화기가 특정 조건 하에서 이 조건을 만족함을 수학적으로 유도했다. 전이 모델(T ◦ ρ)을 최대 우도 추정으로 학습하고, 추론 시 보조 롤아웃(Auxiliary rollout)을 수행하여 실제 환경의 상태 변화가 정책 결정에 미치는 부정적 영향을 최소화했다.

전이 모델의 완벽한 학습 가능성을 전제로 하고 있어, 실제 환경의 복잡한 물리 법칙을 모두 모델링하기 어려운 경우에는 성능 보장이 제한적일 수 있다.