다중 시간 척도 강화학습에서의 정책 붕괴 해결: '라우팅보다 표현' 접근법

실용적 조언

다중 horizon을 다루는 에이전트 설계 시 Actor의 업데이트 소스를 가장 긴 시간 척도의 이점으로 고정하여 정책 붕괴를 방지하라.
Critic 네트워크가 다양한 gamma 값에 대한 가치 함수를 동시에 예측하도록 설계하여 공유 레이어에서 강력한 특징 표현이 학습되도록 유도하라.

섹션별 상세

다중 시간 척도 어텐션 메커니즘이 정책 그래디언트에 노출될 때 대리 목적 함수 해킹 현상이 발생했다. 최적화 알고리즘이 실제 환경 제어를 학습하는 대신 어텐션 가중치를 조작하여 PPO 대리 손실을 최소화하는 지름길을 찾는 현상이 확인됐다. 이는 에이전트가 환경의 보상 구조를 무시하고 손실 함수 수치만 낮추는 결과로 이어졌다.

역분산 가중치와 같은 그래디언트 프리 방식을 사용할 때 시간적 불확실성의 역설이 나타났다. 라우터가 우연적 불확실성이 낮은 단기적 시계에만 고착되면서 LunarLander 환경의 에이전트가 착륙 대신 공중 부양을 통해 소량의 보상만 챙기는 근시안적 행동을 보였다. 이는 장기적인 목표 달성보다 확실한 단기 보상을 선호하는 최적화 편향 때문이다.

문제 해결을 위해 Critic은 다중 시간 척도 예측을 수행하여 견고한 보조 표현을 학습하게 하되, Actor는 장기 이점만으로 업데이트하는 타겟 디커플링 방식을 적용했다. 이 구조는 표현 학습의 풍부함과 정책 업데이트의 안정성을 동시에 확보하는 방식으로 작동했다. 실험 결과 에이전트는 공중 부양을 멈추고 연료 효율적인 착륙에 성공하며 200점 이상의 점수를 안정적으로 기록했다.

용어 해설

시간적 신용 할당(Temporal Credit Assignment): — 강화학습에서 에이전트가 받은 보상이 과거의 어떤 행동 때문에 발생했는지 결정하는 메커니즘이다. 보상이 지연되어 나타나는 환경에서 특정 행동의 기여도를 정확히 평가하여 학습 효율을 높이는 데 필수적이다.
액터-크리틱(Actor-Critic): — 행동을 결정하는 Actor와 그 행동을 평가하는 Critic으로 구성된 강화학습 아키텍처이다. Actor는 정책을 업데이트하고 Critic은 가치 함수를 학습하여 정책 그래디언트의 분산을 줄이는 역할을 한다.
대리 목적 함수(Surrogate Objective): — 직접 최적화하기 어려운 원래의 목적 함수 대신 사용하는 근사 함수이다. PPO에서는 정책 업데이트 시 급격한 변화를 막기 위해 클리핑된 대리 목적 함수를 사용하여 안정적인 학습을 도모한다.
우연적 불확실성(Aleatoric Uncertainty): — 데이터 자체에 내재된 무작위성으로 인해 발생하는 불확실성이다. 강화학습에서는 환경의 노이즈나 확률적 요소로 인해 발생하며, 모델이 더 많은 데이터를 학습하더라도 제거되지 않는 특징이 있다.

언급된 도구

PyTorch추천

최소 재현 예제(MRE) 구현 및 신경망 학습

언급된 리소스

논문Representation over Routing (arXiv)

GitHubGitHub Repository (MRE + GIFs)