정규화된 마르코프 결정 과정(MDP)의 이론: 엔트로피를 넘어선 볼록 정규화

섹션별 상세

강볼록 함수 Ω를 도입하여 기존 Bellman 평가 연산자를 T_Ω^π(v)(s) = π(s)'q(s) - Ω(π(s))로 재정의한다. 이 연산자는 기존 연산자의 선형성, 단조성, 축약성을 그대로 상속받으므로 유일한 고정점인 정규화된 가치 함수 v_Ω^π로 수렴함이 보장된다.

최적 Bellman 연산자는 볼록 켤레(Legendre-Fenchel 변환)인 Ω*를 사용하여 T_Ω*(v)(s) = Ω*(q(s))로 표현된다. 이때 최적 정규화 정책은 볼록 켤레의 기울기인 ∇Ω*(q_Ω*(s))를 통해 계산되며, 이는 엔트로피 정규화에서 Softmax가 도출되는 과정을 일반화한 것이다.

정규화는 최적 가치 함수를 원래의 목적 함수에서 멀어지게 하는 편향을 발생시킨다. Ω의 상한(u_Ω)과 하한(l_Ω)을 이용하여, 정규화된 정책의 실제 성능이 최적 성능으로부터 최대 (u_Ω - l_Ω)/(1-λ)만큼 차이 날 수 있음을 수학적으로 증명했다.

Soft Q-learning은 정규화된 가치 반복의 확장이며, Soft Actor-Critic(SAC)은 엔트로피 정규화를 적용한 일반화된 정책 반복(GPI) 체계로 해석된다. 이는 이론적 정규화 MDP 프레임워크가 실제 프로덕션 수준의 알고리즘들을 설명하는 강력한 도구임을 시사한다.

정적 정규화의 편향을 해결하기 위해 브레그먼 발산을 이용한 동적 정규화 기법을 적용한다. 정책 개선 단계에서 현재 정책과의 거리를 제한하는 방식은 미러 데센트 업데이트와 구조적으로 동일하며, 이는 PPO나 MPO와 같은 알고리즘의 핵심 원리와 맞닿아 있다.

용어 해설

볼록 켤레(Convex Conjugate): — 함수 f에 대해 f*(y) = max(x'y - f(x))로 정의되는 Legendre-Fenchel 변환이다. 정규화된 MDP에서 최적 Bellman 연산자를 정의할 때 핵심적인 역할을 하며, 정규화 항의 특성에 따라 최적 정책의 형태를 결정한다.
브레그먼 발산(Bregman Divergence): — 볼록 함수에 의해 생성되는 두 점 사이의 비대칭적 거리 척도이다. 미러 데센트 알고리즘에서 현재 지점과의 근접성을 유지하면서 목적 함수를 최적화하는 정규화 항으로 사용되어 알고리즘의 안정성을 높인다.
벨만 연산자(Bellman Operator): — 강화학습에서 가치 함수를 재귀적으로 업데이트하는 수학적 연산자이다. 이 연산자의 축약성(Contraction) 덕분에 반복적인 가치 업데이트가 유일한 최적 가치 함수로 수렴함이 보장된다.
미러 데센트(Mirror Descent): — 경사 하강법을 일반화한 최적화 알고리즘으로, 유클리드 거리 대신 브레그먼 발산을 사용하여 업데이트를 수행한다. 강화학습의 정책 개선 단계에서 이전 정책으로부터 급격한 변화를 방지하는 동적 정규화 기법의 이론적 토대가 된다.
축약 사상(Contraction Mapping): — 연산자를 적용한 후 두 점 사이의 거리가 일정 비율 이하로 줄어드는 성질이다. Banach의 고정점 정리에 따라 축약 사상을 반복 적용하면 반드시 하나의 고정점으로 수렴하게 되며, 이는 RL 알고리즘의 수렴성을 증명하는 핵심 원리이다.

기술

Soft Actor-Critic
PPO
MPO
Soft Q-learning

활용 사례

안정적인 정책 최적화
RL 알고리즘의 수렴성 증명
정규화 기반의 탐험(Exploration) 전략 설계

언급된 리소스

논문A Theory of Regularized Markov Decision Processes. Geist et al, 2019.

논문Reinforcement Learning with Deep Energy-Based Policies. Haarnoja et al, 2017.

논문Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. Haarnoja et al, 2018.