MHPO: 안정적인 강화학습을 위한 변조된 위험 인식 정책 최적화

대규모 언어 모델의 강화학습 과정에서 발생하는 급격한 성능 저하나 학습 실패 문제를 해결하는 새로운 최적화 프레임워크이다. 기존의 강제적인 값 제한(Clipping) 방식 대신 수학적으로 매끄러운 변조 기법을 도입하여, 복잡한 수학 문제 풀이나 시각 지능 학습의 안정성과 성능을 동시에 확보했다.

강화학습에서 모델을 업데이트할 때, 현재 모델이 이전 모델과 얼마나 달라졌는지를 나타내는 '중요도 비율'을 계산함. 특히 긴 추론 과정을 생성하는 모델에서는 이 비율이 기하급수적으로 커지거나 작아지며 경사도(Gradient)를 폭발시켜 학습을 망가뜨리는 문제가 빈번함. 기존에는 특정 범위를 넘으면 강제로 값을 고정하는 Clipping 방식을 썼지만, 이는 미분이 불가능한 지점을 만들어 학습 신호를 왜곡하고 최적화를 방해함. MHPO는 tanh 함수를 로그 공간에 적용하여 이 비율을 부드럽게 제한하면서도 학습 신호를 계속 유지하는 원리를 사용함. 또한, 모델이 너무 한 가지 정답에만 매몰되는 위험과 유익한 언어 패턴을 잃어버리는 위험을 각각 다르게 관리하여 훨씬 정교한 학습이 가능해짐.

LFM은 중요도 비율 $r$을 $\psi(r) = c \tanh(\frac{\log r}{c})$로 변환함. [입력값 $r$ → 로그 변환 후 $c$로 나누고 $\tanh$ 연산 수행 → $[-c, c]$ 범위의 값 출력] → 이 과정은 비율이 극단적으로 커져도 경사도가 완전히 사라지지 않게 조절하며 수치적 안정성을 제공함. DHP는 Weibull 분포의 누적 위험 함수 $H(x) = (x/\lambda)^k$를 활용함. [LFM의 출력값 $\psi$를 입력으로 → Softplus를 통해 양수/음수 변화를 분리한 뒤 위험 함수 적용 → 페널티 값 산출] → 이를 통해 정책이 신뢰 영역을 벗어날 때 급격한 페널티를 부여하여 급격한 정책 변화를 억제함. 최종 목적 함수는 변조된 비율과 페널티가 결합된 형태이며, Semi-gradient 접근법을 사용하여 페널티 항을 통한 역전파 시 발생할 수 있는 불안정성을 차단함.

Qwen3-4B-Base 모델 기준, MATH500에서 기존 GRPO 대비 13.7%p, AIME24에서 35.9%p의 성능 향상을 기록함. 특히 학습 후반부에 성능이 급락하는 '정책 붕괴' 현상 없이 안정적인 우상향 곡선을 유지함. Qwen2.5-VL-7B를 이용한 멀티모달 실험에서도 MathVision(+5.3%p), MathVerse(+7.2%p) 등 시각적 추론 작업에서 SOTA 성능을 달성하며 범용성을 입증함. 경사도 노름(Gradient Norm) 분석 결과, 기존 방식들이 빈번한 스파이크를 보이는 것과 달리 MHPO는 학습 전 과정에서 매우 낮고 일정한 수준을 유지하여 이론적 안정성을 증명함.

LFM은 $C^\infty$ 연속성을 가지며, $r \approx 1$ 근처에서는 표준 정책 경사도와 동일하게 동작하도록 설계되어 편향 없는 학습을 지원함. DHP의 비대칭 파라미터 설정을 통해 긍정적/부정적 정책 변화에 대한 제어 강도를 다르게 설정할 수 있음. 실험적으로 부정적 변화에 더 강한 페널티를 주는 것이 안정성에 유리함이 확인됨. 이론적으로 미니배치 경사도 추정치의 2차 모멘트 상한선이 $e^{2c}$로 제한됨을 수학적으로 증명하여 Adam과 같은 적응형 최적화 도구의 안정성을 보장함.

MHPO는 하이퍼파라미터 $c, k, \lambda$에 대한 의존성이 존재하며, 최적의 성능을 위해 작업의 특성에 따른 비대칭적 파라미터 튜닝이 필요함.