Unbounded Positive Asymmetric Optimization(UP): 중요도 샘플링 기반 RL의 탐색-안정성 딜레마 해소

중요도 샘플링은 RL 기반 LLM 미세조정에서 샘플 효율을 크게 높였지만 높은 분산으로 학습 불안정이 빈번하게 발생해 실무 적용에 제약이 있었다. 본 논문은 보수적 클리핑이 정책의 업데이트 예산을 구조적으로 소진한다는 관점으로 문제를 재정의하고, 이 제약을 완화하는 최적화 설계로 탐색 능력과 안정성의 균형을 회복했다. 이러한 접근은 다양한 알고리즘·아키텍처·모달리티에 쉽게 적용 가능한 플러그앤플레이 방식이라 실제 RL 기반 reasoning 성능 개선에 직접적인 영향을 줄 수 있다.

강화학습 기반 LLM 미세조정에서 중요도 샘플링은 오프정책 데이터를 효율적으로 활용하지만 확률비의 높은 분산이 학습 불안정을 야기했다. 기존 관행은 보수적 클리핑으로 분산을 억제했으나 이 방식은 정책이 올바른 행동에 대해 낮은 신뢰도를 보이는 경우에도 정작 필요한 확률 업데이트를 조기에 차단해 탐색을 저해하는 구조적 한계를 지녔다. 따라서 탐색과 안정성 사이에 근본적 트레이드오프가 존재하고, 이를 해소하려면 단순한 전역적 클리핑을 넘어 이득 신호의 구조적 처리 방식이 바뀌어야 한다.

전체 접근은 정책을 현재 상태에 '고정'시키는 stop-gradient 연산자를 도입하고, 이득(advantage)의 부호에 따라 서로 다른 처리 규칙을 적용하는 비대칭 목적을 설계하는 것이다. 입력으로 행동 정책과 목표 정책 간의 중요도 가중치와 이득 신호가 들어오면 stop-gradient는 기준(policy anchor)을 고정하고, 그 위에서 양의 이득에 대해서는 클리핑을 적용하지 않아 그라디언트가 온전히 전달되게 한다. 음의 이득은 기존의 안정화 장치(클리핑)를 통해 제어하여 과도한 하향 업데이트를 억제함으로써 안정성을 확보한다.

저자들은 DAPO, GSPO, GRPO 등 서로 다른 RL 알고리즘에 UP를 적용한 실험에서 탐색 용량이 증가하고 reasoning 정확도가 개선되는 경향을 보고했다. 실험 대상은 Dense 모델, MoE 모델, vision-language 모델 등 다양한 아키텍처와 언어·멀티모달 훈련 방식에 걸쳐 있으며, 모든 대상에서 UP가 보편적으로 이득을 제공한 것으로 나타났다. 구체적 수치는 초록에 기재되어 있지 않지만 저자들은 광범위한 검증을 통해 UP의 플러그앤플레이성과 범용성을 입증했다.

UP의 핵심 기계적 요소는 policy anchoring과 이득 신호의 비대칭적 처리이다. 입력으로 행동 데이터의 중요도 비와 이득 값이 주어지면 stop-gradient 연산자는 목표 정책의 파라미터를 기준점으로 고정시키고, 그 위에서 양의 이득에 대한 경사만 비클리핑 상태로 허용하여 해당 행동으로의 확률 증분을 온전히 반영하도록 유도한다. 이 흐름은 탐색을 촉진하는 방향으로 작동하며 음의 이득에 대해서는 기존의 클리핑을 유지해 그래디언트 폭주와 같은 불안정성을 억제한다.