강화학습을 위한 힌트 학습: GRPO의 이점 붕괴 문제 해결

LLM 강화학습에서 정답을 전혀 맞히지 못하는 어려운 문제는 학습 신호가 사라지는 '이점 붕괴' 현상을 일으킵니다. 이 논문은 모델의 현재 수준에 맞춰 동적으로 힌트를 생성하고 전이 가능성을 평가하는 HiLL 프레임워크를 통해 어려운 문제에서도 효과적인 학습 신호를 복구하는 방법을 제시합니다.

DeepSeek-R1 등에서 사용되는 GRPO(Group Relative Policy Optimization)는 여러 샘플의 상대적 보상을 비교해 학습한다. 하지만 모든 샘플이 오답인 어려운 문제에서는 보상 차이가 0이 되어 가중치를 갱신할 수 없는 '이점 붕괴(Advantage Collapse)'가 발생한다. 이는 모델이 자신의 한계를 넘어서는 문제를 학습할 기회를 원천 차단하는 결과를 초래한다.

HiLL은 이 문제를 해결하기 위해 '힌트'라는 보조 장치를 도입한다. 단순히 고정된 힌트를 주는 것이 아니라, 모델이 왜 틀렸는지를 분석하여 그 약점을 보완할 수 있는 힌트를 실시간으로 생성한다. 이때 핵심은 힌트가 너무 강력해서 모델이 힌트에만 의존하게 만들면 안 된다는 점이다. 힌트가 정답을 직접 알려주는 것이 아니라, 모델이 스스로 논리적 경로를 찾도록 유도하는 '전략적 힌트'여야 학습 효과가 발생한다.

결과적으로 HiLL은 어려운 문제를 풀 수 있는 '디딤돌'을 놓아줌으로써 모델의 능력 경계선을 확장한다. 학습이 진행됨에 따라 힌트 생성 모델은 추론 모델의 발전된 수준에 맞춰 더 정교하고 개념적인 힌트를 제공하며, 이는 최종적으로 힌트가 없는 테스트 환경에서도 모델의 추론 성능을 크게 향상시키는 결과로 이어진다.

HiLL은 추론 모델(πθ)과 힌트 모델(Hϕ)을 함께 최적화한다. 먼저 추론 모델이 문제를 풀고 모두 틀린 경우(All-incorrect group), 힌트 모델이 해당 문제, 실패한 경로, 정답 정보를 입력받아 M개의 후보 힌트를 생성한다. 이후 추론 모델은 각 힌트가 포함된 입력에 대해 다시 샘플링을 수행하여 성공률을 측정한다.

힌트의 품질은 '신호 생성(Signal Creation)'과 '신호 전이(Signal Transfer)' 두 가지 축으로 평가된다. 신호 생성은 [성공률 p → 1 - p^G - (1-p)^G 연산 → 비퇴화 확률 s] 과정을 거치며, 이는 그룹 내에 정답과 오답이 섞여 있어 학습 신호가 발생하는 정도를 의미한다. 신호 전이는 [힌트가 있을 때와 없을 때의 로그 확률 차이 → 힌트 의존성 ρ → exp(-ρ/T) 연산 → 전이 가중치]를 계산하여, 힌트가 제거되어도 정답 경로의 확률이 유지되는지를 측정한다.

최종 보상 R(q, h)은 신호 생성 점수와 전이 가중치의 곱으로 결정된다. 이 보상을 바탕으로 힌트 모델은 GRPO를 통해 업데이트되며, 추론 모델은 선택된 최적의 힌트 그룹을 사용하여 자신의 정책을 갱신한다. 이 과정은 별도의 오프라인 데이터 없이 온라인상에서 상호작용하며 진행된다.

Llama-3.2-3B-Instruct 모델을 사용한 실험에서 HiLL은 수학 추론 벤치마크 평균 35.3%를 기록하며 기본 GRPO(33.1%) 및 기존 힌트 기반 방식인 SAGE(34.0%)를 능가했다. 특히 어려운 문제 비중이 높은 AIME24/25 데이터셋에서 기존 방식 대비 유의미한 정확도 향상을 보였다.

Qwen2.5-7B-Instruct 모델에서도 HiLL은 평균 51.0%의 정확도를 달성하여 GRPO(47.4%) 대비 약 3.6%p 향상된 성능을 보였다. 이는 학습 과정에서 '모두 오답'인 그룹의 비율을 GRPO 대비 절반 이하로 줄여 학습 효율을 극대화했기 때문으로 분석된다.

Ablation Study 결과, 전이 가중치(Transfer Weighting)를 제거했을 때 모델이 힌트에 과도하게 의존하게 되어 테스트 성능이 하락함을 확인했다. HiLL이 생성한 힌트는 기존 방식보다 길이가 짧고 수학 수식 사용이 적으며, 계산 과정을 직접 알려주기보다 고수준의 전략적 가이드를 제공하는 경향을 보였다.

HiLL의 핵심 아키텍처는 Reasoner와 Hinter의 Co-training 구조다. Hinter는 Reasoner의 실패 모드(Failure mode)를 분석하도록 설계되었으며, 훈련 중에는 정답(Reference solution)에 접근할 수 있지만 추론 시에는 사용되지 않는다. Reasoner의 업데이트는 힌트가 포함된 입력(q+h)에 대해 On-policy로 수행되며, 이는 모델이 힌트라는 컨텍스트 하에서 정답 경로를 탐색하도록 강제한다.

수학적으로 힌트 의존성 ρc(q, h)는 힌트가 있을 때의 정답 경로 확률과 없을 때의 확률 사이의 KL Divergence와 성공 확률의 로그 비율로 분해된다. 논문은 Proposition 1을 통해 낮은 힌트 의존성이 힌트 없는 환경에서의 성공 확률 하한(Lower bound)을 높인다는 것을 이론적으로 증명했다. 이는 Hinter가 Reasoner의 '근접 발달 영역(ZPD)' 내에서 힌트를 생성하도록 유도하는 수학적 장치가 된다.

구현 측면에서는 Ray 프레임워크를 사용하여 Reasoner와 Hinter를 동일한 GPU 노드에 배치하고, 순차적 실행 구조를 통해 메모리 오버헤드 없이 FSDP(Fully Sharded Data Parallel)를 적용했다. Hinter의 보상 계산 시 힌트가 유효하지 않거나 정답을 직접 유출하는 경우 Rfail(-0.2)의 페널티를 부여하여 품질을 관리한다.

HiLL은 표준 GRPO 대비 추가적인 계산 비용이 발생한다. Llama-3.2-3B 기준 약 3.8배, Qwen2.5-7B 기준 약 2.6배의 학습 시간이 더 소요된다. 이는 모든 오답 그룹에 대해 힌트를 생성하고 다시 샘플링하는 과정에서 발생하는 오버헤드이며, 모델의 성능 향상과 학습 효율 사이의 트레이드오프 관계에 있다.