숙련된 것은 내려놓고 남은 것을 학습하기

왜 중요한가

여러 보상 목적을 함께 최적화하면 이미 높은 수준에 도달한 목적에도 계속 gradient가 배정되어 더 어려운 목적의 개선이 늦어질 수 있습니다. SA-MRPO는 목적별 상대 성능을 유지하면서 현재 보상 상한까지 남은 여지를 기준으로 가중치를 바꾸어, 수학 추론·적응형 추론·코드 생성에서 더 어려운 목적의 성능을 높였습니다.

핵심 기여

포화도 기반 advantage 재가중

각 보상 목적을 그룹 안에서 독립적으로 표준화한 뒤 batch 평균 보상이 가능한 범위에서 얼마나 달성됐는지 계산합니다. 포화도가 높을수록 해당 목적의 advantage 기여를 줄이고, 남은 보상 여지가 큰 목적의 기여를 상대적으로 키웁니다. 이 방식은 GRPO의 clipped policy update는 유지하면서 advantage 구성만 바꿉니다.

보상 프로필 보존과 업데이트 방향 변화

고정 가중합은 서로 다른 reward profile이 같은 scalar reward로 합쳐지는 문제를 일으킵니다. SA-MRPO는 목적별 advantage를 따로 계산해 이 정보를 보존하며, 재가중 결과가 advantage의 크기뿐 아니라 부호까지 바꿀 수 있습니다. 논문의 예시에서는 포화된 format보다 낮은 correctness를 가진 rollout의 업데이트 방향이 더 강한 음수로 바뀝니다.

여러 추론·코드 벤치마크 검증

수학 추론의 15개 비교 중 12개에서 GDPO보다 더 높은 correctness를 기록했습니다. 적응형 추론에서는 5개 벤치마크 모두의 정확도가 개선됐고 평균 상승폭은 3.8%였습니다. 코드 생성에서는 4개 중 3개 벤치마크의 pass rate가 최대 2.3%포인트 높아졌으며 executability 관련 오류율은 대체로 비슷한 수준을 유지했습니다.

핵심 아이디어 이해하기

GRPO는 같은 질문에 대해 여러 rollout을 생성하고, 각 rollout의 보상을 그룹 평균과 비교해 advantage를 계산합니다. 높은 advantage를 받은 응답의 토큰 확률은 policy gradient를 통해 올라가고, 낮은 advantage를 받은 응답의 확률은 내려갑니다. 따라서 어떤 보상을 advantage에 넣느냐가 모델이 다음 학습 단계에서 강화할 행동을 결정합니다.

여러 목적을 먼저 가중합하면 correctness가 낮고 format이 높은 응답과 correctness가 높고 format이 낮은 응답이 같은 scalar reward를 받을 수 있습니다. 이 경우 그룹 정규화 뒤 두 응답은 동일한 advantage를 받아 목적별 차이가 업데이트에 전달되지 않습니다. GDPO는 각 목적을 먼저 독립적으로 정규화해 이 정보 손실을 줄이지만, 이미 포화된 목적과 아직 어려운 목적에 계속 같은 상대 가중치를 적용하는 문제는 남깁니다.

SA-MRPO는 각 목적의 그룹 내 상대 성능과 전체 batch에서의 현재 달성도를 분리해 계산합니다. 목적 k의 포화도는 $s^{(k)}=(\bar{r}^{(k)}-r_{\min}^{(k)})/(r_{\max}^{(k)}-r_{\min}^{(k)})$ 이며, $\bar{r}^{(k)}$ 는 batch 평균 보상, $r_{\min}^{(k)}$ 와 $r_{\max}^{(k)}$ 는 해당 목적의 보상 하한과 상한입니다. 예를 들어 보상 범위가 0부터 1이고 평균 보상이 0.9이면 포화도는 0.9, 남은 명목 보상 여지는 0.1이므로 그 목적의 영향이 줄어듭니다.

각 rollout의 목적별 advantage는 그룹 평균과 표준편차로 표준화하고, 목적 가중치에 $(1-s^{(k)})^{\gamma}$ 를 곱한 뒤 합산합니다. 여기서 γ가 0이면 포화도 조정이 사라져 GDPO와 같은 배분이 되고, γ가 커질수록 포화된 목적의 기여가 더 빠르게 감소합니다. 이렇게 만들어진 aggregate advantage를 다시 batch 기준으로 정규화해 기존 GRPO clipped objective에 입력하므로, 학습 대상은 포화된 길이·format보다 아직 개선 여지가 큰 correctness 쪽으로 이동합니다.

방법론

학습 데이터의 각 query마다 frozen behavior policy가 G개의 rollout을 생성하고, 각 rollout에 대해 correctness·length·format 또는 코드 pass rate·executability 보상을 계산합니다. 기본 설정은 G=8, global batch size=256, 3 epochs, 최대 응답 길이 4096 tokens이며, rollout 생성에는 vLLM을 사용하고 구현에는 verl을 사용합니다.

각 목적 k에 대해 현재 batch의 평균 보상을 산출하고, 사전에 정한 보상 하한과 상한을 사용해 포화도를 계산합니다. 그룹별로는 해당 목적의 rollout 보상에서 그룹 평균을 빼고 그룹 표준편차로 나누어 목적별 advantage를 얻습니다. 이후 prescribed weight와 남은 보상 여지의 γ승을 곱해 목적별 advantage를 합산하고, 전체 batch에서 한 번 더 정규화한 값을 clipped GRPO surrogate objective에 넣습니다.

수학 추론에서는 Qwen2.5-3B-Instruct와 Qwen2.5-7B-Instruct를 사용하고 correctness와 length의 2개 목적 또는 format을 추가한 3개 목적을 비교합니다. 적응형 추론에서는 DeepSeek-R1-Distill-Qwen-7B에 correctness와 graded length reward를 적용하며, length reward는 1024 tokens 이하에서 1로 포화되고 2048 tokens 이상에서 0이 됩니다. 코드 생성에서는 Qwen2.5-7B-Instruct와 Eurus-2-RL 데이터를 사용해 test-case pass rate와 executability를 함께 최적화합니다.

평가는 수학 문제에서 temperature 0.6, top-p=0.95, 문제당 16개 응답으로 pass@1 accuracy를 측정하고, 코드 문제에서는 최대 생성 길이 2048 tokens와 Pass·Bug 지표를 사용합니다. 또한 γ를 0, 0.25, 0.5, 0.75, 1.0으로 바꾸어 포화도 조정 강도와 정확도·길이 준수의 균형을 비교합니다.

주요 결과

수학 추론에서 SA-MRPO는 Qwen2.5-7B-Instruct와 Qwen2.5-3B-Instruct의 2·3개 목적 설정을 합친 15개 비교 중 12개에서 GDPO보다 높은 정확도를 기록했습니다. Qwen2.5-7B-Instruct의 3개 목적 설정에서는 AIME24 정확도가 GDPO 11.5%에서 SA-MRPO 16.5%로 5.0%포인트, MATH500은 64.2%에서 67.7%로 3.5%포인트 상승했습니다. 3B 모델에서도 2개 목적 설정의 AIME24가 5.0%에서 8.5%로, MATH500이 57.1%에서 58.2%로 높아졌습니다.

명시적 포화 구간을 둔 적응형 추론에서는 다섯 벤치마크 모두에서 SA-MRPO의 정확도가 GDPO를 앞섰습니다. 평균 정확도는 GDPO 22.8에서 SA-MRPO 26.6으로 3.8포인트 상승했고, AMC23은 28.3에서 37.5로 9.2포인트 높아졌습니다. 평균 응답 길이는 333에서 459 tokens로 늘었지만 두 방법 모두 length reward가 포화되는 1024 tokens 아래에 머물러, 길이 단축보다 correctness에 더 많은 최적화 여지를 배정한 결과와 맞습니다.

코드 생성에서는 APPS·CodeContests·Codeforces의 pass rate가 GDPO 대비 각각 0.6, 1.4, 2.3%포인트 상승했고 TACO에서는 0.4%포인트 낮았습니다. Bug 비율은 GDPO와 비슷했으며, base model보다 두 방법 모두 유효하지 않은 프로그램을 크게 줄였습니다. 이는 executability가 먼저 만족된 뒤 test-case pass rate가 더 어려운 목표로 남는 설정에서도 목적별 재배분이 작동했음을 뒷받침합니다.

γ 변화 실험에서는 모든 양의 γ가 γ=0보다 다섯 수학 벤치마크의 평균 정확도를 높였고, γ=0.5가 가장 높은 평균 정확도를 기록했습니다. γ가 커질수록 correctness reward는 대체로 상승하고 length reward는 특히 γ=0.75와 γ=1.0에서 감소했습니다. 따라서 γ는 포화된 보상 목적을 얼마나 억제할지와 길이 준수 압력을 얼마나 유지할지를 직접 조절하며, 과도한 값에서는 Exceed가 늘어나는 절충이 나타났습니다.

기술 상세

기존 다중 보상 GRPO는 rollout별 보상을 $r_{\mathrm{sum}}^{(i,j)}=\sum_k w_k r_k^{(i,j)}$ 로 먼저 합친 뒤 그룹 평균과 표준편차로 정규화합니다. 여기서 i는 query, j는 해당 query의 rollout, k는 보상 목적, $w_k$ 는 고정 가중치입니다. 입력인 여러 목적 보상이 가중합 연산을 거쳐 하나의 scalar가 되므로, 예를 들어 동일 가중치에서 reward profile (1,0)과 (0,1)은 모두 같은 합계 1이 되어 목적별 차이가 사라집니다.

SA-MRPO는 목적 k마다 $A_k^{(i,j)}=(r_k^{(i,j)}-\mu_k^{(i)})/\sigma_k^{(i)}$ 를 계산합니다. $r_k^{(i,j)}$ 는 rollout의 목적별 보상이고, $\mu_k^{(i)}$ 와 $\sigma_k^{(i)}$ 는 같은 query의 G개 rollout에서 계산한 평균과 표준편차입니다. 각 목적의 상대 성능을 독립적으로 표준화한 출력은 보상 스케일이 달라도 aggregate advantage에 결합될 수 있습니다.

목적의 현재 상태는 $s^{(k)}=(\bar{r}^{(k)}-r_{\min}^{(k)})/(r_{\max}^{(k)}-r_{\min}^{(k)})$ 로 계산합니다. $\bar{r}^{(k)}$ 는 현재 batch의 모든 rollout에 대한 평균 보상이며, $r_{\min}^{(k)}$ 와 $r_{\max}^{(k)}$ 는 보상 함수가 허용하는 하한과 상한입니다. 보상 범위가 0부터 1이고 batch 평균이 0.75라면 $s^{(k)}=0.75$ 이고 남은 명목 범위는 0.25가 되어, γ=1에서 해당 목적의 조정 계수는 0.25가 됩니다.

조정된 목적 가중치는 $\widetilde{w}_k=w_k(1-s^{(k)})^{\gamma}$ 이고 aggregate advantage는 목적별 $A_k$ 와 이 가중치의 합입니다. γ=0이면 모든 조정 계수가 1이어서 같은 가중치의 GDPO로 돌아가며, 단일 목적이면 GRPO와 같은 구조가 됩니다. γ가 증가하면 포화도 높은 목적의 계수가 더 작아져 under-optimized objective의 상대 영향이 커지고, 합산 결과는 batch 평균과 표준편차로 다시 정규화되어 표준 clipped policy objective에 전달됩니다.

이 재가중은 단순히 update magnitude만 줄이지 않고 advantage의 부호를 바꿀 수 있습니다. 논문의 G=4 예시에서 format reward는 97/100, 99/100, 100/100, 98/100으로 거의 포화됐지만 correctness reward는 0/100, 1/100, 0/100, 5/100으로 낮은 상태입니다. GDPO는 correctness가 0인 rollout 3에 +0.61을 부여할 수 있지만, SA-MRPO는 포화된 format의 영향이 줄어들면서 rollout 3을 -0.69로 바꾸고 correctness가 5인 rollout 4에 +1.65를 부여합니다.

목적 간 gradient가 충돌하면 포화된 목적의 성능이 반드시 보존되지는 않습니다. objective a의 gradient와 다른 목적 k의 gradient 내적이 음수이고 그 충돌 합이 a 자신의 개선항보다 크면, 즉 $\sum_{k e a}\widetilde{w}_k g_a(\theta)^\top g_k(\theta)<-\widetilde{w}_a\lVert g_a(\theta)\rVert^2$이면 a의 성능이 1차 근사에서 감소할 수 있습니다. 또한 포화도는 사전에 정한 보상 범위에서의 남은 명목 여지만 측정하므로, 현재 policy class가 실제로 그 범위를 달성할 수 있다는 보장은 제공하지 않습니다.

한계점

SA-MRPO는 포화된 목적을 보호하는 제약 최적화가 아니므로 목적 간 gradient가 충돌하면 이미 높은 목적의 성능이 낮아질 수 있습니다. 논문은 포화 목적의 자기 개선항이 작아진 상태에서 덜 포화된 목적의 충돌 gradient가 충분히 크면 해당 목적의 1차 성능 변화가 음수가 되는 조건을 제시합니다. 또한 batch 평균과 보상 함수의 하한·상한으로 계산한 포화도는 명목 보상 여지를 나타낼 뿐, 현재 모델 구조가 그 남은 보상을 실제로 달성할 수 있는지를 보장하지 않습니다.

실무 활용

SA-MRPO는 correctness처럼 개선 여지가 큰 보상과 length·format처럼 빠르게 상한에 도달하는 보상을 동시에 학습하는 RLVR 파이프라인에 적용할 수 있습니다. 기존 GRPO 또는 GDPO의 rollout 생성과 clipped policy update를 유지하고 advantage 계산 단계에 batch 평균 보상, 보상 범위, γ만 추가하면 되므로 목적별 최적화 자원 배분을 조정하는 용도로 적합합니다.

수학 추론 모델에서 정답률과 응답 길이·출력 format을 함께 최적화할 때 사용할 수 있습니다. rollout 그룹별로 correctness와 보조 목적을 독립 정규화한 뒤, 1024 tokens 이하처럼 보조 보상이 포화되는 구간에서 그 목적의 가중치를 낮춥니다. AIME24·AMC23·MATH500처럼 correctness 개선이 핵심인 평가에서 γ를 조절해 정확도와 길이 준수의 균형을 맞출 수 있습니다.
코드 생성 모델에서 프로그램 실행 가능성과 test-case pass rate를 동시에 학습할 때 사용할 수 있습니다. 컴파일과 실행 성공 여부가 먼저 1에 가까워지면 executability의 영향은 낮추고, 여러 테스트를 통과해야 하는 pass rate의 advantage를 상대적으로 키웁니다. APPS·CodeContests·Codeforces에서 관찰된 것처럼 기본 실행 가능성을 유지하면서 기능적 정확도에 더 많은 업데이트를 배정하는 방식입니다.

코드 공개 여부: 비공개

키워드

SA-MRPO(포화도 인식 다중 보상 정책 최적화)GRPO(그룹 상대 정책 최적화)GDPO(그룹 보상 분리 정책 최적화)다중 보상 강화학습어드밴티지 재가중목적 포화수학 추론코드 생성

용어 해설

Group Relative Policy Optimization(GRPO): — 같은 질의에서 생성한 여러 rollout의 보상을 비교해 각 응답의 상대적 우수성을 advantage로 바꾸는 정책 최적화 방식입니다. 학습된 value function 없이 그룹 평균과 표준편차로 신호를 정규화하므로 PPO보다 단순한 구조로 보상 기반 언어 모델 학습에 사용됩니다.
어드밴티지 추정(Advantage Estimation): — 특정 rollout이 기준보다 얼마나 나은지를 수치화해 정책 업데이트의 방향과 크기를 결정하는 과정입니다. 양수 advantage는 해당 응답의 토큰 확률을 높이고 음수 advantage는 낮추도록 gradient를 전달합니다. 이 논문에서는 여러 보상 목적의 상대 성능을 결합하는 핵심 신호로 사용됩니다.
보상 스칼라화(Reward Scalarization): — 여러 보상값을 미리 정한 가중합으로 하나의 scalar reward로 합치는 방식입니다. 서로 다른 보상 조합이 같은 합계가 되면 원래의 reward profile이 사라져 rollout 간 구분력이 낮아집니다. 논문은 이 손실을 피하기 위해 목적별 정규화 후 advantage를 결합합니다.
목적 포화(Objective Saturation): — 특정 보상 목적이 달성 가능한 상한에 가까워져 추가 개선 여지가 작아진 상태입니다. 포화된 목적에 같은 가중치를 계속 배정하면 아직 낮은 목적보다 이미 해결된 목적에 gradient budget이 쓰일 수 있습니다. SA-MRPO는 batch 평균 보상과 사전에 정한 보상 범위로 이 상태를 측정합니다.
그래디언트 예산(Gradient Budget): — 한 번의 정책 학습에서 각 보상 목적의 gradient가 차지하는 상대적인 최적화 자원입니다. 고정 가중치 방식에서는 목적의 현재 달성도와 무관하게 이 자원이 배분됩니다. SA-MRPO는 포화도가 높은 목적의 기여를 줄여 남은 보상 여지가 큰 목적에 자원을 이동시킵니다.

숙련된 것은 내려놓고 남은 것을 학습하기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

세 LLM에서 GRPO 후 성능 저하와 KV cache 검증

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

세 LLM에서 GRPO 후 성능 저하와 KV cache 검증