약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

왜 중요한가

기존 On-Policy Distillation은 Student가 약한 Teacher의 정책을 직접 맞추므로 Teacher의 능력 한계에서 학습이 멈출 수 있다. OPRD는 Teacher의 후속 학습에서 얻은 방향을 Student의 RLVR 기울기에만 반영해 초기 학습을 빠르게 하면서도 Student가 Verifier가 보상하는 새로운 해법으로 계속 이동하게 한다. Qwen3-4B Teacher에서 Qwen3-8B Student로 옮긴 실험에서 OPRD는 수학 평균 51.91, Reasoning Gym 평균 55.18을 기록해 가장 강한 비교 기준보다 각각 7.92점과 10.80점 높았다.

관련 Figure

Infographic
그림은 OPRD가 두 설정에서 Teacher 정책을 그대로 복제하는 대신 Student의 Verifier 기반 학습을 가속하는 구조를 요약한다. 왼쪽은 4B 모델의 후속 학습 성과를 8B 모델에 전달하는 흐름이고, 오른쪽은 수학·논리 등 여러 전문 모델의 능력을 더 큰 단일 정책으로 합치는 흐름이다. 두 경우 모두 Teacher 수준에 도달한 뒤 Student가 Teacher 성능을 넘어서는 것이 핵심 결과다.
약한 4B Teacher에서 강한 8B Student로 이어지는 연속 모델 전이와 네 개의 도메인 전문 Teacher를 하나의 Student로 통합하는 두 경로를 나타낸 개요 그림이다.

핵심 기여

약한 모델의 후속 학습 성과를 정책 방향으로 전달

Teacher와 Reference 정책의 Logit 차이에서 후속 학습으로 생긴 상대적 토큰 선호 변화를 추출하고, 이를 Student가 방문한 prefix마다 방향 벡터로 변환한다. 최종 Teacher 분포를 Student의 직접 목표로 삼지 않아 약한 모델의 용량 한계를 함께 복사하지 않는다.

Verifier 기울기의 방향 성분만 증폭

Student의 Verifier 기반 정책 기울기를 Teacher 변화 방향에 평행한 성분과 직교 성분으로 분해한다. 평행 성분에는 1 + λ를 곱하고 직교 성분은 그대로 두어 Teacher와 Verifier가 함께 지지하는 갱신은 빠르게 하면서 Student만 발견한 보상 유효 해법도 유지한다.

약한 Teacher를 넘는 약한 모델에서 강한 모델로의 전이

연속 모델 전이에서 OPRD는 GRPO보다 33–67% 적은 Student 업데이트로 약한 Teacher 성능에 도달했고 초기 Checkpoint에서 최대 22.7 percentage points 높은 성능을 기록했다. Multi-teacher 설정에서는 네 개의 Qwen3-4B-Base 전문 Teacher를 하나의 Qwen3-8B-Base Student로 통합해 평균 58.77 Pass@1을 얻었다.

Teacher의 응답 형식을 그대로 복사하지 않는 학습

AIME'24 응답 스타일을 101개 특징으로 비교했을 때 OPD Student는 다섯 범주 모두 약한 Teacher에 더 가까웠지만, OPRD Student는 GRPO로만 학습한 Student에 더 가까웠다. Teacher 신호가 Student의 정책 자체를 대체하지 않고 기울기 크기만 조절한 결과로 해석된다.

핵심 아이디어 이해하기

일반적인 On-Policy Distillation은 Student가 실제로 방문한 prefix에서 Teacher의 다음 토큰 분포를 맞추므로, Teacher보다 더 높은 보상을 주는 Student의 새로운 선택도 억제할 수 있다. 특히 약한 Teacher의 최종 정책에는 후속 학습으로 얻은 개선, Reference 정책에서 물려받은 선호, 작은 모델 용량의 제약이 함께 섞여 있다.

OPRD는 이 세 요소를 통째로 복사하지 않고, Teacher와 학습 전 Reference의 Logit 차이에서 후속 학습이 바꾼 상대적 토큰 선호만 뽑는다. 각 Student rollout의 prefix에서 이 차이를 평균 중심화하고 길이 2 노름으로 정규화해 방향 $\mathbf{d}_t$ 를 만든다. 동시에 Verifier 보상으로 계산한 Student 기울기 $\mathbf{g}_t$ 를 구해 두 벡터가 같은 방향인지 반대 방향인지 측정한다.

두 방향이 일치하면 이미 보상으로 지지된 Student 갱신을 더 크게 만들고, 반대 방향이면 Verifier가 지지하는 Student의 독자적 선택을 오히려 강화한다. 따라서 Teacher는 최종 답을 정하는 목표가 아니라 학습 초기에 유용한 방향 신호로만 작동한다. 시간이 지나 Student가 Teacher에 없는 보상 유효 방향을 찾으면 두 벡터의 정렬이 약해져 Teacher 영향도 자연스럽게 줄어든다.

관련 Figure

Screenshot
Student의 직접 선택인 0은 2016을 바로 완성하고, Teacher 방향이 선호하는 5는 252 + 504 = 756, 이어서 756 + 1260 = 2016이라는 우회 경로를 만든다. 두 경로 모두 정답에 도달하지만 OPRD는 해당 prefix에서 Verifier가 지지하는 Student 기울기가 Teacher 방향과 반대인 경우 Student의 직접 경로를 강화한다. 이 예시는 음의 정렬 성분 증폭이 Teacher가 선호한 해법을 무조건 복제하지 않는 방식을 토큰 단위로 나타낸다.
AIME'25 계산 예시에서 Teacher 방향이 선호하는 중간 계산과 Student가 선택한 직접적인 정답 토큰을 비교한 토큰 수준 그림이다.

방법론

Student는 입력 $x$ 를 받아 현재 정책 $\pi_\theta$ 로 응답 $y$ 를 생성하고, 각 prefix $s_t=(x,y_{<t})$ 에서 Verifier 보상으로 토큰 Advantage $A_t$ 를 계산한다. 이 값과 선택 토큰의 로그 확률 기울기를 곱해 기본 정책 기울기 $\mathbf{g}t=A_t abla{\mathbf{z}t}\log\pi\theta(y_t\mid s_t)$를 얻는다. 즉 입력은 Student rollout과 Verifier 결과이고, 처리는 토큰별 보상 신호를 Logit 공간의 기울기로 바꾸는 과정이며, 출력은 Student 정책을 갱신할 방향이다.

Teacher $\pi_T$ 와 RL 이전 Reference $\pi_T^{\rm ref}$ 는 고정한다. Student가 방문한 prefix $s_t$ 에서 두 정책의 다음 토큰 Logit을 빼고 평균을 제거해 $\bm{\Delta}_t=\mathcal{C}(\mathbf{z}_T(s_t)-\mathbf{z}_T^{\rm ref}(s_t))$ 를 계산한다. 평균 중심화는 모든 토큰에 공통으로 더해진 값처럼 상대 선호에 영향을 주지 않는 오프셋을 제거한다. 이후 $\mathbf{d}_t=\bm{\Delta}_t/\lVert\bm{\Delta}_t\rVert_2$ 로 정규화해 변화량의 크기가 아니라 방향만 사용한다.

Student 기울기를 $\mathbf{d}_t$ 에 투영해 $\operatorname{Proj}_{\mathbf{d}_t}(\mathbf{g}_t)=u_t\mathbf{d}_t$ 를 구하고, $u_t=\mathbf{d}_t^\top\mathbf{g}_t$ 의 부호로 정렬 여부를 판단한다. 최종 갱신은 $\widetilde{\mathbf{g}}_t=\mathbf{g}_t+\lambda_t\operatorname{Proj}_{\mathbf{d}_t}(\mathbf{g}_t)$ 이며, Teacher 방향 성분에는 $1+\lambda_t$ 를 적용하고 직교 성분은 유지한다. 예를 들어 $u_t>0$ 이면 Teacher가 유도한 방향과 Verifier 방향이 함께 향하므로 해당 갱신을 키우고, $u_t<0$ 이면 Teacher와 반대이지만 Verifier가 지지하는 Student 방향을 키운다.

$\lambda_t$ 는 정렬된 성분에 즉시 적용하고 반대 성분에는 Warm-up을 둔다. 최적화 단계가 $k$ , 음의 정렬 성분 Warm-up 길이가 $K_{\mathrm{warm}}$ 일 때 $u_t<0$ 인 토큰의 배율은 $\lambda\min\{k/K_{\mathrm{warm}},1\}$ 이다. 이 방식은 초기 Student rollout의 불안정한 반대 방향 증폭을 늦추면서 Teacher가 지지하는 초기 전이를 바로 활용한다. 실제 구현에서는 Student 정책 기준 Top-10 토큰으로 방향 계산 범위를 줄인다.

관련 Figure

Diagram
각 전문 Teacher가 서로 다른 도메인 능력을 제공하고, 학습 배치에서 해당 예제에 맞는 Teacher 신호가 선택되는 구조를 시각화한다. OPRD는 네 전문 정책의 전체 분포를 하나로 맞추기보다 각 과제의 Verifier 기울기와 해당 Teacher의 정책 변화 방향을 결합한다. 논문의 Multi-teacher 실험에서 이 방식은 네 전문 Teacher 평균과 Mix-RL을 모두 앞섰다.
계산기, 퍼즐, 코드, 카메라를 든 여러 전문 Teacher가 하나의 Multi-Teacher Distillation 과정으로 통합되어 Student 모델로 전달되는 과정을 묘사한 그림이다.

주요 결과

연속 모델 전이에서 Qwen3-4B Teacher와 Qwen3-8B Student를 비교한 결과, OPRD는 수학 과제에서 AIME'24 66.92, AIME'25 56.04, HMMT'25 31.42, OlympiadBench 53.26을 기록해 평균 51.91 Mean@16을 얻었다. Reasoning Gym에서는 Knights & Knaves 73.30, Quantum Lock 51.11, String Manipulation 42.20, Countdown 54.10으로 평균 55.18 Pass@1을 기록했다. 이는 가장 강한 기준인 KDRL의 수학 평균 43.99와 Reasoning Gym 평균 44.38보다 각각 7.92점과 10.80점 높은 값이다.

OPD는 초기에 빠르게 상승했지만 약한 Teacher 평균 부근에서 정체했고, GRPO는 더 천천히 개선됐다. OPRD는 OPD와 비슷한 초기 가속을 얻은 뒤 Teacher 성능을 넘었으며, GRPO의 학습 종료 수준에도 더 적은 업데이트로 도달했다. 같은 업데이트당 rollout 수를 사용했으므로 이 차이는 Student 학습의 Sample Efficiency 향상으로 해석된다.

네 개의 Qwen3-4B-Base 전문 Teacher를 하나의 Qwen3-8B-Base Student로 합친 Multi-teacher 실험에서 OPRD 평균은 58.77 Pass@1이었다. Mix-RL보다 11.09점, 네 Teacher 평균보다 14.12점 높았고, Knights & Knaves 80.70, Quantum Lock 59.68, String Manipulation 39.70, Countdown 55.00으로 네 과제 모두 해당 전문 Teacher를 앞섰다. 강한 Teacher에서 약한 Student로의 전이에서도 OPRD는 AIME'24에서 33.58, Knights & Knaves에서 49.40을 기록해 OPD보다 각각 3.79점과 29.20점 높았다.

방향 증폭 계수 실험에서는 모든 $\lambda>0$ 설정이 $\lambda=0$ 인 GRPO보다 높은 최종 Pass@1을 기록했고, $\lambda=0.5$ 까지 값이 커질수록 초기 개선 속도가 빨라졌다. 약한 Teacher의 GRPO Checkpoint가 늦을수록 대체로 Student 학습이 빨라졌지만, Knights & Knaves에서 Pass@1 29.0%인 step-60 Teacher도 OPRD Student를 약 88%까지 끌어올렸다. 다만 Reference 선택이 응답 길이 편향을 만들면 성능이 52.5%에 머물렀고, 초기 길이 붕괴 이후인 step 30 Reference를 사용하면 89.5%까지 상승했다.

관련 Figure

Chart
히트맵의 값은 각 방법의 평균 응답 스타일이 약한 Teacher와 GRPO Student 중 어느 쪽에 가까운지 나타낸다. OPD는 다섯 범주에서 Teacher 쪽에 치우치지만 OPRD는 Student 쪽에 가까운 값을 보인다. 이는 OPRD가 Teacher의 후속 학습 방향을 활용하면서도 Teacher의 문체와 전체 정책을 직접 모방하지 않는다는 결과와 연결된다.
Connectives, Modality, Grammar, Punctuation, Structure 다섯 응답 스타일 범주에서 Teacher·OPD·OPRD·Student의 상대적 거리를 색상으로 나타낸 히트맵이다.

기술 상세

OPRD의 핵심 입력은 Student의 on-policy rollout, Verifier가 산출한 Advantage, Student가 방문한 prefix에서의 Teacher와 Reference Logit이다. 일반적인 OPD가 $D_{\mathrm{KL}}(\pi_\theta\|\pi_T)$ 를 줄여 Student 분포를 Teacher 분포에 수렴시키는 반면, OPRD는 Teacher 분포를 최적화 목표로 두지 않는다. Teacher 변화량의 방향만 추출해 Verifier 기울기를 변환한다.

Teacher 변화량은 $\bm{\Delta}_t=\mathcal{C}(\log\pi_T(\cdot\mid s_t)-\log\pi_T^{\rm ref}(\cdot\mid s_t))$ 로 계산한다. 여기서 $s_t$ 는 Student가 방문한 prefix, $\pi_T$ 는 Post-training 후 고정 Teacher, $\pi_T^{\rm ref}$ 는 RL 이전 고정 Reference, $\mathcal{C}$ 는 토큰 전체 평균을 각 Logit에서 빼는 평균 중심화 연산이다. 입력인 두 정책의 Logit 차이에서 공통 오프셋을 제거하고 출력인 상대 토큰 선호 변화만 남긴 뒤, $\mathbf{d}_t=\bm{\Delta}_t/\lVert\bm{\Delta}_t\rVert_2$ 로 단위 방향을 만든다.

Student 기울기 $\mathbf{g}_t$ 와 방향 $\mathbf{d}_t$ 의 내적 $u_t=\mathbf{d}_t^\top\mathbf{g}_t$ 는 정렬 정도를 나타낸다. $u_t=0.5$ 이고 $\lambda_t=0.5$ 라면 Teacher 방향으로 투영된 기울기 성분이 1.5배가 되며, 방향에 직교한 나머지는 변하지 않는다. 변환은 $\widetilde{\mathbf{g}}_t=(\mathbf{I}+\lambda_t\mathbf{d}_t\mathbf{d}_t^\top)\mathbf{g}_t$ 로 쓸 수 있고, 내적 기반 진행량은 $\langle\mathbf{g}_t,\widetilde{\mathbf{g}}_t\rangle=\lVert\mathbf{g}_t\rVert_2^2+\lambda_tu_t^2$ 가 된다. $\lambda_t\ge0$ 이면 추가항 $\lambda_tu_t^2$ 가 음수가 아니므로 기본 기울기의 1차 진행을 보존하면서 정렬 성분이 클수록 더 큰 이득을 얻는다.

이 변환의 중요한 성질은 $\widetilde{\mathbf{g}}_t=0$ 일 때와 $\mathbf{g}_t=0$ 일 때가 서로 같다는 점이다. 따라서 Logit 공간의 정지점은 이동하지 않고, OPRD는 Verifier 목적의 최적화 대상을 Teacher 정책으로 바꾸지 않는다. $u_t\ge0$ 인 토큰에는 전체 계수 $\lambda$ 를 적용하고, $u_t<0$ 인 토큰에는 $\lambda\min\{k/K_{\mathrm{warm}},1\}$ 를 적용해 반대 방향 증폭을 점진적으로 활성화한다.

Multi-teacher 학습에서는 배치 안에 네 Reasoning Gym 과제의 예제를 균등하게 섞고 각 예제에 대응하는 Qwen3-4B-Base Teacher를 선택한다. 각 과제의 Student 기울기는 해당 Teacher 변화 방향과만 투영되므로, 서로 다른 과제의 전체 정책을 하나의 분포로 맞추는 대신 과제별 Verifier 신호와 관련된 성분만 강화한다. 이 구성에서 300회 정책 업데이트 후 평균 58.77 Pass@1을 얻었고, 추가 Forward Pass와 Logit 기울기 보정에 따른 비용은 GRPO 대비 Wall-clock time 11.9%, Peak GPU memory 10.2% 증가로 측정됐다.

관련 Figure

Diagram
Student 기울기 $\mathbf{g}_t$ 를 Teacher 변화 방향 $\mathbf{d}_t$ 에 평행한 성분과 직교 성분으로 분해한 뒤 평행 성분만 $1+\lambda_t$ 배 키우는 과정이 표시돼 있다. 오른쪽 궤적은 OPRD가 Teacher 정책으로 수렴하는 대신 Verifier가 지지하는 Student의 최적화 경로를 유지한다는 점을 나타낸다. 이 구조가 정지점을 보존하면서 초기 학습 방향에 추가 신호를 주는 핵심 메커니즘이다.
Student 정책 기울기, Teacher 정책 변화 방향, 방향 성분 증폭, Teacher를 넘어서는 학습 경로를 네 패널로 설명한 개념도다.

한계점

OPRD는 Student rollout에서 Verifier 기반 정책 기울기가 충분히 발생해야 한다. 초기 응답 대부분이 무효여서 한 rollout 그룹 안의 보상이 동일하면 Advantage와 정책 기울기가 0이 되고, 증폭할 Teacher 방향 성분도 사라진다. 이 경우 OPD처럼 조밀한 정책 일치 신호를 쓰는 방법보다 불리할 수 있으며, 논문은 짧은 task-specific SFT 또는 Distillation Warm-up을 완화책으로 언급한다. 또한 Reference 정책이 Teacher보다 훨씬 긴 응답을 만들면 정책 변화량에 불필요한 길이 방향이 섞여 성능을 제한할 수 있다. 평가 범위는 Qwen3 0.6B부터 8B까지의 수학·논리 추론 과제에 집중되어 있어 더 큰 모델, 코드 생성, Agent 환경에서의 일반화는 추가 검증이 필요하다.

실무 활용

OPRD는 작은 모델에서 먼저 얻은 RLVR 후속 학습 신호를 더 큰 모델의 on-policy 학습에 재사용하는 방법이다. Teacher와 Reference의 추가 Forward Pass가 필요하지만 두 정책은 고정되며 Backward Propagation을 수행하지 않는다. 논문 부록 기준 GRPO 대비 Wall-clock time은 11.9%, Peak GPU memory는 10.2% 증가했다.

새로운 모델 세대에서 작은 Post-trained 모델의 보상 기반 학습 방향을 더 큰 Successor 모델로 이전하는 시나리오
수학·논리·코드 실행 등 Verifier를 만들 수 있는 여러 도메인 전문 모델을 하나의 Foundation Model로 통합하는 시나리오
강한 Teacher의 전체 정책을 복제하지 않고 Student의 보상 최적화와 결합하는 Distillation 파이프라인
Teacher 지식과 Student의 독자적 추론 경로를 함께 유지해야 하는 Reasoning Post-training

코드 공개 여부: 공개

코드 저장소 보기

키워드

OPRD(On-Policy Reverse Distillation)Weak-to-Strong Generalization(약한 모델에서 강한 모델로의 일반화)RLVR(검증 가능한 보상 기반 강화학습)Policy Gradient(정책 기울기)On-Policy Distillation(온폴리시 증류)Multi-Teacher Distillation(다중 Teacher 증류)Verifier-Driven Policy Optimization(검증기 기반 정책 최적화)

용어 해설

약한 모델에서 강한 모델로의 일반화(Weak-to-Strong Generalization): — 더 작은 모델이나 불완전한 감독 신호로 학습한 강한 모델이 감독 모델의 성능을 넘어서는 현상이다. 이 논문에서는 약한 Teacher의 후속 학습 성과를 강한 Student의 Verifier 기반 최적화에 연결하되, Student가 Teacher의 정책이나 능력 한계에 묶이지 않도록 하는 것이 핵심 과제다.
On-Policy Distillation: — Student가 직접 생성한 응답과 그 과정에서 방문한 prefix를 기준으로 Teacher의 다음 토큰 분포를 조회해 학습하는 방식이다. 학습 데이터의 prefix와 실제 추론 중 방문하는 prefix 사이의 분포 차이를 줄이지만, 일반적인 형태에서는 Student가 Teacher 정책을 직접 모방하는 목표를 갖는다.
검증 가능한 보상 기반 강화학습(RLVR): — 정답 비교나 코드 실행처럼 프로그램으로 판정할 수 있는 Verifier의 보상을 사용해 언어 모델 정책을 최적화하는 방법이다. Student가 응답을 생성하고 각 토큰의 Advantage를 계산한 뒤 정책 기울기를 갱신하며, OPRD는 이 기울기의 일부만 Teacher 방향에 맞춰 재조정한다.
정책 기울기(Policy Gradient): — 모델이 선택한 행동의 로그 확률에 Advantage를 곱해 보상 증가 방향을 계산하는 강화학습의 갱신 신호다. 이 논문에서는 토큰별 기울기 $\mathbf{g}_t=A_t abla_{\mathbf{z}_t}\log\pi_\theta(y_t\mid s_t)$를 기준으로 삼고, OPRD가 Teacher 방향 성분만 증폭한다.
정지점(Stationary Point): — 최적화 기울기가 0이 되어 추가적인 1차 갱신 방향이 사라지는 지점이다. OPRD는 Student 기울기를 대체하지 않고 일부 성분에 0 이상인 배율만 적용하므로, 변환된 기울기가 0인 지점과 원래 기울기가 0인 지점을 일치시킨다.
정책 변화량(Policy Shift): — Post-training 전후 정책의 상대적인 다음 토큰 선호 변화다. OPRD는 Teacher의 최종 정책 자체가 아니라 RL 학습 전 Reference 정책과 학습 후 Teacher 사이의 Logit 차이를 평균 중심화하고 정규화해 방향 벡터로 사용한다.

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

검증 후 증류하는 프롬프트별 교사 게이팅

학생 이미지만 약화한 시각 자기 증류

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

검증 후 증류하는 프롬프트별 교사 게이팅

학생 이미지만 약화한 시각 자기 증류

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.