OPD는 정말 교사 지식을 증류하는가

왜 중요한가

On-Policy Distillation은 강한 교사 모델의 토큰별 지도를 사용하지만, 학생이 생성한 궤적을 교사가 평가하는 과정에서 상당한 노이즈가 생깁니다. 이 논문은 OPD의 개선 효과가 교사 지식 전달보다 학생이 낮은 확률 토큰을 억제하는 데서 크게 비롯된다는 점을 실험으로 확인하고, 외부 교사·검증 보상·정답 없이 같은 방향의 업데이트를 수행하는 OPSA를 제안합니다.

핵심 기여

OPD 교사 신호의 높은 노이즈 측정

학생 생성 궤적의 정답 토큰을 기준으로 교사 advantage의 부호와 검증 보상의 불일치를 측정해, 교사 규모가 커질수록 노이즈 비율이 30.6%에서 50.6%로 증가하는 현상을 확인했습니다.

OPD 개선을 이끄는 토큰과 신호 분리

학생 로그확률이 높은 토큰은 거의 학습 신호를 제공하지 않고, 낮은 로그확률 토큰과 음의 advantage가 성능 개선을 주도한다는 결과를 얻었습니다. 모든 선택 토큰에 고정된 -0.5 advantage만 부여해도 표준 OPD와 비슷한 성능에 도달했습니다.

엔트로피 적응형 OPSA 제안

학생이 생성한 토큰 중 로그확률이 가장 낮은 20%만 선택하고, 토큰 엔트로피가 높을수록 더 큰 음의 advantage를 부여하는 외부 지도 없는 온폴리시 학습 방법을 구성했습니다.

여러 모델과 과제에서의 일반화 확인

Qwen3 및 Qwen3.5 계열에서 수학 추론 성능을 높였고, MBPP+ 코드 생성과 GPQA-Diamond 질의응답에서도 성능 향상을 측정해 학습 도메인 밖으로의 일반화 양상을 확인했습니다.

핵심 아이디어 이해하기

강화학습에서 모델은 여러 응답을 생성하고, 정답 여부나 교사 선호에 따라 advantage를 받아 확률을 조정합니다. RLVR은 응답 전체에 검증 보상을 주기 때문에 긴 추론 중 어느 토큰이 문제였는지 구분하기 어렵고, OPD는 교사 모델의 토큰별 확률을 사용해 더 촘촘한 신호를 만들려 합니다.

OPD의 핵심은 학생이 생성한 토큰의 로그확률과 교사가 같은 접두사에서 부여한 로그확률의 차이입니다. 학생이 자신 있게 생성한 토큰은 두 확률이 비슷해 advantage가 0에 가까워지고, 학생이 낮은 확률로 생성한 토큰은 교사가 더 낮은 확률을 부여하면서 음의 advantage가 되기 쉽습니다. 따라서 실제 업데이트는 전체 토큰이 아니라 소수의 낮은 확률 토큰에 집중됩니다.

OPSA는 이 관찰에서 교사 모델을 제거합니다. 학생 분포에서 낮은 확률 토큰을 골라 음의 advantage를 주면 해당 토큰의 확률이 내려가고, 그 확률 질량은 더 높은 확률의 후보로 이동합니다. 다만 불확실성이 큰 위치에서는 여러 주요 후보를 균등하게 유지하도록 더 강한 신호를 배정해, 낮은 엔트로피 위치의 확신과 높은 엔트로피 추론 분기의 다양성을 함께 조정합니다.

이 업데이트는 무작정 하나의 답으로 수렴시키는 방식과 다릅니다. 낮은 확률의 꼬리 토큰은 억제하지만, 높은 엔트로피 위치의 주요 토큰 사이에는 확률을 나누어 반성·자기수정으로 이어지는 여러 추론 경로를 남깁니다. 실험에서는 이러한 변화가 더 긴 응답과 더 많은 반성 토큰, 그리고 높은 수학 정답률과 함께 나타났습니다.

방법론

OPD는 학생 정책에서 응답 $y$ 를 표본 추출한 뒤 각 위치의 학생 확률과 교사 확률을 비교합니다. 논문의 advantage는 $A_i=log\frac{\pi_t(y_i\mid x;y_{<i})}{\pi_s(y_i\mid x;y_{<i})}$ 이며, $x$ 는 질문, $y_i$ 는 i번째 학생 생성 토큰, $y_{<i}$ 는 그 앞의 접두사, $\pi_s$ 와 $\pi_t$ 는 각각 학생·교사 정책입니다. 학생 확률이 0.2이고 교사 확률이 0.1이면 $A_i=\log(0.5)\approx-0.693$ 이므로 해당 토큰의 로그확률을 낮추는 방향으로 업데이트합니다. 값이 음수일수록 교사가 학생 토큰을 덜 선호한다는 뜻입니다.

저자들은 Qwen3-1.7B 학생 모델과 Qwen3-4B, Qwen3-30B-A3B, Qwen3-235B-A22B-Instruct 교사를 사용해 DAPO-17k의 500개 질문에서 정답·오답 응답을 각각 하나씩 추출했습니다. 정답 토큰에 음의 advantage가 붙거나 오답 토큰에 양의 advantage가 붙으면 노이즈로 분류했습니다. 그 결과 4B 교사의 전체 노이즈 비율은 30.6%, 30B-A3B는 34.7%, 235B-A22B는 50.6%였고, 가장 큰 교사는 정답 토큰의 97.8%에도 음의 advantage를 부여했습니다.

토큰별 로그확률과 advantage를 분리해 학습한 결과, advantage 크기가 0에 가깝거나 학생이 토큰을 거의 확률 1로 선택하면 로그잇 gradient가 작아집니다. 실제로 토큰의 29.2%는 advantage가 정확히 0이고 51.7%는 advantage 절댓값이 $10^{-4}$ 보다 작았습니다. 학생 로그확률이 가장 높은 토큰만 학습하면 AIME24 성능이 거의 오르지 않았지만, 낮은 로그확률 토큰에 고정된 -0.5 advantage를 적용하면 표준 OPD와 비슷한 개선이 나타났습니다.

OPSA는 응답별 학생 로그확률이 가장 낮은 20% 토큰 집합 $\mathcal{S}_{\text{lowest20}}$ 만 업데이트하며, advantage를 $A_i^{\text{dyn}}=-\frac{1}{2}-\frac{H_i-H_{\min}}{2(H_{\max}-H_{\min})}$ 로 계산합니다. 여기서 $H_i$ 는 해당 토큰 위치의 엔트로피이고, $H_{\min}$ 과 $H_{\max}$ 는 선택된 하위 20% 위치 안의 최소·최대 엔트로피입니다. 엔트로피가 최소이면 advantage는 -0.5, 최대이면 -1이 되어 불확실성이 큰 위치에 두 배 크기의 음의 신호가 들어갑니다. 입력은 학생의 토큰 확률과 엔트로피이고, 처리는 하위 20% 선택과 음의 가중치 계산이며, 출력은 교사 없이 갱신된 학생 정책입니다.

높은 엔트로피 위치에서 낮은 확률의 꼬리 토큰을 억제하면 그 확률 질량이 주요 토큰으로 이동하고, 주요 토큰이 선택된 경우에는 경쟁하는 주요 토큰 사이에 질량이 재분배됩니다. 반대로 낮은 엔트로피 위치의 고확률 토큰은 대개 선택 집합에서 제외됩니다. 하위 10%만 사용하면 분포가 과도하게 뾰족해지고 성능이 낮아졌지만, 하위 20%, 30%, 40%는 모두 Avg@4를 45 이상으로 끌어올려 20% 설정이 충분한 범위를 제공했습니다.

주요 결과

Qwen3-1.7B에서 OPSA는 AIME24 Avg@32를 13.44에서 48.85로, AIME25를 9.69에서 35.31로, HMMT25를 5.73에서 23.33으로 높였습니다. 이는 각각 +35.41, +25.62, +17.60포인트이며 상대 개선율은 263.5%, 264.4%, 307.2%입니다. Pass@32도 세 벤치마크에서 40.00%→80.00%, 30.00%→66.67%, 23.33%→50.00%으로 증가했습니다.

Qwen3-1.7B 기준 세 수학 벤치마크 평균에서 OPSA의 Avg@32는 35.83으로, GRPO 24.79, OPD 22.15, OPSD 23.58보다 높았습니다. OPSA의 Pass@32 평균은 65.56으로, 가장 높은 기존 기준선인 OPSD 56.67보다 8.89포인트 높았습니다. AIME24에서는 OPSA가 Avg@32 48.85를 기록해 OPD 32.08보다 16.77포인트 앞섰습니다.

Qwen3.5-9B에서도 AIME24 Avg@32가 76.35에서 87.81로, HMMT25가 44.48에서 67.40으로 상승했습니다. 학습 도메인 밖에서도 MBPP+는 Qwen3-1.7B 기준 58.24에서 59.44로, GPQA-Diamond는 27.92에서 32.40으로 증가했습니다. 모든 학습은 DAPO-17k의 질문만 사용하고 레이블과 정답에는 접근하지 않았습니다.

OPSA 학습 중 응답 길이는 증가했고 반성 표현도 더 자주 생성되었습니다. 반성 토큰이 포함된 추론 분기를 학습에서 제외하면 응답 길이와 정확도 증가가 대부분 사라지고 약 300 스텝에서 응답 길이가 붕괴했습니다. 한편 Jaccard distance는 응답 길이가 길어질수록 기본 모델과의 차이가 0에 가까워져, Pass@32 하락 없이 장문 추론의 응답 다양성이 유지되는 결과를 얻었습니다.

기술 상세

OPD의 reverse-KL K1 estimator는 학생이 생성한 응답에 대해 위치별 로그확률 차이를 합산합니다. 학생 분포에서 표본을 뽑으므로 교사는 자신이 생성하지 않을 접두사를 평가하게 되며, 학생·교사 간 분포 불일치가 커질수록 교사 advantage의 부호가 정답 여부와 어긋날 가능성이 커집니다. 235B-A22B 교사에서는 정답·오답 answer token 모두 각각 97.8%, 96.6%가 음의 advantage를 받아 전체 노이즈율이 약 50%에 이르렀습니다.

학생 로그잇 $z_t^v$ 에 대한 OPD gradient는 표본 토큰이면 $A_t(1-\pi_s(v\mid x;y_{<t}))$ , 비표본 토큰이면 $-A_t\pi_s(v\mid x;y_{<t})$ 에 비례합니다. 따라서 $A_t$ 가 0에 가까우면 모든 후보의 업데이트가 작아지고, 표본 토큰 확률이 1에 가까워도 $1-\pi_s$ 가 작아집니다. 이 구조가 고확률 토큰의 미미한 기여와 낮은 확률 토큰 중심의 학습을 설명합니다.

OPSA의 토큰 선택은 각 응답에서 학생 로그확률이 낮은 20%를 기준으로 합니다. 선택된 위치의 엔트로피를 자체 rollout의 최소·최대값으로 정규화해 $H_i=H_{\min}$ 일 때 -0.5, $H_i=H_{\max}$ 일 때 -1의 advantage를 배정합니다. 음의 advantage는 선택된 표본 토큰의 확률을 낮추고 softmax 정규화에 따라 다른 토큰의 확률을 높이며, 높은 엔트로피 위치에서는 그 질량이 여러 주요 토큰으로 분산됩니다.

하위 10%만 학습하면 대부분 top-1 밖의 꼬리 토큰만 포함되어 정책 엔트로피가 급격히 낮아지고 성능이 제한됩니다. 반면 하위 20~40%는 낮은 확률 토큰과 불확실성이 높은 주요 후보를 함께 포함해 Avg@4를 45 이상으로 높였습니다. 고정 음의 advantage는 안정적으로 성능을 높였지만, 고정 양의 +0.2는 첫 40 스텝 동안 응답 길이를 거의 0으로 줄이고 gradient norm을 폭발시켜 정책 붕괴를 일으켰습니다.

실험은 slime framework와 8개의 NVIDIA H100 또는 H200 GPU에서 수행되었습니다. OPSA는 교사 모델의 advantage 계산을 제거해 추가 teacher forward pass를 요구하지 않으며, 학생의 토큰 엔트로피만 계산하므로 추가 계산 부담이 작습니다. 저자들은 OPD·OPSD·OPSA가 GRPO보다 적은 rollout generation으로 학습된다고 보고했습니다.

실무 활용

OPSA는 교사 모델의 추가 forward pass, 검증 가능한 보상, 정답 라벨, reference answer 없이 학생 정책의 토큰 확률과 엔트로피만으로 온폴리시 학습을 수행합니다. 구현 시 학생이 생성한 응답에서 로그확률 하위 20% 토큰을 선택하고 엔트로피에 따라 음의 advantage를 계산하면 됩니다.

정답 라벨을 확보하기 어려운 수학·추론 모델의 추가 학습
외부 teacher 모델 없이 토큰 수준의 on-policy self-improvement 구축
교사 모델 forward pass 비용을 줄인 장문 추론 학습
낮은 확률의 오류 경로를 억제하면서 반성 분기의 탐색을 유지하는 정책 업데이트

코드 공개 여부: 공개

코드 저장소 보기

키워드

OPSA(온폴리시 자기 적응)OPD(온폴리시 증류)엔트로피 적응형 음의 advantage토큰 수준 강화학습낮은 로그확률 토큰외부 지도 없는 학습수학 추론

용어 해설

온폴리시 증류(On-Policy Distillation): — 학생 모델이 직접 생성한 응답에 대해 교사 모델이 토큰별 확률을 계산하고, 두 모델의 확률 차이로 학습 신호를 만드는 방법입니다. 학생의 실제 생성 분포를 사용하지만 교사는 학생이 만든 접두사를 직접 생성하지 않았기 때문에 분포 불일치와 지도 노이즈가 발생할 수 있습니다.
검증 가능한 보상을 활용한 강화학습(Reinforcement Learning with Verifiable Rewards): — 수학 답안처럼 정답 여부를 자동 검증할 수 있는 결과에 보상을 부여하고, 여러 응답의 보상을 비교해 정책을 업데이트하는 강화학습 방식입니다. 응답 전체에 보상이 붙으므로 긴 추론 과정의 개별 토큰에는 희소하고 거친 학습 신호만 전달됩니다.
역방향 쿨백-라이블러 발산(Reverse Kullback–Leibler Divergence): — 학생 분포에서 토큰을 표본 추출한 뒤 학생 확률과 교사 확률의 차이를 측정하는 분포 거리입니다. OPD에서는 학생이 만든 접두사와 토큰을 교사가 평가하며, 교사 확률이 학생보다 낮으면 해당 토큰에 음의 advantage가 부여됩니다.
토큰 엔트로피(Token Entropy): — 특정 위치에서 다음 토큰 확률이 여러 후보에 얼마나 분산되어 있는지를 나타내는 불확실성 척도입니다. OPSA는 낮은 확률 토큰 중에서도 엔트로피가 높은 위치에 더 큰 음의 학습 신호를 주어, 꼬리 토큰은 억제하고 주요 후보 사이의 탐색은 유지합니다.
음의 어드밴티지(Negative Advantage): — 선택된 토큰의 로그확률을 낮추는 방향으로 정책을 업데이트하는 학습 신호입니다. 이 논문에서는 학생이 낮은 확률로 생성한 토큰에 음의 값을 부여해 가능성이 낮은 추론 경로를 억제하며, 고정값만 사용해도 OPD의 상당한 개선을 재현할 수 있음을 확인했습니다.

OPD는 정말 교사 지식을 증류하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

학생 이미지만 약화한 시각 자기 증류

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

학생 이미지만 약화한 시각 자기 증류