Direct On-Policy Distillation(Direct-OPD)를 통한 약모델에서 강모델로의 일반화

왜 중요한가

강화학습으로 얻은 추론 능력은 모델이 커질수록 동일한 절차를 반복하기에 계산 비용이 급증하여 실무에서 재적용이 어려워진다. 이 논문은 비용이 적은 작은 모델에서 RL로 찾아낸 개선 방향을 강한 모델에 재활용할 수 있는 방법을 제시한다. 그 결과 작은 모델에서 얻은 정책 변화만으로도 대형 모델의 평가 점수를 짧은 전이 학습으로 유의미하게 올릴 수 있다는 사실이 실험적으로 입증되었다.

핵심 기여

교사 정책의 로그비를 암묵적 보상으로 재활용하는 학습 목표

포스트-RL 교사와 그 전의 레퍼런스 체크포인트 사이의 로그 확률 차이를 정책 변화(ΔT)로 정의하여, 이 값을 학생의 온폴리시 토큰 후보에 즉시 적용하는 학습 목표를 도입했다. 이 로그비는 KL-정규화된 RL 관점에서 원래의 보상을 복원하는 등식으로 연결되어 이론적 근거를 갖는다. 별도 보상 모델이나 대형 모델에서의 희소 보상 RL 없이도 RL 신호를 강한 학생으로 이전할 수 있다.

온폴리시 top-k 근사와 라오-블랙웰화된 그라디언트 추정

학생이 방문하는 접두사에서 상위 k 후보만 고려해 확률을 재정규화하고, 후보별 로그비를 즉시 보상으로 사용하여 per-token 기대값 형태의 정책 그라디언트를 계산했다. 이 과정에서 학생 후보 확률과 로그비의 곱을 정적 계수로 detach하여 추가 야코비안 항을 제거했다. 결과적으로 샘플링 변이를 줄이면서 on-policy 인터페이스를 유지할 수 있었다.

적응적 KL 제어 장치로 전이 신호의 규모 불일치 해결

교사 쌍이 암묵적으로 가지는 보상 스케일과 학생의 KL 제약 계수 α는 서로 다른 단위를 가짐으로 고정 α로는 일반화가 어렵다. 배치 평균의 학생 가중 로그비 부호를 이용해 α를 소폭 증감하는 간단한 컨트롤러를 도입하여 학습 중 신호의 과도한 증폭 또는 무력화를 방지했다. 이 적응적 제어는 서로 다른 교사·학생 조합에서 안정적인 전이 성능을 확보하는 데 기여했다.

약모델 RL 신호의 약→강 전이 및 연쇄 구성 실험적 검증

JustRL-1.5B와 QuestA-Nemotron-1.5B 같은 두 교사 페어와 R1-Distill-7B, Qwen3-1.7B, Qwen3-4B 학생에 대해 Direct-OPD를 적용하여 모든 학생에서 검증 점수 향상을 관찰했다. Qwen3-1.7B의 AIME 2024 점수를 48.3%에서 58.3%로 끌어올리는 등 계산 자원과 시간 측면에서 직접 대형 모델 RL보다 효율적이었다. 서로 다른 교사 신호를 순차적으로 적용해 누적 이득을 얻을 수 있음을 실험으로 확인했다.

핵심 아이디어 이해하기

강화학습으로 얻은 개선은 최종 교사 정책 자체보다는 RL이 원래 기준(policy reference)에 대해 어떤 행동을 더 선호하게 만들었는지, 즉 교사 정책의 로그비(log-ratio)에 핵심 정보가 담겨 있다. 이 로그비는 KL-정규화된 RL의 최적해 수식으로부터 보상에 비례하는 항으로 역산될 수 있어 암묵적 보상으로 해석 가능하다. 따라서 포스트-RL 교사와 그 전 체크포인트의 쌍은 RL이 학습한 보상 신호를 정책 공간에 저장한 셈이다.

방법론

전체 접근은 세 부분으로 구성된다. 첫째, 포스트-RL 교사 π_T와 그 전 레퍼런스 π_Tref의 로그비 Δ_T(y|x)=log π_T−log π_Tref를 정의하여 이 값을 시퀀스 수준 또는 토큰 수준의 즉시 보상으로 취급한다. 둘째, 학생은 자신의 온폴리시 롤아웃에서 상위 k 후보만 남긴 뒤 그 후보들에 대해 교사 로그비를 계산하고, 후보 확률로 가중한 기대 보상을 사용해 Rao–Blackwell화된 토큰 수준 그라디언트를 얻는다. 셋째, 학생 쪽 초깃값 π_S로부터의 KL 항을 손실에 포함시키되 그 계수 α는 배치 수준의 평균 가중 로그비 부호에 따라 소폭 증감시키는 적응적 제어 규칙으로 조정하여 보상 스케일 불일치 문제를 완화한다.

주요 결과

주요 벤치마크에서 Direct-OPD는 작은 교사에서 얻은 정책 변화를 강한 학생으로 전이시켜 모든 실험 대상 학생에서 AIME 검증 점수를 향상시켰다. 대표적으로 Qwen3-1.7B가 AIME 2024에서 48.3%에서 Direct-OPD 적용 후 58.3%로 상승했고 이 전이는 8 A100 GPU로 약 4시간 내에 달성되었다. 또한 같은 수의 RL 스텝 예산을 직접 대형 모델에 쓰는 것보다 작은 모델에서 RL을 수행한 뒤 Direct-OPD로 전이하는 편이 성능과 총 계산량 면에서 우수하다는 일관된 결과를 얻었다.

기술 상세

아키텍처 관점에서는 학생과 교사 모두 자기회귀 언어모델로 취급되며 로그 확률은 토큰 접두사에 대해 시퀀스화되어 분해 가능하다. 로그비 Δ_T는 시퀀스 수준에서 토큰별 즉시 보상 r_t(v)=log π_T(v|s_t)−log π_Tref(v|s_t)로 분해되며, 이 값이 양수면 RL이 해당 토큰을 장려한 것으로 해석된다. 구현상 학생은 자신의 상위 k 후보 S_t만 남기고 확률을 재정규화한 뒤 각 후보에 r_t(v)를 곱해 정적 가중치 A_t^w(v)=stop_gradient(p̄_t(v)·r_t(v))로 사용한다.

한계점

논문이 명시한 한계는 전이 신호가 학생이 방문하는 상태 집합에서만 의미 있다는 점이다. 교사와 학생의 상태 분포 불일치, 응답 길이 설정, 그리고 KL 제약 α의 부적절한 값은 로그비가 신뢰할 수 없는 방향으로 작용하게 만들 수 있다. 따라서 최적 성능을 얻기 위해서는 교사 체크포인트 선택, 응답 길이, KL 제어 같은 하이퍼파라미터를 교사-학생 조합별로 조정해야 한다.

실무 활용

연구 결과는 대형 모델을 대상으로 한 고비용 RL을 매번 다시 수행하지 않고도 작은 모델에서의 RL 산출물을 강모델로 이전하는 실무 경로를 제공한다. 이 접근은 작은 모델에서 RL로 '개선 방향'을 찾고 그 로그비를 학생의 온폴리시 상태에 적용함으로써 전이 비용을 크게 낮춘다. 단, 최적 응답 길이와 KL 제약은 교사-학생 조합에 따라 달라져 현업 적용 시 하이퍼파라미터 탐색이 필요하다.

대형 언어모델의 추론 능력 개선을 위해 대규모 RL 재학습이 비용적으로 불가능한 경우 작은 모델에서 RL을 수행하고 Direct-OPD로 빠르게 전이하는 파이프라인
여러 독립 RL 실험에서 얻은 정책 변화를 차례로 학생에 누적하여 다양한 능력을 합성하는 연속 전이 워크플로
계산 자원이 제한된 스타트업이나 연구팀이 소형 교사로 실험을 수행하고 이를 대형 상용 모델에 적용해 신속하게 성능 개선을 반복하는 운영 방식

코드 공개 여부: 미확인

키워드

Direct-OPD(Direct On-Policy Distillation)RLVR(Reinforcement Learning with Verifiable Rewards)implicit-reward(암묵적 보상)on-policy-distillation(온폴리시 증류)weak-to-strong-transfer(약→강 전이)

추가 이미지 분석

Chart
학생의 엔트로피가 붕괴하지 않으면서 교사와 레퍼런스 간 엔트로피 격차가 줄어드는 경향이 관찰된다. 이러한 패턴은 Direct-OPD가 단순한 분포 샤프닝이나 붕괴가 아니라 후보 간 상대적 순위를 재조정하는 식으로 작동함을 시사한다.
JustRL 전이 동안 학생과 교사 엔트로피 및 엔트로피 차이의 훈련 단계별 진화를 보여주는 진단 플롯이다.

용어 해설

온폴리시 증류(On-Policy Distillation): — 학생 모델이 스스로 샘플한 상태(state)에서 교사 모델의 다음 토큰 분포를 밀도 형태로 모방하여 학습하는 기법으로, 본문에서는 학생의 온폴리시 상태에 대해 토큰 단위의 KL 기반 신호를 공급하는 핵심 인터페이스 역할을 수행한다.
KL 규제 강화학습(KL-regularized RL): — 목적함수에 정책과 기준(policy reference) 사이의 KL 항을 포함하여 급격한 정책 이동을 억제하는 강화학습 형태로, 정책-참조 로그비(log-ratio)가 암묵적 보상(reward)을 복원하는 수식적 근거를 제공한다.
암묵적 보상(Implicit Reward): — 포스트-RL 교사와 그 이전 체크포인트의 로그 확률 차이(log-ratio)를 보상 신호로 해석하는 개념으로, 별도의 보상 모델 없이 정책 쌍에서 직접 보상 정보를 읽어 학생 모델로 이전하는 수단이다.
Top-k 제한(Top-k Restriction): — 학생이 고려하는 행동 집합을 자신의 상위 k개 후보로 국한하고 해당 후보들에 대해 교사의 로그비를 평가하는 근사 방식으로, 분산을 낮추고 실제 학생 분포 내에서만 신호를 적용하도록 만든다.

Direct On-Policy Distillation(Direct-OPD)를 통한 약모델에서 강모델로의 일반화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

추가 이미지 분석

용어 해설

관련 토론

댓글

관련 기사

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

검증 후 증류하는 프롬프트별 교사 게이팅

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

검증 후 증류하는 프롬프트별 교사 게이팅

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.