Direct On-Policy Distillation(Direct-OPD)를 통한 약모델에서 강모델로의 일반화

강화학습으로 얻은 추론 능력은 모델이 커질수록 동일한 절차를 반복하기에 계산 비용이 급증하여 실무에서 재적용이 어려워진다. 이 논문은 비용이 적은 작은 모델에서 RL로 찾아낸 개선 방향을 강한 모델에 재활용할 수 있는 방법을 제시한다. 그 결과 작은 모델에서 얻은 정책 변화만으로도 대형 모델의 평가 점수를 짧은 전이 학습으로 유의미하게 올릴 수 있다는 사실이 실험적으로 입증되었다.

강화학습으로 얻은 개선은 최종 교사 정책 자체보다는 RL이 원래 기준(policy reference)에 대해 어떤 행동을 더 선호하게 만들었는지, 즉 교사 정책의 로그비(log-ratio)에 핵심 정보가 담겨 있다. 이 로그비는 KL-정규화된 RL의 최적해 수식으로부터 보상에 비례하는 항으로 역산될 수 있어 암묵적 보상으로 해석 가능하다. 따라서 포스트-RL 교사와 그 전 체크포인트의 쌍은 RL이 학습한 보상 신호를 정책 공간에 저장한 셈이다.

전체 접근은 세 부분으로 구성된다. 첫째, 포스트-RL 교사 π_T와 그 전 레퍼런스 π_Tref의 로그비 Δ_T(y|x)=log π_T−log π_Tref를 정의하여 이 값을 시퀀스 수준 또는 토큰 수준의 즉시 보상으로 취급한다. 둘째, 학생은 자신의 온폴리시 롤아웃에서 상위 k 후보만 남긴 뒤 그 후보들에 대해 교사 로그비를 계산하고, 후보 확률로 가중한 기대 보상을 사용해 Rao–Blackwell화된 토큰 수준 그라디언트를 얻는다. 셋째, 학생 쪽 초깃값 π_S로부터의 KL 항을 손실에 포함시키되 그 계수 α는 배치 수준의 평균 가중 로그비 부호에 따라 소폭 증감시키는 적응적 제어 규칙으로 조정하여 보상 스케일 불일치 문제를 완화한다.

주요 벤치마크에서 Direct-OPD는 작은 교사에서 얻은 정책 변화를 강한 학생으로 전이시켜 모든 실험 대상 학생에서 AIME 검증 점수를 향상시켰다. 대표적으로 Qwen3-1.7B가 AIME 2024에서 48.3%에서 Direct-OPD 적용 후 58.3%로 상승했고 이 전이는 8 A100 GPU로 약 4시간 내에 달성되었다. 또한 같은 수의 RL 스텝 예산을 직접 대형 모델에 쓰는 것보다 작은 모델에서 RL을 수행한 뒤 Direct-OPD로 전이하는 편이 성능과 총 계산량 면에서 우수하다는 일관된 결과를 얻었다.

아키텍처 관점에서는 학생과 교사 모두 자기회귀 언어모델로 취급되며 로그 확률은 토큰 접두사에 대해 시퀀스화되어 분해 가능하다. 로그비 Δ_T는 시퀀스 수준에서 토큰별 즉시 보상 r_t(v)=log π_T(v|s_t)−log π_Tref(v|s_t)로 분해되며, 이 값이 양수면 RL이 해당 토큰을 장려한 것으로 해석된다. 구현상 학생은 자신의 상위 k 후보 S_t만 남기고 확률을 재정규화한 뒤 각 후보에 r_t(v)를 곱해 정적 가중치 A_t^w(v)=stop_gradient(p̄_t(v)·r_t(v))로 사용한다.

논문이 명시한 한계는 전이 신호가 학생이 방문하는 상태 집합에서만 의미 있다는 점이다. 교사와 학생의 상태 분포 불일치, 응답 길이 설정, 그리고 KL 제약 α의 부적절한 값은 로그비가 신뢰할 수 없는 방향으로 작용하게 만들 수 있다. 따라서 최적 성능을 얻기 위해서는 교사 체크포인트 선택, 응답 길이, KL 제어 같은 하이퍼파라미터를 교사-학생 조합별로 조정해야 한다.