On-Policy Delta Distillation (OPD²)

왜 중요한가

대형 언어모델의 추론능력 향상은 종종 복잡한 보상 설계나 비용이 큰 RL 절차를 요구했다. OPD²는 교사 모델의 추론 튜닝에서 실제로 얻어진 변화량만을 학습 신호로 삼아 짧은 후처리만으로도 추론 능력을 효과적으로 전달할 수 있음을 보였다. 이로 인해 짧은 학습 예산과 제한된 계산자원 환경에서도 추론 성능을 크게 개선할 수 있다는 실용적 이점이 나타났다.

핵심 기여

델타 신호라는 새로운 증류 보상 도입

교사 모델의 추론 튜닝 전후(teacher − teacher_base) 로그확률 차이를 토큰 수준 보상으로 정의하여 추론 능력 획득의 학습 궤적을 직접 포착했다. 이 신호는 교사 고유의 스타일·선호와 구분된 추론 관련 변화만을 강조하여 학생에게 전달하는 목표로 사용되었다.

센터링과 부호 일치 조건을 결합한 보상 설계

델타 신호의 편향·수렴 문제를 완화하기 위해 정책 기대값을 빼는 센터링을 적용하고, 델타 신호와 기존 OPD 신호가 같은 부호일 때만 업데이트를 허용하는 조건을 도입했다. 이 설계는 델타에 의한 과도한 한쪽 수렴을 억제하면서 델타가 제어하는 그래디언트 크기를 활용하도록 구성되었다.

광범위한 실험 검증과 도메인 일반화

Math, Science, Code의 14개 벤치마크와 Qwen3/Gemma4 계열 여러 크기(1.7B–8B)를 대상으로 OPD²를 평가하여 비사고 모드와 사고 모드 모두에서 일관된 성능 향상을 확인했다. 작은 모델에서부터 큰 모델까지 평균 성능이 지속적으로 향상되었고 특정 경우에는 모델 크기 증가 효과를 상회하는 개선을 보였다.

실험적 분석과 소프트웨어 공개

단어구름, 토큰 레벨 시각화, 통계적 토큰 분석을 통해 델타 신호의 특성을 규명했고, 구성요소별 제거 실험(ablation)으로 델타 신호의 핵심 기여를 정량화했다. 구현 코드는 깃허브(https://github.com/naver-ai/opd2)에 공개되어 재현 가능성이 확보되었다.

핵심 아이디어 이해하기

대형 언어모델은 사전학습 다음에 지침 기반 미세조정이나 RL 등을 통해 추론 능력을 획득하는데, 이 과정에서 모델의 확률 분포는 추론 관련 지식과 이전의 자연스러운 선호를 모두 반영하도록 변화한다. 기존 OPD는 교사의 출력 분포를 학생이 모방하도록 보상을 설계했으나 이는 교사가 학습해온 총체적 분포를 전달하므로 추론 특화 변화만을 정확히 전달하지 못할 가능성이 있다. OPD²는 이 점을 출발점으로 삼아 교사와 교사 베이스의 차이만을 보상으로 정의함으로써 튜닝으로 획득된 추론 신호를 분리하여 전달하는 것이 핵심 직관이다.

관련 Figure

Diagram
다이어그램은 기존 OPD가 교사의 출력 분포를 직접 학생에 전달하는 반면 OPD²는 교사와 교사베이스 간 차이를 중심으로 보상을 구성하는 점을 구조적으로 드러낸다. 그림은 델타 신호가 추론 튜닝으로 얻어진 변화만을 강조한다는 핵심 직관과, OPD²가 교사 베이스의 전방 연산을 추가로 요구함을 동시에 보여준다.
OPD와 OPD²의 전체 아이디어를 비교한 개념 다이어그램으로, 교사·교사베이스·학생의 관계와 델타 신호 사용 위치를 시각화하고 있다.

방법론

OPD²는 토큰 수준의 보상 R_t^{Δ} = log π^{}(y_t|x,y_{<t}) − log π^{}{base}(y_t|x,y{<t})를 기본 신호로 사용한다. 이 신호는 교사 모델의 추론 튜닝에서 새로 증가한 확률 질량을 포착하므로 추론 연결어 및 핵심 추론 토큰에 대해 강한 정(positive) 또는 부(negative) 신호를 제공한다. 다만 R^{Δ}는 학생 확률을 포함하지 않으므로 단독 사용시 한쪽으로 쏠리는 수렴점을 유발할 수 있다.

관련 Figure

Infographic
단어구름은 델타 신호가 hence, however, instead 등 논리 연결어를 상대적으로 강화하고 see, try, verify 같은 탐색·검증성 표현을 약화한다는 통계적 경향을 시각적으로 제시한다. 이 시각 자료는 델타 신호가 추론 관련 토큰에 더 일관된 강조를 부여함을 직관적으로 확인시키며 방법론적 동기의 근거로 활용된다.
OPD, 베이스, 델타 신호 각각에 대한 단어구름을 비교한 그림으로, 델타가 추론 연결어를 강조하는 경향을 보여준다.

Infographic
이 그림은 수학·코드·과학 도메인에서 델타가 어떤 어휘를 강화하거나 억제하는지의 도메인 특이적 패턴을 보인다. 결과적으로 델타 신호가 보편적으로 추론 연결어를 강화하면서 도메인별로는 특정 관찰·검증 표현을 강조하거나 대화체 표현을 억제함이 관찰된다.
델타 신호 기반으로 강화되거나 억제되는 단어들을 표시한 또 다른 단어구름으로, 도메인별 패턴 차이를 보여준다.

Infographic
이 시각화는 OPD와 델타 간 신호 분포 차이를 보다 상세히 보여주며, 델타가 특정 키워드에 대해 더 강한 일관된 신호를 제공함을 뒷받침한다. 이 자료는 뒤이은 통계 분석의 직관적 근거로 사용되어 델타의 특성을 실험적으로 뒷받침한다.
기본 OPD 신호와 델타 신호의 토큰별 빈도·강도 경향을 시각화한 단어구름으로, 빈번히 변하는 토큰들을 강조한다.

주요 결과

광범위한 벤치마크에서 OPD²는 기존 OPD 및 ExOPD보다 일관된 성능 이득을 보였다. 비사고(non-thinking) 모드에서 Qwen3-1.7B의 평균이 34.8%에서 54.6%로 상승하는 등 큰 향상이 관찰되었고, 사고(thinking) 모드에서도 여러 크기에서 평균 점수가 유의하게 상승했다. 학습 동역학에서는 초기 단계에서 세 방법이 모두 빠르게 향상하나 OPD와 ExOPD는 조기 고점 이후 성능이 정체하거나 악화되는 반면 OPD²는 초기 향상 뒤에도 높은 수준을 유지하며 전반적으로 더 안정적인 성능 궤적을 보였다.

관련 Figure

Chart
학습 곡선은 초기 몇 단계에서 세 방법이 급등하는 공통 패턴을 보이나 OPD와 ExOPD는 이후 정체 또는 하락을 보인 반면 OPD²는 높은 수준을 유지하거나 완만히 변화하는 특성을 드러낸다. 이 자료는 OPD²의 이득이 특정 체크포인트의 우연한 피크가 아니라 전체 학습 궤적에서 지속적임을 지지한다.
AIME24/25, CodeContests, GPQA 등의 도메인별 학습 단계에서의 pass@1 변화를 비교한 학습 곡선으로, OPD²가 전 구간에서 우위에 있음을 보여준다.

Chart
이 그림은 도메인과 모델 설정에 따라 OPD와 ExOPD의 성능 변동성이 크고 OPD²가 비교적 안정적인 우위를 유지한다는 점을 보강한다. 특히 코드 벤치마크에서 OPD²가 초기 이후에도 우세한 성능 차이를 지속하는 양상이 두드러진다.
도메인별(수학·코드·과학)에서 훈련 단계별 pass@1 추이를 세 방법으로 비교한 추가 학습 곡선들로, 모델 크기와 모드별 차이를 반영한다.

Chart
이 종합 곡선은 다양한 크기와 모드에서 OPD²가 평균적으로 높은 pass@1을 유지하며 특히 중간 규모 모델에서의 상대적 향상이 뚜렷함을 보여준다. 그래프는 OPD²가 모델 패밀리 간 일반화 가능성이 있음을 시각적으로 보강한다.
모델별·방법별 최종 성능 비교를 요약한 학습 곡선으로, Qwen3 및 Gemma4 계열 실험의 종합적 추이를 나타낸다.

기술 상세

전체 프레임은 on-policy token-level distillation 형태로 구현되며 기본 OPD의 보상 R_t^{OPD} = log π^{}(y_t|·) − log π_{θ}(y_t|·)와 달리 OPD²는 교사와 교사베이스의 차이를 사용한다. 수식으로 R_t^{Δ} = log π^{}(y_t) − log π^{*}_{base}(y_t)이고, 이를 정책 기대값으로 중심화하여 A_t^{Δ}를 계산한 뒤 부호 일치 조건을 적용하여 최종 이득 A_t^{D²}를 얻는다. 이득 계산에서 기대값은 메모리 절약을 위해 학생 정책의 top-k(k=1024) 토큰에 대해 근사 계산을 수행한다.

관련 Figure

Screenshot
토큰별 히트맵은 잘못된 추론 표현에 대해 OPD가 양(긍정) 신호를 줄 수 있는 반면 델타는 보다 일관되게 억제 신호를 부여함을 보여준다. 이 시각 자료는 교사와 베이스가 동일한 초기 가중치에서 출발했을 때 델타가 잘못된 토큰을 더 민감하게 식별하는 메커니즘 근거를 제공한다.
단순한 추론 사례들에 대해 OPD와 Δ 신호의 토큰 수준 시그널 히트맵을 비교한 그림으로, 잘못된 추론 부분에서 델타의 억제 효과가 뚜렷하게 나타난다.

한계점

논문에서는 델타 신호 사용 시 발생할 수 있는 수렴점 문제를 완화하기 위해 부호 일치 조건을 도입했으나 이 설계는 교사와 학생 분포의 차이가 매우 클 경우 일부 업데이트를 차단할 수 있다. 또한 OPD²는 교사 베이스의 전방 연산이 추가되어 표준 OPD 대비 8–28%의 wall-clock 시간 증가를 초래하며, 저자 구현은 보상 계산 최적화가 되어 있지 않아 추가 최적화 여지가 존재한다. 그 외의 제한점은 본문에 명시되어 있지 않아 추가적인 해석은 제공하지 않는다.

실무 활용

OPD²는 짧은 후처리(on-policy distillation)만으로도 추론 능력을 향상시키는 현실적인 방법으로, 교사·교사베이스·학생의 전방 연산을 지원할 수 있는 환경에서 바로 적용 가능하다. 계산 비용은 teacher-base 추가 전방 연산 때문에 표준 OPD 대비 약 8–28% 증가했으나 실제로는 단기간 학습만으로 수렴하는 특성 때문에 전체 비용 증가는 제한적이었다. 구현 코드는 공개되어 있어 동일 아키텍처 계열에서 재현 및 적용이 용이하다.

사전학습·지침튜닝을 거친 대형 모델을 교사로 사용하여 소형 모델에 추론 능력을 빠르게 이식해야 하는 후처리 작업.
다양한 도메인(수학·과학·코드)을 혼합한 멀티도메인 포스트트레이닝 파이프라인에서 추론 관련 변화만 선택적으로 전이하려는 경우.
상용 추론 서비스에서 큰 비용을 들이지 않고도 특정 모델군의 문제 해결 능력을 단기간 개선하려는 실험적 튜닝.

코드 공개 여부: 공개

코드 저장소 보기

키워드

On-Policy Distillation(온-폴리시 증류)Delta Signal(델타 신호)Knowledge Distillation(지식 증류)Post-training(포스트트레이닝)Qwen3(Qwen3)

용어 해설

온-폴리시 증류(On-Policy Distillation): — 학생 모델의 자체 롤아웃 샘플에 대해 교사 모델의 토큰 수준 확률 차이를 보상 신호로 사용하여 학생을 미세조정하는 기법이다. 학습 신호가 학생이 실제 생성하는 상태에만 적용되므로 train–inference 불일치(exposure bias)를 완화한다. 본문에서는 OPD가 기저 방법으로 사용되며 델타 신호와 결합되어 OPD²로 확장되었다.
델타 신호(Delta Signal): — 교사 모델의 추론 특성(추론 튜닝 후)과 그 교사 베이스(포스트트레이닝 이전) 사이의 로그확률 차이로 정의된 토큰 수준 보상 신호이다. 델타 신호는 추론 튜닝에서 새로 획득한 지식의 변화량을 직접적으로 포착하므로 추론 능력 전수에 초점을 맞춘다. 본 논문은 이 신호를 주된 학습 목표로 사용하여 on-policy distillation을 개선했다.
센터링(보상 중심화)(Centering): — 샘플된 토큰에 대한 보상에서 정책(학생) 하에서의 기대 보상을 빼는 조작으로 보상의 편향을 제거한다. 이렇게 하면 보상 신호의 방향성을 명확히 하고 단일 부호 편향으로 인한 학습 불안정을 완화할 수 있다. OPD²는 델타 신호에 센터링을 적용한 advantage를 사용한다.
교사 베이스 모델(Teacher Base Model): — 교사 모델이 추론 튜닝을 받기 이전의 동일 아키텍처 초기 모델을 의미하며, 델타 신호는 교사 모델과 이 베이스 모델 간의 확률 차이로 계산된다. 베이스 모델이 교사의 사전 학습·스타일·기본 선호를 반영하므로 델타는 추론 튜닝으로 얻은 변화만 분리하는 역할을 한다. OPD²는 교사·교사베이스·학생 모두의 전방 연산을 필요로 한다.

On-Policy Delta Distillation (OPD²)

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

검증 후 증류하는 프롬프트별 교사 게이팅

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

검증 후 증류하는 프롬프트별 교사 게이팅

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.