온-폴리시 증류: 강화학습의 효율성과 증류의 밀도 높은 보상을 결합한 LLM 사후 학습

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

온-폴리시 증류(On-Policy Distillation)는 학생 모델이 직접 생성한 궤적을 고성능 교사 모델이 토큰별로 평가하여 학습하는 기법이다. 기존 강화학습(RL)이 에피소드당 소량의 비트만 학습하는 희소한 피드백 문제를 겪는 것과 달리, 이 방식은 모든 토큰에 대해 밀도 높은 보상 신호를 제공한다. 연구 결과, 수학 추론 및 개인화 비서 학습에서 RL 대비 50~100배의 계산 효율 향상을 보였으며, 특히 새로운 지식 학습 시 발생하는 기존 능력의 망각 문제를 효과적으로 복구했다. 이는 소형 모델이 프라이버시와 비용 효율성을 유지하면서도 프런티어 모델급 성능에 도달하게 돕는 강력한 사후 학습 도구이다.

배경

LLM 사후 학습(Post-training) 개념, 강화학습(RL) 및 SFT의 차이점, KL Divergence(KL 발산)에 대한 기본 이해

대상 독자

소형 LLM을 특정 도메인에 최적화하거나 제한된 컴퓨팅 자원으로 고성능 추론 모델을 구축하려는 AI 엔지니어 및 연구자

의미 / 영향

이 기술은 고비용의 강화학습 없이도 소형 모델의 성능을 프런티어 모델 수준으로 끌어올릴 수 있는 실질적인 경로를 제시합니다. 특히 기업 내부 데이터를 학습시키면서도 모델의 범용적인 대화 능력을 유지해야 하는 실무 환경에서 표준적인 사후 학습 방법론으로 자리 잡을 가능성이 높습니다.

섹션별 상세

기존의 오프-폴리시 증류는 교사의 데이터만 모방하므로 학생 모델이 스스로 저지른 실수를 복구하는 능력을 배우지 못해 긴 시퀀스에서 오류가 누적된다. 온-폴리시 증류는 학생이 직접 생성한 샘플(Rollout)을 교사가 평가하게 함으로써 학생이 자주 빠지는 오류 상태에서 벗어나는 법을 직접 학습하게 한다.

체스 분석 엔진이 각 수의 품질을 색상별로 등급화하여 보여주는 스크린샷 — Screenshot체스 학습 비유를 통해 온-폴리시 증류의 핵심 개념을 설명한다. 단순히 게임의 승패(희소 보상)만 아는 것이 아니라, 매 수마다 '실수'인지 '최선의 수'인지 실시간 피드백(밀도 높은 보상)을 받는 것이 학습 효율을 극대화함을 시각화한다.

강화학습은 최종 결과에 대해서만 보상을 주는 희소 피드백 구조인 반면, 온-폴리시 증류는 교사 모델의 로그 확률을 활용해 모든 토큰 단계에서 보상을 제공한다. 이러한 밀도 높은 보상 신호 덕분에 동일한 성능 도달에 필요한 그래디언트 업데이트 횟수가 RL 대비 약 7~10배 적게 소요된다.

수학 추론 벤치마크인 AIME'24에서 Qwen3-8B 모델을 학습시킨 결과, 온-폴리시 증류는 RL 대비 10분의 1 수준의 GPU 시간으로 더 높은 점수(74.4%)를 기록했다. 이는 교사 모델의 순방향 패스 한 번으로 보상을 계산할 수 있어 계산 비용이 획기적으로 절감되기 때문이다.

새로운 도메인 지식을 학습(Mid-training)할 때 기존의 지시 이행(Instruction Following) 능력이 퇴화하는 '치명적 망각' 현상이 발생한다. 온-폴리시 증류를 통해 이전 버전의 모델을 교사로 삼아 자가 증류를 수행하면, 학습된 지식은 유지하면서 손실된 비서 능력을 거의 완벽하게 복구할 수 있다.

데이터 효율성 측면에서 온-폴리시 증류는 단 하나의 프롬프트만으로도 여러 번의 에포크 학습이 가능하며 교사의 성능을 복제할 수 있다. RL이 동일 프롬프트 반복 시 정답 암기에 치중하는 것과 달리, 증류는 교사의 전체 분포를 근사하므로 과적합 위험이 낮고 데이터 수집 부담을 줄여준다.

실무 Takeaway

반복적인 시스템 프롬프트나 특정 도메인 지식이 필요한 RAG 환경에서 온-폴리시 증류를 적용하면 소형 모델로도 대형 모델의 추론 성능을 90% 이상 저렴하게 구현할 수 있다.
지속적 학습(Continual Learning) 시 발생하는 성능 저하를 막기 위해, 새로운 데이터 학습 단계와 이전 능력을 복구하는 온-폴리시 증류 단계를 교차로 배치하는 전략이 유효하다.
RL 적용 시 보상 모델 설계나 데이터 수집에 어려움이 있다면, 기존 고성능 모델(예: Qwen3-32B)을 교사로 활용한 토큰 단위 KL 발산 최소화 방식이 훨씬 빠르고 안정적인 대안이 된다.

언급된 리소스

API DocsTinker Cookbook

문서OpenThoughts-3 Dataset