이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
온-폴리시 자기 증류(OPSD)는 모델이 생성한 결과에 힌트를 추가하여 다시 학습시키는 기법으로, 최근 LLM 학습의 핵심 트렌드로 부상했다. 본 영상은 OPSD의 기초 원리부터 관련 논문들을 통해 토큰 단위의 신용 할당, 관련성 마스킹, 교사 모델 업데이트 정책 등을 심층 분석한다. 특히 OPSD가 사고 과정이 긴 모델에서 자기 교정 토큰을 억제하여 성능을 저하시킬 수 있다는 한계를 지적하고, 이를 극복하기 위한 동적 힌트 활용 및 교사 모델 업데이트 전략을 제시한다.
챕터별 상세
온-폴리시 자기 증류의 기원
온-폴리시 자기 증류(OPSD)는 Zhao et al.과 Hutter et al.의 논문을 통해 처음 제안되었다. 모델이 생성한 출력물에 힌트를 주입하여 재학습시키는 핵심 아이디어는 두 논문에서 거의 동시에 등장했다. OPSD는 롤아웃이 완료된 후 힌트를 주입하고, 이를 통해 학생 모델의 로그 확률을 재계산하여 토큰을 업데이트하는 방식으로 작동한다.
OPSD는 모델의 출력을 스스로 증류하여 성능을 개선하는 기법이다.
Cursor 사례와 힌트 주입
Cursor는 코딩 작업에서 OPSD를 활용하여 성능을 개선했다. 모델이 코딩 문제를 틀리거나 에러 메시지가 발생할 경우, 시스템 프롬프트에 힌트를 주입하여 올바른 방향으로 유도한다. 이 힌트는 정답을 직접 알려주는 것이 아니라, 모델이 스스로 오류를 인지하고 수정하도록 돕는 역할을 한다.
관련성 마스킹 자기 증류
관련성 마스킹 자기 증류(Relevance-Masked Self-Distillation)는 모든 토큰을 학습하는 대신 LLM 판별기를 사용하여 중요한 토큰만을 선택적으로 학습한다. KL 발산이 높은 토큰을 필터링하고, 판별기가 선택한 토큰에 대해서만 학습을 진행하여 효율성을 높인다. 이는 불필요한 학습을 줄이고 중요한 정보에 집중하게 한다.
모든 토큰을 학습하는 대신 중요한 토큰만 선별하여 학습 효율을 극대화한다.
OPSD가 사고형 모델에 미치는 악영향
Kaur et al.의 연구에 따르면 OPSD는 사고형 모델(Thinking Models)의 성능을 저하시킬 수 있다. 특히 긴 추론 과정이 필요한 모델에서 자기 교정 토큰(Self-correction tokens)을 억제하여 모델이 스스로 오류를 수정하는 능력을 떨어뜨린다. 교사 모델과 학생 모델 간의 지식 격차가 클수록 성능 저하가 심화된다.
사고형 모델은 추론 과정이 길어 OPSD 학습 시 자기 교정 능력이 억제될 위험이 있다.
교사 모델 업데이트 정책
교사 모델을 언제 업데이트할 것인가에 대한 논의가 중요하다. 고정된 교사 모델을 사용할지, 학생 모델과 함께 업데이트할지에 따라 성능 차이가 발생한다. Zhao et al.은 고정된 교사 모델을 선호하는 반면, Applied Compute는 동적 업데이트를 제안한다. 업데이트 주기는 작업의 난이도에 따라 민감하게 반응한다.
온라인 힌트와 지속 학습
힌트는 오프라인(정적)과 온라인(동적)으로 나뉜다. 오프라인 힌트는 모델의 일반적인 지식을 활용하며, 온라인 힌트는 모델의 실시간 출력물을 바탕으로 생성된다. 온라인 힌트는 모델의 현재 상태를 반영하므로 더 정교한 학습이 가능하다. 이는 지속 학습(Continual Learning) 환경에서 특히 유용하다.
온라인 힌트는 모델의 실시간 출력물을 기반으로 생성되어 더 정교한 학습을 지원한다.
약한 모델에서 강한 모델로의 전이
약한 모델에서 강한 모델로 지식을 전이하는 연구가 진행되고 있다. 모델 간의 성능 격차를 활용하여 강한 모델을 학습시키는 방식이다. 이는 모델의 성능을 향상시키는 새로운 방법론으로 주목받고 있다. 특히 정답의 유무보다 정답의 확률 분포 차이를 이용하는 방식이 효과적이다.
성능이 낮은 모델의 지식을 성능이 높은 모델로 전이하여 강한 모델을 학습시킨다.
용어 해설
- 온-폴리시 자기 증류(OPSD)
- — 모델이 생성한 출력물에 힌트(privileged information)를 주입하여, 모델이 더 나은 답변을 생성하도록 재학습시키는 기법. 모델의 출력을 스스로 증류하여 성능을 개선한다.
- KL 발산(KL Divergence)
- — 두 확률 분포의 차이를 측정하는 지표. OPSD에서는 교사 모델의 확률 분포와 학생 모델의 확률 분포 간의 차이를 줄이는 데 사용된다.
- 자기 교정 토큰(Self-correction Tokens)
- — 모델이 추론 과정에서 자신의 오류를 인지하고 수정할 때 사용하는 토큰. 사고형 모델에서 성능 유지에 필수적이나, OPSD 학습 시 억제될 위험이 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 24.수집 2026. 08. 24.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
