용어 해설
- 자기증류(Self-Distillation)
- — 모델 자신의 출력을 교사(target)로 사용하여 동일하거나 후속 모델을 학습시키는 기법으로, 교사 신호가 안정적이면 모델이 예측 패턴을 그대로 강화하여 성능 특화가 빠르게 진행된다. 본 논문 맥락에서는 on-policy 데이터에서 자기증류를 반복 적용할 때 발생하는 파라미터·응답 공간의 편향과 고주파 포맷팅 아티팩트 증폭이 핵심 영향을 미친다.
- 온-폴리시 학습(On-Policy Learning)
- — 학습 데이터가 현재 정책(모델)이 생성한 행동이나 출력을 기반으로 수집되어 그 정책을 직접 업데이트하는 방식으로, 데이터 분포가 정책 변화에 따라 계속 이동한다. 본 논문에서는 on-policy 데이터만을 사용한 연속적 사후 학습 상황에서의 안정성 문제가 주요 논점이다.
- 지속적 사후 학습(Continual Post-Training)
- — 기초 모델(foundation model)을 배포 후에도 추가 데이터로 계속 학습시켜 새로운 지식을 축적하는 과정으로, 기존 능력을 보존하면서 점진적으로 특화하는 것이 목표이다. 본 논문은 이 과정에서 on-policy 자기증류가 오히려 망가짐이나 망가짐 위험을 높일 수 있음을 다룬다.
- 파라미터 공간 드리프트(Parameter Space Drift)
- — 학습 반복에 따라 모델 가중치가 원래 분포에서 멀어지는 현상으로, 작은 누적 변화가 기존 기능의 소실(forgetting)을 유발할 수 있다. 논문에서는 자기증류 밀도를 높이면 이 드리프트가 커졌고, 그 결과 응답 품질과 일반화가 손상되는 것으로 보고되었다.
- 응답 공간 드리프트(Response Space Drift)
- — 동일 입력에 대한 모델 출력(응답)이 학습 과정에서 체계적으로 변하는 현상으로, 출력 형식이나 고주파 패턴이 증폭되면 포맷팅 아티팩트가 확대될 수 있다. 본 논문은 자기증류가 이 응답 공간 드리프트를 촉진한다고 관찰했다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 02.수집 2026. 07. 04.출처 타입 PAPER
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
