parameter-space-drift

학습 반복에 따라 모델 가중치가 원래 분포에서 멀어지는 현상으로, 작은 누적 변화가 기존 기능의 소실(forgetting)을 유발할 수 있다. 논문에서는 자기증류 밀도를 높이면 이 드리프트가 커졌고, 그 결과 응답 품질과 일반화가 손상되는 것으로 보고되었다.