response-space-drift
응답 공간 드리프트
동일 입력에 대한 모델 출력(응답)이 학습 과정에서 체계적으로 변하는 현상으로, 출력 형식이나 고주파 패턴이 증폭되면 포맷팅 아티팩트가 확대될 수 있다. 본 논문은 자기증류가 이 응답 공간 드리프트를 촉진한다고 관찰했다.
응답 공간 드리프트
동일 입력에 대한 모델 출력(응답)이 학습 과정에서 체계적으로 변하는 현상으로, 출력 형식이나 고주파 패턴이 증폭되면 포맷팅 아티팩트가 확대될 수 있다. 본 논문은 자기증류가 이 응답 공간 드리프트를 촉진한다고 관찰했다.
