learning-without-forgetting
망각 방지 학습
기존의 사전학습된 모델 출력을 교사 신호로 사용하여 파인튜닝 중에 원래 표현을 보존하는 정규화 기법이다. 본문에서는 이미지 인코더에 대해 고정된 베이스 체크포인트와 학생 체크포인트 임베딩 간의 코사인 거리를 최소화하는 항으로 적용되었다. 이로 인해 도메인 특화 학습이 OOD 일반화 성능을 지나치게 손상하는 것을 완화했다.
망각 방지 학습
기존의 사전학습된 모델 출력을 교사 신호로 사용하여 파인튜닝 중에 원래 표현을 보존하는 정규화 기법이다. 본문에서는 이미지 인코더에 대해 고정된 베이스 체크포인트와 학생 체크포인트 임베딩 간의 코사인 거리를 최소화하는 항으로 적용되었다. 이로 인해 도메인 특화 학습이 OOD 일반화 성능을 지나치게 손상하는 것을 완화했다.
