그래디언트 드리프트
학습 과정에서 가중치 업데이트 방향이 틀어지며 이전 상태에서 벗어나는 현상이다. 이 수치가 높을수록 이전 도메인에서의 성능이 하락함을 의미하며, 이를 제어하는 것이 안정적 학습의 핵심이다.
LoRA 순차 학습의 고질병 '파괴적 망각', -0.16% 드리프트로 해결했다