layer-wise-learning-rate-decay

모델의 하위층일수록 학습률을 작게 설정해 이미 학습된 표현을 보존하는 규칙으로, 계층별 감쇠율(gamma)을 적용해 상위층만 더 크게 갱신하도록 함으로써 사전 증류된 규칙의 망각을 억제한다. CPDN은 gamma=0.5를 사용해 최종 파인튜닝 안정성을 확보했다.