pretraining-stability

대규모 데이터로 모델을 초기 학습시킬 때 수치적 발산이나 손실 값의 급격한 변동 없이 안정적으로 파라미터가 업데이트되는 성질을 의미합니다.