본문으로 건너뛰기

Safe Initialization

안전한 초기화

초기화 시 0으로 시작하는 로그잣값에서 Softmax가 uniform하게 작동하도록 하여 전이 과정에서의 정보 손실 없이 미세조정이 가능하게 한다.