본문으로 건너뛰기

pre-ln

프리 레이어 정규화

고급

잔차 연결 내의 서브레이어 연산 직전에 정규화를 수행하는 방식으로, 학습 안정성이 높아 대규모 모델 학습에 주로 사용된다.