본문으로 건너뛰기

PreNorm

프리노름

각 레이어의 주요 연산(어텐션 등)을 수행하기 직전에 정규화를 먼저 적용하는 구조로, 현대 트랜스포머 모델의 학습 안정성을 위해 표준적으로 사용된다.