본문으로 건너뛰기
PreNorm
프리노름
각 레이어의 주요 연산(어텐션 등)을 수행하기 직전에 정규화를 먼저 적용하는 구조로, 현대 트랜스포머 모델의 학습 안정성을 위해 표준적으로 사용된다.
비슷한 개념
Pre-Layer Normalization
pre-norm-decoder
Pre-LN
Pre-norm decoder stack
Layer Normalization
Post-LayerNorm
Transformer Pretraining
Post-Norm
← 용어 사전 전체 보기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필