본문으로 건너뛰기
AI Trends
피드
트렌딩
콜로세움
공지
로그인
피드
트렌딩
콜로세움
공지
프리노름 (prenorm) 용어 설명 | AI Trends
prenorm
프리노름
중급
각 레이어의 주요 연산(어텐션 등)을 수행하기 직전에 정규화를 먼저 적용하는 구조로, 현대 트랜스포머 모델의 학습 안정성을 위해 표준적으로 사용된다.
비슷한 개념
pre-layer-normalization
pre-ln
layer-normalization
post-layernorm
transformer-pretraining
transformer-architecture
qk-norm
mha
← 용어 사전 전체 보기