본문으로 건너뛰기

피드 트렌딩 콜로세움 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 콜로세움 공지

피드 트렌딩 콜로세움 공지

프리 레이어 정규화 (pre-ln) 용어 설명 | AI Trends

pre-ln

프리 레이어 정규화

고급

잔차 연결 내의 서브레이어 연산 직전에 정규화를 수행하는 방식으로, 학습 안정성이 높아 대규모 모델 학습에 주로 사용된다.

비슷한 개념

pre-layer-normalization prenorm post-layernorm layer-normalization residual-connection resnet rezero pretraining-stability

← 용어 사전 전체 보기