본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
홈
트렌딩
검색
커뮤니티
프로필
안전한 초기화 (safe-initialization) 용어 설명 | AI Trends
safe-initialization
안전한 초기화
중급
초기화 시 0으로 시작하는 로그잣값에서 Softmax가 uniform하게 작동하도록 하여 전이 과정에서의 정보 손실 없이 미세조정이 가능하게 한다.
비슷한 개념
zero-initialization
softmax-function
softmax-classifier
warmup
pretraining-stability
logit-weighted-continuous-scoring
softmax-distribution
softmax-attention
← 용어 사전 전체 보기