본문으로 건너뛰기
AI Trends
피드
트렌딩
콜로세움
공지
로그인
피드
트렌딩
콜로세움
공지
사전 학습 안정성 (pretraining-stability) 용어 설명 | AI Trends
pretraining-stability
사전 학습 안정성
중급
대규모 데이터로 모델을 초기 학습시킬 때 수치적 발산이나 손실 값의 급격한 변동 없이 안정적으로 파라미터가 업데이트되는 성질을 의미합니다.
비슷한 개념
transformer-pretraining
global-pretraining
hidden-state-jumps
warmup
warmup-steps
stability-analysis
initialization
continual-pre-training
← 용어 사전 전체 보기