본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
사전 학습 안정성 (pretraining-stability) 용어 설명 | AI Trends
pretraining-stability
사전 학습 안정성
중급
대규모 데이터로 모델을 초기 학습시킬 때 수치적 발산이나 손실 값의 급격한 변동 없이 안정적으로 파라미터가 업데이트되는 성질을 의미합니다.
비슷한 개념
transformer-pretraining
training-instability
global-pretraining
weight-divergence
hidden-state-jumps
warmup
warmup-steps
stability-analysis
← 용어 사전 전체 보기