딥러닝 모델 학습의 안정성을 높이는 EMA(지수 이동 평균) 완벽 이해

• •학습 단계별 가중치 변화를 시계열 데이터로 취급함
• •DINO와 같은 최신 모델에서 성능 향상을 위해 필수적으로 사용됨

EMA는 단순 이동 평균과 달리 최근 데이터에 더 큰 가중치를 부여하는 특성이 있다.

• •과거의 모든 가중치를 저장할 필요 없이 직전 단계 값만 활용함
• •재귀적 수식을 통해 지수적 감쇠 효과를 효율적으로 구현함

알파 값은 보통 0.99나 0.999와 같이 1에 가까운 값을 사용하여 과거 정보를 길게 유지한다.

w_ema = alpha * w_current + (1 - alpha) * w_ema_prev

• •미니배치 단위의 학습 노이즈를 효과적으로 필터링함
• •가중치 업데이트의 안정성을 높여 전반적인 성능 향상을 도모함

가중치 업데이트가 안정되면 모델의 일반화 성능이 향상되는 경향이 있다.