Empirical Risk Minimization
경험적 위험 최소화
관측된 훈련 데이터에서 기대손실의 근사인 경험적 손실을 최소화하는 원리로, 손실 함수의 평균을 모델 파라미터에 대해 최소화하는 방식으로 학습을 수행한다. 0-1 손실처럼 비연속인 손실을 직접 최소화하기 어려울 때는 매끄러운 볼록 상한인 서로게이트 손실을 도입해 최적화를 수행한다. ERM은 일반화 성능과 과적합 문제를 연결하는 이론적 출발점으로 사용된다.
경험적 위험 최소화
관측된 훈련 데이터에서 기대손실의 근사인 경험적 손실을 최소화하는 원리로, 손실 함수의 평균을 모델 파라미터에 대해 최소화하는 방식으로 학습을 수행한다. 0-1 손실처럼 비연속인 손실을 직접 최소화하기 어려울 때는 매끄러운 볼록 상한인 서로게이트 손실을 도입해 최적화를 수행한다. ERM은 일반화 성능과 과적합 문제를 연결하는 이론적 출발점으로 사용된다.
