시각적으로 이해하는 손실 함수와 평가지표: MSE, MAE, Cross-Entropy, F1 스코어 가이드

실용적 조언

회귀 모델 학습 시 이상치가 결과에 악영향을 준다면 MAE를 손실 함수로 사용해 볼 것
불균형 데이터셋에서는 반드시 F1 스코어를 모니터링하여 모델의 편향성을 체크할 것

섹션별 상세

회귀 분석에서 MSE와 MAE의 선택은 데이터 내 이상치 비중에 따라 결정된다. MSE는 오차의 제곱을 취해 큰 오차에 민감하게 반응하므로 빠른 수렴을 돕지만, 이상치가 많은 경우 모델이 왜곡될 위험이 있다. 반면 MAE는 절대 오차를 사용하여 이상치에 대해 강건한 특성을 보이며 데이터 노이즈가 심한 환경에서 안정적인 성능을 유지한다.

분류 문제의 핵심 손실 함수인 Cross-Entropy는 모델의 예측 확률 분포를 정답 분포에 가깝게 조정한다. 예측이 틀렸을 때 손실값이 로그 스케일로 급격히 증가하는 메커니즘을 통해 모델이 정답에 대해 높은 확신을 갖도록 유도한다. 이는 단순한 분류 성공 여부를 넘어 확률적 정확도를 최적화함으로써 경사 하강법 학습 시 더 정교한 가중치 업데이트를 가능하게 한다.

평가지표 선택 시 Precision, Recall, F1 스코어의 상충 관계를 고려하는 것이 필수적이다. Precision은 양성 예측의 정확도를 중시하고 Recall은 실제 양성의 탐지율을 중시하며, F1 스코어는 이 둘의 조화 평균을 통해 균형 잡힌 성능을 측정한다. 특히 의료 진단이나 사기 탐지처럼 클래스 불균형이 심한 도메인에서는 단순 정확도보다 F1 스코어가 모델의 실질적 유용성을 판단하는 결정적 근거가 된다.

용어 해설

평균 제곱 오차(MSE): — 예측값과 실제값 차이의 제곱을 평균하여 계산하는 회귀용 손실 함수이다. 오차가 클수록 손실이 기하급수적으로 증가하는 특성이 있어 모델이 큰 오차를 우선적으로 줄이도록 유도하며, 미분이 용이하여 경사 하강법 최적화에 널리 사용된다.
교차 엔트로피(Cross-Entropy): — 모델이 예측한 확률 분포와 실제 정답의 확률 분포 사이의 차이를 측정하는 손실 함수이다. 주로 분류 문제에서 사용되며, 잘못된 예측에 대해 로그 스케일의 높은 패널티를 부여함으로써 모델이 정답 클래스에 대해 높은 확신도를 갖도록 학습을 가속화한다.
F1 점수(F1 Score): — 정밀도(Precision)와 재현율(Recall)의 조화 평균으로 계산되는 성능 평가지표이다. 데이터셋의 클래스 비율이 불균형하여 정확도만으로 성능을 판단하기 어려운 상황에서 유용하며, 모델이 양성 클래스를 얼마나 정확하게 탐지했는지 종합적으로 나타내는 지표이다.

언급된 리소스

튜토리얼Loss Functions & Metrics Explained Visually | MSE, MAE, F1, Cross-Entropy