HALO-Loss: 신경망의 과잉 확신과 환각 문제를 해결하는 새로운 손실 함수 오픈소스 공개

작성자가 직접 개발한 새로운 손실 함수에 대해 커뮤니티는 높은 관심을 보였으며, 특히 정확도 저하 없이 OOD 성능을 개선했다는 수치적 근거에 대해 긍정적인 반응을 보였다.

• 안전이 중요한 분류 작업이나 멀티모달 모델 학습 시 Cross-Entropy 대신 HALO-Loss를 드롭인 교체로 적용해볼 수 있다.
• 고차원 가우시안 분포의 특성을 고려한 수학적 트릭들이 블로그 포스트에 상세히 설명되어 있으므로 구현 시 참고가 필요하다.

Cross-Entropy Loss

— 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 측정하는 표준 손실 함수이다. 손실값을 0으로 만들기 위해 특징값들을 원점에서 무한히 멀어지게 밀어내는 성질이 있어, 학습하지 않은 데이터에 대해서도 과도한 확신을 갖게 만드는 원인이 된다.

Out-of-Distribution (OOD)

— 모델이 학습 과정에서 보지 못한, 학습 데이터셋의 통계적 분포를 벗어난 데이터를 의미한다. 모델이 이러한 데이터를 입력받았을 때 '모름'을 인지하지 못하고 잘못된 정답을 높은 확신으로 출력하는 현상이 AI 안전성의 주요 과제이다.

Expected Calibration Error (ECE)

— 모델이 출력하는 예측 확률(신뢰도)과 실제 정확도 사이의 일치 정도를 측정하는 지표이다. ECE가 낮을수록 모델이 자신의 예측이 맞을 확률을 통계적으로 정확하게 제시한다는 것을 의미하며, 모델의 신뢰성 평가에 핵심적인 역할을 한다.

Shift-Invariant Distance

— 데이터의 절대적인 위치 변화에 영향을 받지 않고 두 지점 사이의 상대적 거리를 측정하는 방식이다. HALO-Loss에서는 유클리드 거리를 기반으로 특징 공간 내의 거리를 제한하여 모델의 확신도를 유한한 범위 내로 묶어두는 데 사용된다.