HALO-Loss: 신경망의 과잉 확신과 환각 문제를 해결하는 새로운 손실 함수 오픈소스 공개

실용적 조언

안전이 중요한 분류 작업이나 멀티모달 모델 학습 시 Cross-Entropy 대신 HALO-Loss를 드롭인 교체로 적용해볼 수 있다.
고차원 가우시안 분포의 특성을 고려한 수학적 트릭들이 블로그 포스트에 상세히 설명되어 있으므로 구현 시 참고가 필요하다.

섹션별 상세

기존 Cross-Entropy 손실 함수가 모델의 특징값들을 원점에서 무한히 멀어지게 강제하여 잠재 공간을 불안정하게 만든다는 점을 지적했다. 이러한 구조적 특성 때문에 모델은 모르는 데이터에 대해 '모른다'고 답할 수학적 공간을 확보하지 못하고 강제로 높은 확신도를 할당하게 된다. HALO-Loss는 이동 불변 거리 수학을 사용하여 최대 확신도를 학습된 프로토타입으로부터 유한한 거리 내로 제한함으로써 이 문제를 해결했다.

잠재 공간의 원점에 매개변수가 없는 '기권 클래스(Abstain Class)'를 직접 결합하는 방식을 도입했다. 입력 데이터가 학습된 범주와 거리가 멀어질수록 원점에 가까워지게 설계하여 모델이 자연스럽게 '모름'을 선택할 수 있는 수학적 장치를 마련했다. 이를 통해 별도의 추가 파라미터 없이도 모델 내부에서 엄격한 거절 임베딩을 생성할 수 있게 됐다.

CIFAR-10 및 CIFAR-100 데이터셋을 통한 벤치마크 결과에서 기본 정확도를 유지하면서도 안전성 지표를 크게 개선했다. CIFAR-10 기준 정확도는 0.23% 향상됐으며, 모델의 신뢰도를 나타내는 ECE 지표는 기존 8%에서 1.5%로 대폭 낮아졌다. 특히 분포 외 데이터(OOD)인 SVHN 데이터셋에 대한 오탐률(FPR@95)은 22.08%에서 10.27%로 절반 이상 감소했다.

기존의 AI 안전성 기법들이 정확도 저하를 동반하는 '안전세(Safety Tax)'를 지불해야 했던 것과 달리, HALO-Loss는 성능 하락 없이 구현 가능하다는 점이 확인됐다. 앙상블이나 사후 스코어링 조정, 또는 학습 시 별도의 이상치 데이터를 노출시킬 필요 없이 단일 모델의 손실 함수 교체만으로 네이티브한 이상치 탐지 기능을 확보했다는 점에서 차별성을 갖는다.

용어 해설

교차 엔트로피 손실(Cross-Entropy Loss): — 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 측정하는 표준 손실 함수이다. 손실값을 0으로 만들기 위해 특징값들을 원점에서 무한히 멀어지게 밀어내는 성질이 있어, 학습하지 않은 데이터에 대해서도 과도한 확신을 갖게 만드는 원인이 된다.
분포 외 데이터(Out-of-Distribution (OOD)): — 모델이 학습 과정에서 보지 못한, 학습 데이터셋의 통계적 분포를 벗어난 데이터를 의미한다. 모델이 이러한 데이터를 입력받았을 때 '모름'을 인지하지 못하고 잘못된 정답을 높은 확신으로 출력하는 현상이 AI 안전성의 주요 과제이다.
기대 보정 오차(Expected Calibration Error (ECE)): — 모델이 출력하는 예측 확률(신뢰도)과 실제 정확도 사이의 일치 정도를 측정하는 지표이다. ECE가 낮을수록 모델이 자신의 예측이 맞을 확률을 통계적으로 정확하게 제시한다는 것을 의미하며, 모델의 신뢰성 평가에 핵심적인 역할을 한다.
이동 불변 거리(Shift-Invariant Distance): — 데이터의 절대적인 위치 변화에 영향을 받지 않고 두 지점 사이의 상대적 거리를 측정하는 방식이다. HALO-Loss에서는 유클리드 거리를 기반으로 특징 공간 내의 거리를 제한하여 모델의 확신도를 유한한 범위 내로 묶어두는 데 사용된다.

언급된 도구

HALO-Loss추천링크

신경망의 과잉 확신과 환각을 방지하기 위한 새로운 손실 함수

OpenOOD중립

분포 외 데이터(OOD) 탐지 성능 평가를 위한 벤치마크 프레임워크

언급된 리소스

문서HALO-Loss 상세 수학 및 코드 분석 블로그

GitHubHALO-Loss GitHub 저장소