분포 측정 지표가 겹치지 않는 영역에서 실패하는 이유와 해결책

핵심 요약

분포 간 지지 집합이 겹치지 않을 때 발생하는 기존 지표의 한계를 분석하고 상황별 최적의 거리 측정 지표 선택 가이드를 제시한다.

배경

확률 분포 간의 차이를 측정하는 KL 발산이나 JS 발산이 특정 조건에서 수치적으로 불안정해지는 문제를 지적했다. 이를 해결하기 위해 Wasserstein 거리의 물리적 의미와 실무적인 지표 선택 기준을 정리한 치트 시트를 공유했다.

의미 / 영향

이 토론은 모델 평가 및 학습 시 지표의 수학적 특성을 이해하는 것이 중요함을 시사한다. 특히 데이터 분포가 급격히 변하는 실무 환경에서는 단순한 확률 차이보다 기하학적 거리를 고려하는 Wasserstein 방식이 더 신뢰할 수 있는 지표가 된다.

커뮤니티 반응

분포 측정 지표의 수학적 한계와 실무적 선택 기준을 명확하게 정리했다는 긍정적인 평가가 주를 이루었다.

주요 논점

01찬성다수

Wasserstein 거리가 분포 간 겹침이 없는 상황에서 가장 신뢰할 수 있는 지표이다.

합의점 vs 논쟁점

합의점

KL 발산은 확률 분포가 겹치지 않을 때 무한대로 발산한다.
WGAN은 Wasserstein 거리를 사용하여 학습 안정성을 확보한다.

실용적 조언

GAN 학습 시 불안정성을 줄이려면 Wasserstein 거리를 손실 함수로 고려해야 한다.
운영 환경의 데이터 변화를 감지할 때는 PSI를 우선적으로 검토하는 것이 효율적이다.

전문가 의견

분포 간 겹침이 없는 경우 TV(Total Variation)는 단순히 최대 차이만을 반환하므로 변별력이 떨어진다는 점이 확인됐다.

섹션별 상세

기존 분포 측정 지표인 KL 발산(Kullback-Leibler Divergence)과 JS 발산(Jensen-Shannon Divergence)은 두 분포의 지지 집합(Support)이 겹치지 않을 때 심각한 수치적 결함을 보인다. KL 발산은 무한대로 발산하며 JS 발산은 상한값으로 포화되어 유의미한 정보를 제공하지 못하는 현상이 발생한다. 이는 모델 학습 과정에서 기울기 소실이나 수치적 불안정성을 초래하는 주요 원인이 된다.

Wasserstein 거리(Earth Mover's Distance)는 단순한 확률 밀도의 차이가 아닌 한 분포를 다른 분포로 옮기는 데 드는 이동 비용을 측정한다. 이 특성 덕분에 두 분포가 완전히 분리되어 있어도 유의미한 기울기(Gradient)를 제공할 수 있는 장점이 있다. 이러한 안정성 덕분에 생성적 적대 신경망(GAN) 학습 시 Wasserstein GAN(WGAN)이 기존 방식보다 더 안정적인 수렴 성능을 보임이 확인됐다.

실무적인 상황에 따라 적합한 지표를 선택하는 기준이 명확히 구분된다. 대칭성이 필요한 경우에는 JS나 Wasserstein을 사용하고 GAN 학습에는 Wasserstein이 권장되는 방식이다. 운영 환경의 데이터 드리프트 모니터링에는 PSI(Population Stability Index)가 적합하며 확률값이 0인 구간이 존재하는 경우에는 Wasserstein 거리가 가장 견고한 대안이 된다.

실무 Takeaway

KL 발산과 JS 발산은 분포의 지지 집합이 겹치지 않을 때 수치적으로 실패한다.
Wasserstein 거리는 이동 비용 개념을 도입하여 분포가 떨어져 있어도 유효한 기울기를 유지한다.
데이터 드리프트 모니터링에는 PSI가, 수치적 안정성이 중요한 학습에는 Wasserstein이 유리하다.