KL Divergence 직관적 이해를 위한 대화형 시각화 도구

도구의 직관성에 대해 긍정적인 반응이 예상되며, 특히 교육적 가치에 주목하는 분위기이다.

• KL Divergence 수식의 의미가 모호할 때 해당 시각화 도구에서 평균과 왜도를 조절하며 값의 변화 추이를 확인하라
• 이산화(Discretisation) 파라미터를 조절하여 연속 확률 분포와 이산 확률 분포에서의 KL Divergence 차이를 비교해보라

쿨백-라이블러 발산(KL Divergence)

— 하나의 확률 분포가 다른 확률 분포와 얼마나 다른지를 측정하는 비대칭적 척도이다. 머신러닝에서는 실제 데이터 분포와 모델이 예측한 분포 사이의 정보 손실을 계산하여 모델을 최적화하는 손실 함수로 널리 사용된다.

비대칭 정규 분포(Skew-Normal Distribution)

— 일반적인 정규 분포에 비대칭성을 조절하는 파라미터를 추가한 확률 분포이다. 데이터의 왜도(Skewness)를 표현할 수 있어 현실 세계의 비대칭적인 데이터 특성을 모델링하는 데 유용하다.

피적분 함수(Integrand)

— 적분 기호 안에 위치하여 적분 연산의 대상이 되는 함수이다. KL Divergence 계산 과정에서는 두 분포의 로그 확률 차이에 확률 밀도를 곱한 형태가 피적분 함수가 되어 전체 면적을 결정한다.