kl-to-gaussian
단위 가우시안에 대한 KL 발산
모듈 출력 분포와 평균 0, 분산 1인 표준 정규분포 간의 차이를 확률적으로 수치화하는 지표이다. 샘플 분포로부터 밀도 근사를 통해 KL 값을 계산하여 특정 층이 표준 정규와 얼마나 다른지를 수치로 표현하며, 이 값은 분포 왜곡이나 활성화 폭발/죽음 문제를 탐지하는 근거로 사용된다. ModelAnalyzer는 이 지표를 모듈별 시계열로 저장해 깊이에 따른 경향을 시각화한다.
단위 가우시안에 대한 KL 발산
모듈 출력 분포와 평균 0, 분산 1인 표준 정규분포 간의 차이를 확률적으로 수치화하는 지표이다. 샘플 분포로부터 밀도 근사를 통해 KL 값을 계산하여 특정 층이 표준 정규와 얼마나 다른지를 수치로 표현하며, 이 값은 분포 왜곡이나 활성화 폭발/죽음 문제를 탐지하는 근거로 사용된다. ModelAnalyzer는 이 지표를 모듈별 시계열로 저장해 깊이에 따른 경향을 시각화한다.
