본문으로 건너뛰기

median-kld

중앙값 KLD

Median KLD는 양자화된 KV 캐시가 BF16 레퍼런스와 비교해 언어 모델의 확률 분포 차이를 측정한 중간값이다. 이 지표는 다양한 샘플에서 계산한 KLD의 중앙값을 사용해 대표적 품질 손실을 요약한다. 본 벤치마크는 median KLD와 99.9% KLD를 함께 제시해 전반적 분포 변화와 극단적 오류를 모두 평가했다.